Saltar a contenido

Riesgos a vigilar

En resumen

  • Los riesgos de la IA en una empresa rara vez son de ciencia ficción: son errores que nadie revisa, datos que salen donde no deben y dependencias que nadie ha pensado.
  • Hay cinco familias de riesgo que conviene tener a la vista: calidad, datos y seguridad, operativos, reputacionales y legales, y de competencias.
  • No se trata de eliminar todo riesgo, sino de decidir conscientemente cuáles se aceptan y cuáles se controlan.

1. Calidad: la IA se equivoca con seguridad

  • Invenciones ("alucinaciones"). La IA genera contenido convincente pero falso: una cifra, una referencia normativa o una condición comercial que no existe.
  • Deterioro con el tiempo. Una herramienta que funcionaba bien empieza a fallar porque cambian los productos, los precios o el proceso, y nadie se da cuenta.

Control: revisión humana real de todo lo que tenga consecuencias, y revisión periódica de la calidad frente al punto de partida.

2. Datos y seguridad

  • Fugas de información. Datos de clientes, precios o documentos internos introducidos en herramientas no aprobadas.
  • Instrucciones ocultas ("inyección de instrucciones"). Un documento, una web o un correo que la IA procesa contiene órdenes camufladas que la herramienta obedece. El riesgo crece cuando la IA puede actuar: enviar correos, modificar datos o conectarse a otros sistemas.

Control:

  • Política de uso y herramientas corporativas.
  • Dar a la IA solo los permisos imprescindibles.
  • Aprobación humana antes de cualquier acción con consecuencias.

3. Operativos

  • Uso por libre. Herramientas que el equipo usa sin que la empresa lo sepa: no se puede gestionar lo que no se conoce.
  • Dependencia de un proveedor. Cambios de precio o de condiciones, o la desaparición del servicio, pueden dejar un proceso parado.
  • Costes que se disparan. Un piloto barato puede multiplicar su coste al ampliarlo si el precio va por uso.
  • Caídas del servicio. Si un proceso depende de una herramienta externa, ¿qué pasa cuando no está disponible?

Control:

  • Inventario de herramientas.
  • Revisar contratos y condiciones.
  • Límites y alertas de consumo.
  • Una alternativa manual para los procesos críticos.

4. Reputacionales y legales

  • Lo que dice vuestra IA lo decís vosotros. En el caso Moffatt v. Air Canada (Tribunal de Resolución Civil de Columbia Británica, Canadá, 2024), el chatbot de la aerolínea informó a un cliente de una política de reembolso que no era la real. El tribunal consideró responsable a la empresa. "Lo dijo la IA" no sirvió como defensa.
  • Contenido publicado sin revisar. Textos o imágenes en la web o en redes sociales con errores, tono inadecuado o sin la transparencia que exige la ley.
  • Trato injusto a personas. Un sistema que perjudica sistemáticamente a un grupo, aunque nadie lo haya querido así.

Control:

  • Revisión antes de publicar.
  • Criterio de etiquetado.
  • Chatbots limitados a información verificada.
  • Supervisión de las decisiones que afectan a personas.

5. De competencias: perder el criterio

Es el menos visible y quizá el más importante a medio plazo:

  • Confianza excesiva. Con el tiempo se revisa cada vez menos, porque "casi siempre acierta".
  • Pérdida de oficio. Si la IA hace siempre el primer borrador, las personas menos experimentadas pueden no llegar a desarrollar el criterio que necesitan para detectar sus errores.
  • Conocimiento que no queda en la empresa. Si solo una persona sabe cómo se usa la herramienta en un proceso, su marcha lo detiene.

Control:

  • Mantener la revisión como parte del trabajo, no como un trámite.
  • Formación continua.
  • Documentar cómo se usa la IA en cada proceso.

Cómo valorarlos sin complicarse

Para cada riesgo relevante, dos preguntas: ¿qué probabilidad hay de que ocurra? y ¿qué daño haría? Con tres niveles (bajo, medio, alto) suele bastar.

Daño bajo
Daño medio
Daño alto
Probabilidad alta
Controlar
Controlar con urgencia
No arrancar sin controles
Probabilidad media
Vigilar
Controlar
Controlar con urgencia
Probabilidad baja
Aceptar
Vigilar
Controlar

Ante cada riesgo hay cuatro opciones:

  • Reducirlo con controles (lo habitual).
  • Aceptarlo conscientemente y dejarlo por escrito.
  • Trasladarlo mediante contratos o seguros.
  • Evitarlo cambiando el alcance del piloto o renunciando a él.

Cuándo revisar la lista de riesgos:

  • Antes de aprobar cada piloto.
  • Cuando ocurre una incidencia imprevista.
  • Cuando cambia la normativa o la herramienta.
  • Y, como mínimo, una vez al año.

Qué se espera del comité

  • ¿Tenemos una lista breve de riesgos por cada piloto, con su responsable?
  • ¿Las herramientas que pueden actuar (enviar, modificar, publicar) tienen aprobación humana antes de hacerlo?
  • ¿Revisamos qué se publica con IA de cara al exterior?
  • ¿Tenemos un plan B si falla el proveedor de un proceso importante?
  • ¿Estamos cuidando que el equipo mantenga su criterio y no se limite a validar lo que propone la IA?

Fuentes