Adopción y gobierno de la Inteligencia Artificial en la Empresa Parte III
Adopción y gobierno de la Inteligencia Artificial en la Empresa
Parte III
Reflexiones de Cristóbal Morocho Moreno
Diciembre de 2025
LinkedIn: www.linkedin.com/in/cristobalmorochomoreno
1. Gobernanza, riesgos y ética en la IA
A medida que la IA
se incorpora en la organización y se vuelve más autónoma y crítica para el
negocio, la gestión de riesgos, el cumplimiento normativo y las consideraciones
éticas se vuelven primordiales. Con este enunciado es preciso establecer las
acciones del caso para implementar o mejorar la gestión de riesgos que tiene la
organización. A la fecha de este documento existen muchos marcos de trabajo
(Frameworks) relacionados con el gobierno, riesgos y ética. Entre otras importantes están las siguientes: La Ley de
IA de la Unión Europea (EU AI Act), NIST AI RMF, Three Lines Model (3LoD), OECD
Responsible AI principles, ISO 42001, etc.
1.1. Riesgos y vulnerabilidades específicas de la IA
Está difundido ampliamente que la implementación de la
IA y, en particular, de la IA Generativa (Gen AI) introduce nuevos vectores
de ataque y exacerba riesgos preexistentes que las organizaciones deben
gestionar de manera proactiva puesto que ser reactivos, provocará que las
expectativas de la ejecución de proyectos relacionados con IA no lleguen al
éxito que se espera. Entre los más destacados están los centrados en la
manipulación de datos y los ciberataques; a continuación una rápida
descripción:
a) Ataques de inyección de Prompts (Prompt
Injection Attacks): Este es un
vector de ataque directo e indirecto específico de la IA Generativa. Los atacantes
diseñan entradas (prompts) maliciosas
para forzar al modelo de IA a generar respuestas no intencionadas, manipular su
comportamiento, obtener acceso no autorizado o eludir las medidas de seguridad.
Esto es comparable a los ataques de inyección SQL en bases de datos
tradicionales; problema muy conocido por los profesionales de IT.
b)
Envenenamiento
de datos (Data Poisoning): Ocurre cuando
los actores maliciosos inyectan datos corruptos o sesgados en los conjuntos de
entrenamiento utilizados para construir los modelos de IA. Las consecuencias de
este riesgo implican que se reduzca la utilidad del modelo de IA y malgastar
recursos, o lo que es más grave, introducir un sesgo oculto o una
sensibilidad a ciertos datos que pueden influir maliciosamente en las decisiones
del negocio. Un ejemplo preocupante podría ser la manipulación de conjuntos de
datos para facilitar errores de diagnóstico en condiciones médicas.
c)
Ciberataques impulsados
por IA: La IA Generativa proporciona un nuevo
arsenal a los ciberatacantes, lo que aumenta la escala, velocidad,
sofisticación y precisión de los ataques. Los riesgos incluyen ataques
autónomos lanzados en masa, la creación de código malicioso, y el spoofing
o suplantación de usuarios confiables para engañar a las víctimas. Al momento,
ya se pueden generar suplantaciones en video, voz e imagen con herramientas de
IA de acceso gratuito.
1.2.
Riesgos éticos y de gobernanza
que requieren gestión proactiva
Más allá de los ciberataques ya mencionados, la IA presenta riesgos fundamentales relacionados con la ética, la calidad de los datos y la conformidad regulatoria, cuya gestión debe ser el núcleo de una estrategia proactiva. A continuación se mencionan algunos de estos riesgos que generalmente son los más importantes:
a) Sesgo y discriminación algorítmica (Bias and Fairness): Si los modelos se entrenan con conjuntos de datos
que reflejan prejuicios sociales, la IA no sólo puede mantener, sino también agravar los sesgos preexistentes,
conduciendo a decisiones injustas o discriminatorias que violan los Derechos
Fundamentales. La detección y mitigación de estos sesgos es una obligación
explícita para todos los sistemas en general y en particular para los sistemas
de alto riesgo.
b) Falta de transparencia y explicabilidad (Explainability): La dificultad para comprender cómo y por qué un
sistema de IA tomó una decisión (el problema de la "caja negra")
genera desconfianza y resistencia por parte de los usuarios. Es esencial
desarrollar modelos de IA explicables (XAI) que proporcionen un razonamiento
claro y puedan ser verificados (auditoría). El esfuerzo técnico requerido para
superar este riesgo es alto.
c) Privacidad y confidencialidad de datos: El manejo de grandes volúmenes de datos personales y
sensibles por parte de la IA plantea riesgos significativos de seguridad y
privacidad. Se requiere desarrollar políticas estrictas de protección de
datos y garantizar el cumplimiento de regulaciones gubernamentales en general o
en su defecto, las que la organización haya establecido.
d) Riesgo de alucinaciones: Los modelos de IA Generativa pueden producir
información inexacta o fabricada
denominadas como “alucinaciones” que, si se utiliza en la toma de decisiones,
puede causar daños a clientes o exponer a la empresa a graves responsabilidades
legales. Para superar este riesgo la organización requiere un considerable
esfuerzo técnico y de auditoría permanente.
e) Riesgos
regulatorios y de cumplimiento: La IA
está sujeta a regulaciones crecientes (como la Ley de IA de la Unión Europea),
con obligaciones específicas para sistemas de alto riesgo. El incumplimiento,
incluso en áreas como la gestión de datos o la falta de claridad legal sobre la
responsabilidad por daños causados por sistemas autónomos, es un riesgo
significativo.
2. Capacidades fundamentales para el éxito en
IA.
Como
se ha mencionado desde un inicio en esta serie de artículos, el éxito de la IA
no se basa únicamente en la tecnología, sino en un conjunto integrado de
capacidades que abarcan datos, infraestructura, talento y cultura. En este momento
de la historia ya se han generado varios estudios que recomiendan marcos que
describen la asignación de recursos y atención que las organizaciones deben dar
a las diferentes áreas para llevar a cabo una incorporación exitosa de la IA.
Uno de ellos por ejemplo es el de la consultora Boston Consulting Group (BCG),
donde menciona que el 70% de los desafíos en los proyectos de la aplicación de
IA se relacionan con las personas y los procesos, el 20% con la tecnología y
solo el 10% con los algoritmos.
Las
capacidades que se enmarcan en la categoría de "Personas y Procesos"
(el 70%) se consideran esenciales para el éxito en la IA, incluyendo la gestión
efectiva de procesos y respaldada por la gestión del talento humano y la
gestión del cambio; es claro la importancia de este 70%. Así entonces el
énfasis en la parte humana y operativa refleja que el éxito de la IA se basa
menos en los avances algorítmicos (10%) o en la infraestructura tecnológica
(que suman sólo el 30%), y mucho más en cómo la organización se adapta a estas
herramientas.
De
igual manera el Project Management Institute (PMI) menciona que los riesgos de
no enfocarse en esta área son significativos, ya que la falta de habilidades es citada por el 63% de los ejecutivos como
una barrera principal para la adopción de tecnología de IA. Además, la IA
representa un cambio importante para la fuerza laboral, lo que implica que los
empleados deben adquirir nuevas habilidades, los puestos de trabajo deben
rediseñarse y la cultura organizacional debe adaptarse; evidentemente un gran
trabajo en la gestión del cambio es relevante.
3. Implementación práctica.
La
implementación exitosa de la IA requiere un enfoque estructurado que traduzca
la estrategia en ejecución tangible. Esto implica una gestión de proyectos adaptada
a la naturaleza iterativa de la IA, una asignación clara de responsabilidades y
la selección de casos de uso que generen un impacto medible.
3.1.
Metodología de proyectos con IA
Lo
primero, los proyectos con IA son inherentemente diferentes al tradicional
concepto de desarrollo de software tradicional. Requieren otro enfoque y
análisis en general. Son iterativos y como ya se ha mencionado, dependen de la
calidad de los datos y están influenciados por variables cambiantes. En
términos muy generales, un enfoque de proyecto exitoso se puede estructurar en
las siguientes fases:
1.
Alineación con el Negocio: Establecer
el proyecto a un problema de negocio específico (caso de uso priorizado). No
empezar con "¿Qué puede hacer la IA?", sino con "¿Qué necesita
nuestro negocio?".
2.
Exploración de Datos: Evaluar la
calidad, disponibilidad y gobernanza de los datos existentes. Identificar
limitaciones desde el principio sobre este campo es prioritario.
3.
Preparación de Datos: Limpiar,
etiquetar, estandarizar y preparar los datos para el modelado; es importante
operar con un gobierno de datos establecido en la organización.
4.
Desarrollo del Modelo: Seleccionar,
entrenar y ajustar el modelo apropiado; una tarea principalmente técnica y
especializada.
5.
Evaluación del Modelo: Validar el
rendimiento del modelo frente a los KPIs definidos por la organización para
efectivamente validar y controlar los resultados que la IA estaría entregando. A
continuación se menciona un ejemplo de específicos KPIs y métricas que la
organización podría considerar:
6. Despliegue e Integración: Implementar el modelo en un entorno de producción e integrarlo en los flujos de trabajo existentes. Esta es ya la fase prácticamente final del proyecto, pero, inicia la operación del nuevo sistema y por tanto, un control y mantenimiento permanente.
4. El futuro inmediato de la IA: Agentes de IA
Los
agentes de IA representan el siguiente nivel del uso práctico de esta
tecnología en la productividad. Un agente es un sistema capaz de realizar
tareas complejas de forma autónoma, descomponiendo un objetivo en sub-tareas,
monitoreando su progreso, utilizando herramientas externas (como buscar en la
web o ejecutar código) y adaptando su propia estrategia. Podría parecer de
libreto de película, pero no lo es, ya es posible implementarlo.
Características clave de los Agentes de IA
Sin descender al detalle técnico que no es nuestro
objetivo, si podemos mencionar en términos generales sus principales
características:
- Autonomía:
Pueden actuar de forma independiente para lograr un objetivo definido.
Tiene definido que para lograrlo puede descomponer el mismo en varias
sub-tareas.
- Memoria:
Utilizan bases de datos para almacenar información (como una memoria a
corto y largo plazo), lo que les permite aprender de interacciones pasadas
y personalizar las respuestas ante el escenario de ese momento.
- Planificación y razonamiento: Pueden crear un plan para resolver una tarea o
sbu-tarea, ejecutar acciones y recordar los resultados.
- Uso de herramientas: Pueden interactuar con otros elementos
tecnológicos (APIs externas, bases de datos) y otras herramientas para
obtener información o realizar acciones con en el mundo real utilizando
sensores o monitores.
Con
estas condiciones tecnológicas, las organizaciones están transitando de un
modelo actual basado puramente en la mano de obra a uno habilitado por activos
digitales, donde los sistemas de Agentes de IA o IA Agéntica, actuará como un
multiplicador de la productividad. Se proyecta que para el año 2028, el 33% de
las aplicaciones de software empresarial incluirán IA agéntica, un salto masivo
considerando que en 2024 representaron menos del 1%. Podría pensarse que para
el futuro mediato, la IA asista en un segundo plano en casi todos los procesos
de negocio sin ser intrusiva
4.1.
Gobernanza y responsabilidad
Podría verse
como redundante, pero, más bien es reiterativo en esta serie de artículos, el
hecho de que un aspecto crítico de la incorporación de la IA es la gobernanza
proactiva. Dado que los agentes de IA pueden actuar de forma autónoma, existe
el riesgo de "bucles de retroalimentación infinita" o decisiones
sesgadas. Así entonces, las empresas deberían implementar procesos básicos de
control como los siguientes:
•
Supervisión humana (Human-in-the-loop):
Mecanismos donde las acciones de alto impacto (como las transacciones
financieras o las decisiones médicas) requieran aprobación humana explícita.
Una vez que el sistema de agentes de IA haya sido pasado una etapa de madurez,
se podría bajar el nivel de supervisión humana, pero, no abandonarla
definitivamente.
•
Sistemas de Auto-regulación: Comprobada
la estabilidad de operación y producción, la el sistema de agentes de IA se
movería hacia sistemas que incorporan monitoreo de cumplimiento en tiempo real,
reduciendo la necesidad de supervisión manual constante; pero como ya se
indicó, no se deberá abandonarla definitivamente.
4.2. Metáfora para la comprensión
Tomando
las ideas de la bibliografía leída sobre este tema, podemos imaginar que la IA
actual (especialmente la IA Generativa) es un libro de cocina interactivo:
usted pregunta por una receta y el libro le da las instrucciones, imágenes y
hasta un video. Por su parte, el sistema de agentes de IA, en cambio, es un
chef ejecutivo digital: usted le dice "quiero organizar una cena para diez
personas con temática ecuatoriana", y el agente se encarga de revisar su despensa
de alimentos (vegetales, frutas, proteínas), hacer la lista de compras de lo
que haga falta, realizar pedir de esos ingredientes a los proveedores de
entrega a domicilio y coordinar con un chef humano su elaboración y preparación
para sus comensales. ¿Suena a ficción?, sólo es cuestión de tiempo para que
aparezcan en los noticiarios.
5. Conclusión.
La
adopción exitosa de la Inteligencia Artificial no es un desafío puramente
tecnológico, sino un imperativo de gestión estratégica y gobernanza proactiva.
Para transitar con éxito desde el uso de herramientas generativas hacia la
implementación de Agentes de IA autónomos, las organizaciones deben asimilar
tres pilares fundamentales:
La Gobernanza como habilitador, no
como freno: Un marco sólido de ética y gestión de riesgos (basado en estándares como
ISO 42001 o el EU AI Act) es lo único que permite escalar la IA sin comprometer
la integridad del negocio frente a vulnerabilidades como el envenenamiento de
datos o las alucinaciones.
El Factor Humano es el
"núcleo" del proyecto: Tal como indican las métricas de
BCG y el PMI, el “70% del éxito reside en las personas y los procesos”. La
gestión del cambio y el cierre de la brecha de habilidades son los verdaderos
multiplicadores de valor, por encima del algoritmo (10%) o la infraestructura
(20%).
Gestión de Agentes de IA: El paso hacia
una "IA Agéntica" exige una metodología de proyectos iterativa y
centrada en el negocio. No se trata de implementar tecnología por novedad, sino
de integrar activos digitales capaces de razonar y ejecutar, manteniendo siempre
la supervisión humana como salvaguarda final.
En
definitiva, la organización del futuro inmediato no solo usará la IA; se convertirá
en un ecosistema donde el talento humano
dirige a los "chefs ejecutivos digitales" bajo un control riguroso.
La diferencia entre ser un espectador o un líder radicará en la capacidad de
unir la sofisticación técnica con una ejecución ética y orientada a resultados.
Cristóbal Morocho Moreno
PMP-DASM
Diciembre 2025
Comentarios
Publicar un comentario
Gracias por sus comentarios que permitan al contenido de éste Blog y al Autor mejorar continuamente.