TUG estudia y diseña la relación entre las personas y los sistemas de inteligencia artificial opacos, para que esa relación sea funcional, trazable y auditable. Trata la confianza como una infraestructura: algo que se puede observar, medir y auditar, no solo declarar.
Propósito
Cuando una organización incorpora IA a sus decisiones, la pregunta deja de ser cuánto rinde un modelo. Pasa a ser qué relación mantiene una persona con un sistema que no controla del todo.
Esa relación es el objeto de la línea. TUG da soporte a la creación de procesos sociotécnicos mediados por las TIC, incluida la IA generativa, orientados a gestionar la incertidumbre y la confianza.
La línea trabaja en tres planos que se sostienen entre sí. Investiga cómo se forma, se pierde y se recupera la confianza en entornos mediados por IA. Desarrolla artefactos y procesos que la hacen operativa. Y forma a equipos y organizaciones, como primer paso para incorporar estas capacidades.
Enfoque
TUG separa tres tareas que suelen confundirse: medir la confianza, diseñarla y gobernarla.
Medir es caracterizar la confianza real de un operador en un ecosistema de IA, más allá de lo que declara, y distinguir la supervisión efectiva de la nominal.
Diseñar es traducir esa medida en decisiones sobre cómo se construyen los sistemas y los procesos que los rodean.
Gobernar es situar todo lo anterior en su marco: la supervisión humana significativa que exige el Reglamento Europeo de IA y las garantías del Reglamento General de Protección de Datos.
Instrumentos
La línea trabaja con instrumentos propios que son a la vez resultado de investigación y medio para intervenir en procesos reales.
ConfAI. Instrumento psicométrico que mide la confianza real del operador en un ecosistema de IA y distingue la supervisión efectiva de la nominal. Sirve como medida y como guía de diseño.
CHORUS. Orquesta varios modelos de lenguaje heterogéneos y traduce su desacuerdo en un índice interpretable. Ese índice marca dónde conviene concentrar el escrutinio humano.
RAG y formalización de conocimiento experto. Anclan la respuesta de los modelos en fuentes verificadas. Sostienen la gestión de conocimiento con LLM guiados por recuperación desarrollada para el Espacio Madrileño de Investigación e Innovación.
MEDLEY-SEC. Vertiente de seguridad de MEDLEY, el sistema de la colaboración internacional. Se orienta a detectar manipulaciones y envenenamiento de datos mediante el desacuerdo entre modelos. Recogida en una publicación en el Journal of Medical Internet Research sobre seguridad de IA.
Alcance en contextos complejos
La confianza sociotécnica se pone a prueba en entornos de alta incertidumbre y consecuencias graves.
La coordinación desde UPM-ETSIST del proyecto europeo NEURO-REBUILD (Horizonte Europa) aborda el diseño sociotécnico de procesos de reconstrucción en contextos como catástrofes naturales o conflictos, combinando medición multimodal y gemelos digitales. Ahí, gestionar la confianza a nivel sociotécnico es condición para que el proceso funcione.
Esta capacidad se apoya en la trayectoria del grupo en ciberseguridad y ciberdefensa, que aporta conocimiento directo de los entornos donde la confianza se tensiona: entornos 5G virtualizados para entrenamiento, sistemas industriales predecibles y confiables, conciencia cibersituacional y entrenamiento en ciberdefensa mediante simulación. El grupo forma parte, además, del comité asesor de GUARDIANES, red de excelencia en tecnologías de IA para la seguridad y la defensa.
Formación
La formación es una vía de trabajo de la línea y, a menudo, el primer paso que una organización puede dar.
El curso NLP for Emotional AI, ya impartido, trabaja la mejora del etiquetado y la captación de tonos y emociones en las interacciones, para adaptar el discurso de los sistemas a la situación comunicativa. En preparación, previsto para septiembre, un curso de Sistemas Agénticos.
Investigación en curso
Hay tesis doctorales en curso sobre gobernanza e incertidumbre en sistemas de IA y sobre la aplicación de modelos de lenguaje locales en entornos clínicos.
Este trabajo se apoya en una trayectoria de tesis dirigidas en el grupo, entre ellas la dedicada a la seguridad y privacidad de los dispositivos conectados en el hogar digital, defendida en 2023, y la centrada en detección de intrusiones mediante aprendizaje automático para ciberseguridad, defendida en 2021.