Alessandro Mantelero: “Una tecnología que va en contra de los derechos fundamentales no es una buena tecnología

Los derechos fundamentales están protegidos a nivel europeo y estatal. Esto implica que, si no se respetan, existe una responsabilidad legal por los daños y perjuicios que puedan producirse. El FRIA es la metodología unitaria que permite evaluar todas estas situaciones.

Los proveedores de servicios de inteligencia artificial tienen la obligación de realizar una evaluación de sus herramientas para comprobar su seguridad y el impacto que pueden tener sobre los derechos fundamentales. Estamos más acostumbrados a realizar la primera parte de este proceso, la comprobación de la seguridad, porque ya tenemos herramientas técnicas para hacerlo y unos estándares muy definidos. En cambio, la parte de los derechos fundamentales es muy nueva y, por tanto, nos falta mucha experiencia. Por eso es tan importante haber desarrollado una metodología como el modelo FRIA.

La evaluación de impacto sobre derechos fundamentales está dirigida a quien despliega la inteligencia artificial. Por un lado, está la empresa que desarrolla y distribuye la solución de inteligencia artificial, por ejemplo, Microsoft, y, por otro lado, está la entidad que la aplica en un ámbito concreto, por ejemplo, la Generalitat de Cataluña. La entidad que aplica esta IA debe pasar por esta evaluación y, por tanto, necesita la herramienta.

El gran reto ha sido conseguir que sea sencillo. La mayoría de modelos de este tipo tienden a ser demasiado complejos, utilizan demasiadas variables y demasiadas preguntas. No encajan con la estructura de evaluación de impacto en los derechos fundamentales. También ha sido un reto elaborar un modelo que tenga en cuenta la lógica del riesgo y, al mismo tiempo, incorpore la perspectiva jurídica.

Solo cuando implementas un modelo puedes saber realmente cómo funciona. Es muy fácil desarrollar modelos que solo funcionan en teoría, pero que nunca se acaban implementando. Estos estudios de caso ayudan a validar el modelo FRIA. En los casos estudiados —que son la educación, las ayudas sociales, la contratación de personal y la investigación médico-científica— una mala aplicación de la inteligencia artificial puede tener consecuencias graves. La idea era verificar el buen funcionamiento del modelo FRIA en estos casos reales, y lo hemos conseguido.

Este modelo puede aplicarse en varios países. De hecho, la autoridad de protección de datos croata ya lo ha adoptado. Actualmente, tenemos otras entidades y autoridades interesadas en aplicarlo en sus ámbitos de actuación. Es un modelo universal que puede ser adoptado por cualquier entidad.

Estas dos evaluaciones deben estar relacionadas. El modelo FRIA tiene una estructura muy similar a la evaluación de impacto sobre privacidad y protección de datos, por lo tanto, la integración entre ambos modelos es fácil.

Se necesitan expertos que conozcan bien este campo. Actualmente, hay pocos. El perfil más adecuado es el del delegado de protección de datos (DPD). Este perfil ya existe en muchas entidades y empresas y está acostumbrado a realizar evaluaciones de impacto sobre la protección de datos. En el grupo de trabajo que elaboró el modelo había DPDs involucrados y comprobamos que, con la formación adecuada, pueden desempeñar este rol sin problemas.

Se pueden hacer escalas simétricas o asimétricas para calcular el riesgo. En nuestro caso, usamos una simétrica porque distribuye los niveles de riesgo de manera más homogénea. Hemos decidido que tenga cuatro niveles para evitar que todo el mundo sitúe el riesgo en el nivel intermedio. Es decir, si tuviera tres o cinco niveles, existiría la posibilidad de convertir el nivel 2 o 3 en un cajón de sastre. Los cuatro niveles hacen referencia, respectivamente, a riesgo bajo, moderado, alto y muy alto, utilizando una formulación descriptiva, no matemática, como es habitual en el ámbito de los derechos fundamentales.

Es importante que sea circular porque esta metodología trata un campo contextual que requiere una reevaluación constante. Es una evaluación de un riesgo que existe ahora, en un contexto específico y que afecta a categorías concretas de personas. Todas estas variables pueden cambiar al mismo tiempo que puede cambiar la tecnología. Hay que tener en cuenta que los parámetros pueden variar.

La experiencia nos dice que todos los modelos evolucionan, se ajustan y mejoran a medida que se aplican. El FRIA es un buen modelo, está bien desarrollado y los casos de uso lo confirman. Somos conscientes de que lo hemos aplicado a casos específicos y, por lo tanto, utilizarlo a gran escala nos permitirá ajustar el cuestionario y automatizar algunas partes. Aun así, el resultado final siempre dependerá de la habilidad y el juicio del experto que aplique el modelo.

Todos, por una razón u otra, ayudan a entender aspectos de la metodología. Destacaría el caso de CaixaBank, porque los resultados fueron más bien positivos. En el caso de la salud, la aplicación de la IA para detectar un cáncer es interesante porque se aplica tanto en la Unión Europea como fuera, y nos permite estudiar riesgos específicos que encontramos en cada ámbito.

Hay dos argumentos. Cuando desarrollas una tecnología, es mejor para todos que respete los derechos fundamentales. Una tecnología que va en contra de los derechos humanos no es una buena tecnología. El segundo argumento es un poco más contundente: si la tecnología no respeta los derechos fundamentales, la reputación de la empresa puede verse afectada y puede conllevar sanciones.

La APDCAT, como otras autoridades de protección de datos, tiene la competencia de aplicar el Reglamento de Inteligencia Artificial (RIA) y la obligación de verificar que el reglamento se aplica correctamente en lo que respecta al respeto a los derechos fundamentales. El modelo FRIA debe ayudar a hacer cumplir este reglamento.

El RIA se diseñó sin tener muy en cuenta los derechos fundamentales. Su diseño se centró más en la seguridad del producto desde una perspectiva de mercado. Necesitamos guías que nos expliquen cómo evaluar bien los riesgos sobre los derechos fundamentales. De hecho, en el primer borrador elaborado por la UE se pasaba muy por encima y de forma muy genérica sobre los derechos fundamentales. Trabajé con un compañero y con el equipo del ponente Benifei para introducir en el texto un artículo con un apartado muy amplio que hacía referencia al impacto en derechos fundamentales. Después de las negociaciones políticas, el texto quedó algo minimizado y se incluyó en el artículo 27 del Reglamento, referente a la evaluación del impacto en los derechos fundamentales para los sistemas de IA de alto riesgo.

Lo bueno de este modelo es que, al centrarse en los derechos fundamentales, no está tan sujeto al progreso técnico de estas herramientas. Ha pasado algo similar con los modelos de evaluación de protección de datos. Aunque se diseñaron hace años, siguen vigentes porque se adaptan bien a cualquier contexto. Por eso, es importante desarrollar un modelo que sea neutral con respecto a la evolución de la tecnología específica.