Alessandro Mantelero: “Una tecnologia que va en contra dels drets fonamentals no és una bona tecnologia”

Els drets fonamentals estan protegits a nivell europeu i a nivell estatal. Això implica que, si no es respecten, existeix una responsabilitat legal pels danys i perjudicis que es puguin produir. El FRIA és la metodologia unitària que permet avaluar totes aquestes situacions.  

Els proveïdors de serveis d’intel·ligència artificial tenen l’obligació de fer una avaluació de les seves eines per comprovar la seva seguretat i l’impacte que poden tenir sobre els drets fonamentals. Estem més acostumats a fer la primera part d’aquest procés, la comprovació de la seguretat, perquè ja tenim les eines tècniques per fer-ho i uns estàndards molt definits. En canvi, la part dels drets fonamentals és molt nova i, per tant, ens en falta molta experiència. Per això és tan important haver desenvolupat una metodologia com el model FRIA.

L’avaluació d’impacte sobre drets fonamentals està dirigida a qui desplega la intel·ligència artificial. Per una banda, hi ha l’empresa que desenvolupa i distribueix la solució d’intel·ligència artificial, per exemple, Microsoft, i, per altra banda, hi ha l’entitat que l’aplica en un àmbit concret, per exemple, la Generalitat de Catalunya. L’entitat que aplica aquesta IA ha de passar per aquesta avaluació i, per tant, necessiten l’eina.  

El gran repte ha estat aconseguir que sigui senzill. La majoria de models d’aquest tipus tendeixen a ser massa complexos, fan servir massa variables i massa preguntes. No encaixen amb l’estructura d’avaluació d’impacte en els drets fonamentals. També ha estat un repte elaborar un model que tingui en compte la lògica del risc i, a la vegada, que incorpori la perspectiva jurídica.

Només quan implementes un model pots saber realment com funciona. És molt fàcil desenvolupar models que només funcionen en teoria, però que no s’acaben implementant mai. Aquests estudis de cas ajuden a validar el model FRIA. En els casos estudiats, que són l’educació, els ajuts socials, la contractació de personal i la investigació medico-científica, una mala aplicació de la intel·ligència artificial pot tenir conseqüències greus. La idea era verificar el bon funcionament del model FRIA en aquests casos reals, i hi hem tingut èxit.

Aquest model es pot aplicar en diversos països. De fet, l’autoritat de protecció de dades croata ja l’ha adoptat. Ara mateix, tenim altres entitats i autoritats interessades en aplicar-lo als seus àmbits d’actuació. És un model universal que pot ser adoptat per qualsevol entitat.

Aquestes dues avaluacions s’han de relacionar. El model FRIA té una estructura molt semblant a l’avaluació d’impacte sobre privacitat i protecció de dades, per tant, la integració entre ambdós models és fàcil.

Calen experts que coneguin bé aquest camp. Actualment, n’hi ha pocs. El perfil més adient és el del delegat de protecció de dades (DPD). Aquest perfil ja existeix en moltes entitats i empreses i està acostumat a dur a terme avaluacions d’impacte sobre la protecció de dades. En el grup de treball que ha elaborat el model hi havia DPDs involucrats i vam comprovar que, amb la formació adient, poden desenvolupar aquest rol sense problemes.

Es poden fer escales simètriques o asimètriques per calcular el risc. En el nostre cas, en fem servir una de simètrica perquè distribueix els nivells de risc de manera més homogènia. Hem decidit que tingui quatre nivells per evitar que tothom posi el nivell de risc al mig. És a dir, si en tingues tres o cinc nivells hi hauria la possibilitat de convertir el nivell 2 o 3 en un calaix de sastre. Els quatre nivells fan referència respectivament a risc baix, moderat, alt i molt alt, utilitzant una formulació descriptiva, i no matemàtica, com és habitual en l’àmbit del drets fonamentals.  

És important que sigui circular perquè aquesta metodologia tracta un camp contextual que demana una re-avaluació constant. És una avaluació d’un risc que existeix ara, en un context específic i que afecta categories concretes de persones. Totes aquestes variables poden canviar al mateix temps que pot canviar la tecnologia. S’ha de tenir en compte que els paràmetres poden canviar.  

L’experiència ens diu que tots els models evolucionen, s’afinen i milloren a mesura que s’apliquen. El FRIA és un bon model i està ben desenvolupat i els casos d’ús ho confirmem. Som conscients que l’hem aplicat a casos específics i, per tant, fer-lo servir a gran escala ens permetrà ajustar el qüestionari i automatitzar-ne algunes parts. Tot i això, el resultat final sempre dependrà de l’habilitat i el judici de l’expert que apliqui el model.

Tots, per una raó o una altra, ajuden a entendre aspectes de la metodologia. Destacaria el cas de CaixaBank, perquè els resultats van ser més aviat positius. En el cas de la salut, l’aplicació de la IA per detectar un càncer és interessant, perquè s’aplica tant a la Unió Europea com a fora i ens permet estudiar riscos específics que trobem en cada àmbit. 

Hi ha dos arguments. Quan desenvolupes una tecnologia, és millor per a tothom que respecti els drets fonamentals. Una tecnologia que va en contra dels drets humans no és una bona tecnologia. El segon és una mica més contundent: si la tecnologia no respecta els drets fonamentals, la reputació de l’empresa es pot veure afectada i pot comportar sancions.  

L’APDCAT, com altres autoritats de protecció de dades, té la competència d’aplicar el Reglament d’Intel·ligència Artificial (RIA) i l’obligació de verificar que el reglament s’aplica correctament pel que fa al respecte als drets fonamentals. El model FRIA ha d’ajudar a fer complir aquest reglament.  

El RIA es va dissenyar sense tenir gaire en compte els drets fonamentals. El seu disseny es va centrar més en la seguretat del producte des d’una perspectiva de mercat. Necessitem guies que ens expliquin com avaluar bé els riscos sobre els drets fonamentals. De fet, al primer esborrany elaborat per la UE es passava de puntetes i de manera molt genèrica sobre els drets fonamentals. Vaig treballar amb un company i l’equip del repporteur Benifei per introduir al text un article amb un apartat molt ampli que feia referència a l’impacte en drets fonamentals. Després de les negociacions polítiques, el text va quedar una mica minimitzat i es va incloure en l’article 27 del Reglament, referent a l’avaluació de l’impacte en els drets fonamentals per als sistemes d’IA de risc elevat.

La part bona d’aquest model és que, com que se centra en els drets fonamentals, no està tan subjecte al progrés tècnic d’aquestes eines. Ha passat una cosa similar amb els models d’avaluació de protecció de dades. Tot i que es van dissenyar fa anys, encara estan vigents perquè s’adapten bé a qualsevol context. Per això, és important desenvolupar un model que sigui neutral en relació amb l’evolució de la tecnologia específica.