Cap a la transparència algorítmica: definició, abast i estratègia global per a la seva garantia en l'àmbit de la Generalitat de Catalunya: Catàleg d'experiències tendents a la transparència algorítmica

Abstract

A mesura que les decisions basades en l’ús de sistemes algorítmics o d’intel·ligència artificial (IA) afecten aspectes importants de la vida de les persones (com ara l'accés a serveis de les Administracions Públiques, financers, oportunitats d'ocupació o decisions judicials), es fa imprescindible que els usuaris i les parts interessades puguin confiar en la integritat i equitat d'aquests sistemes. La manca de transparència dels sistemes algorítmics o d’IA pot dur a situacions on les persones usuàries o afectades no comprenen, o fins i tot no coneixen, les raons que motiven les decisions que els afecten, cosa que soscava els principis de justícia i equitat, i en el cas de les Administracions Públiques, pot implicar la vulneració del principi de d’interdicció de l’arbitrarietat (art. 9.3 de la CE) En el sector de la intel·ligència artificial, resulta fonamental afrontar el fenomen complex i multifactorial de l’opacitat algorítmica, tal com descriu Burrell (2016). Aquesta manca de transparència pot tenir diverses causes, com ja hem assenyalat en altres ocasions (Cerrillo i Martínez, 2021b; Velasco Rico, 2019c; Velasco Rico, 2020). D’acord amb Burrell (2016), un dels factors principals d’opacitat prové de la naturalesa dels algoritmes, que, com ja hem esmentat, sovint funcionen com a caixes negres, ocultant els seus processos interns. També, aquesta opacitat pot derivar de les dades utilitzades per entrenar o posar en funcionament el sistema, les quals poden ser en part o completament desconegudes, així com de les regles que determinen com es processen o descarten aquestes dades. En aquest nou escenari tecnològic, resulta extremadament difícil garantir el control sobre les motivacions de l’actuació administrativa i prevenir l’arbitrarietat sense accedir a una sèrie de dades clau i la transparència en l’actuació i el funcionament de les Administracions públiques. En aquest sentit, és imprescindible saber qui ha pres la decisió d’implementar un sistema algorísmic avançat o d’intel·ligència artificial, així com establir amb precisió quan, com i amb quina finalitat s’ha utilitzat en el procés de presa de decisions públiques. També és essencial comprendre el funcionament d’aquests sistemes, incloent-hi la seva lògica interna; identificar els responsables del seu disseny i programació; i especificar quin òrgan o entitat en realitza la supervisió, auditoria i control, a més de clarificar el paper que hi juga la intervenció humana. Finalment, cal concretar a qui s’atribueixen les actuacions derivades d’aquests sistemes.