Administraciones inteligentes y acceso al código fuente y los algoritmos públicos. Conjurando riesgos de cajas negras decisionales

Abstract

Existe un consenso amplio en que el uso de sistemas de IA por parte de las Administraciones públicas debe ser transparente y garantizar que los ciudadanos comprenden cómo y por qué se han adoptado las decisiones algorítmicas que les afectan individual o colectivamente. La legislación de transparencia puede y debe ser un instrumento para este propósito. Existe una doctrina bien asentada de las Autoridades de transparencia que considera que código fuente y los algoritmos (deterministas o predictivos) utilizados por la Administración constituye

«información pública». Partiendo de esta premisa, la casuística comparada e interna del derecho de acceso a la información posibilita identificar algunos de los riesgos inherentes al uso de estos sistemas de IA por parte de las Administraciones: reglamentación oculta y errores; existencia de black boxes decisionales; sesgos embebidos y vulneraciones de derechos y libertades. Sin perjuicio de los eventuales límites legales que puedan concurrir (e.g. seguridad pública, propiedad intelectual e industrial), analizados en este trabajo, existe cierto consenso en que el derecho de acceso no siempre garantiza una total transparencia y comprensibilidad del proceso de toma de decisiones mediante sistemas de IA, especialmente, cuando estos utilizan modelos de black box. Es más, la noción misma de un black box como incapacidad de entender los resultados producidos por un sistema algorítmico comienza a ser expansiva, en el sentido de que el análisis de la casuística ahí donde el acceso al código fuente de algoritmos deterministas es objeto de litigio evidencia que ni los afectados por la decisión ni el juez son capaces de entender cómo el sistema llegó a tal decisión. Se constata, por último, que no existe una coincidencia exacta entre el significado técnico de la transparencia algorítmica manejado por la XAI y el significado jurídico de la transparencia administrativa propio del iuspublicismo. De lege ferenda, y a fin de garantizar una adecuada interpretabilidad, explicabilidad y justificación de las decisiones públicas adoptadas o apoyadas en sistemas de IA y el escrutinio público de las mismas, la legislación de transparencia debería determinar la información relevante que podría ser objeto de publicidad activa o del derecho de acceso e incorporar obligaciones de producción, conservación y registro de la documentación técnica relativa al ciclo de vida de tales sistemas.