Administraciones inteligentes y acceso al código fuente y los algoritmos públicos. Conjurando riesgos de cajas negras decisionales

There is broad consensus that the use of AI systems by Governments must be transparent and ensure that citizens are able to understand how and why algorithmic decisions affecting them, individually or collectively, have been made. Transparency legislation can be a useful instrument for this purpose. There is a well-established doctrine issued by freedom information Authorities that the source code and algorithms (either deterministic or predictive) used by the Governments are «public information». Based on that premise, the comparative and domestic casuistic of the right of access to public information makes possible to identify some of the risks inherent in the use of AI systems by Governments: covert regulation and bugs; existence of black box decision-like; embedded biases and impairment of rights and freedoms. Notwithstanding the potential legal limits (e.g. public security, intellectual property) analysed in this paper, there is a wide consensus that the right of access does not always ensure full transparency and understanding of the algorithmic decision-making process, especially where black box models are implemented. Moreover, the idea itself of black box as an inability to understand how an algorithmic system produced an output is becoming expansive. In effect, cases where requests of access concerning the source code of deterministic algorithms is at dispute are showing to what extent neither the affected parties by an algorithmic decision nor the judge are able to understand how the system reached such decision. In addition, it has been found that there is no an exact match between the technical meaning of «algorithmic transparency» handled by the «XAI» and the legal meaning of «administrative transparency» typical of Public Law. On a lex ferenda basis, in order to achieve appropriate interpretability, explainability and justification for governmental decisions made or supported by AI systems and public scrutiny thereof, freedom of information legislatio
Existe un consenso amplio en que el uso de sistemas de IA por parte de las Administraciones públicas debe ser transparente y garantizar que los ciudadanos comprenden cómo y por qué se han adoptado las decisiones algorítmicas que les afectan individual o colectivamente. La legislación de transparencia puede y debe ser un instrumento para este propósito. Existe una doctrina bien asentada de las Autoridades de transparencia que considera que código fuente y los algoritmos (deterministas o predictivos) utilizados por la Administración constituye «información pública». Partiendo de esta premisa, la casuística comparada e interna del derecho de acceso a la información posibilita identificar algunos de los riesgos inherentes al uso de estos sistemas de IA por parte de las Administraciones: reglamentación oculta y errores; existencia de black boxes decisionales; sesgos embebidos y vulneraciones de derechos y libertades. Sin perjuicio de los eventuales límites legales que puedan concurrir (e.g. seguridad pública, propiedad intelectual e industrial), analizados en este trabajo, existe cierto consenso en que el derecho de acceso no siempre garantiza una total transparencia y comprensibilidad del proceso de toma de decisiones mediante sistemas de IA, especialmente, cuando estos utilizan modelos de black box. Es más, la noción misma de un black box como incapacidad de entender los resultados producidos por un sistema algorítmico comienza a ser expansiva, en el sentido de que el análisis de la casuística ahí donde el acceso al código fuente de algoritmos deterministas es objeto de litigio evidencia que ni los afectados por la decisión ni el juez son capaces de entender cómo el sistema llegó a tal decisión. Se constata, por último, que no existe una coincidencia exacta entre el significado técnico de la transparencia algorítmica manejado por la XAI y el significado jurídico de la transparencia administrativa propio del iuspublicismo. De lege ferenda, y a fin de garantizar una adec