Mecanismos de control y registro de algoritmos: el Ayuntamiento de Barcelona se asegura un uso ético de la IA

Regular la inteligencia artificial ya no es un reto, sino una realidad que empieza a materializarse por doquier.

Las previsiones hablan de que justo dentro de un año podría entrar en vigor el Reglamento de Inteligencia Artificial presentado en mayo de 2021 por la Comisión Europea, que tuvo su aperitivo en el Libro Blanco en Inteligencia Artificial un año antes.

Este tipo de documentos son los que han venido inspirando a otras administraciones para empezar a mentalizarse de una necesidad que ya nadie discute: tener normativas que nos protejan de una tecnología con gran poder de influencia y, por tanto, de manipulación.

[Análisis del Reglamento Europeo de Inteligencia Artificial: un avance positivo y necesario, pero algo abstracto]

Desde el ámbito estatal, también en 2020, el Gobierno de Pedro Sánchez presentó la Estrategia Española de Inteligencia Artificial; la guinda del pastel será el inicio de las operaciones de la Agencia Estatal de Supervisión de la Inteligencia Artificial (AESIA) en La Coruña, un organismo concebido precisamente para controlar que el uso de esta tecnología se haga con criterios éticos.

Desde el ámbito autonómico, ya hay regiones como la Comunidad Valenciana, Cataluña o Andalucía, que han avanzado en la creación de observatorios relacionados con el sector.

Y, obviamente, estos intentos de supervisión de la ética de la IA también tenían que dar el salto un escalón más, hacia el ámbito de lo local. En este sentido, el Ayuntamiento de Barcelona ha dado un paso decidido al frente.

El consistorio de la ciudad condal acaba de aprobar en este arranque de año el protocolo 'Definición de metodologías de trabajo y protocolos para la implementación de sistemas algorítmicos', que tiene como finalidad crear un protocolo interno para la implementación de sistemas algorítmicos en el ámbito municipal. 

[Valencia crea su propia agencia de supervisión e implica a empresas y sindicatos para una IA ética]

"Se trata de un documento pionero en lo que se refiere a la regulación y gobernanza de los sistemas algorítmicos en el ámbito local", explican fuentes de la administración municipal. 

Añaden que este documento será aplicable a cualquier sistema algorítmico impulsado por el Ayuntamiento de Barcelona y "tiene como objetivo garantizar que estos sistemas se utilizan de forma proporcionada, supervisada y fundamentada, de acuerdo con estándares legales, éticos y técnicos".

El protocolo pretende, a través de diversos mecanismos, salvaguardar los derechos que deben existir en cada trámite municipal e implementar un sistema algorítmico propio. Además, define los órganos de gobernanza y supervisión que velarán por que el impacto del IA se alinee con los principios éticos.

En resumen, remarca, paso a paso, los mecanismos de garantía y salvaguarda de derechos que deben introducirse en cada momento de la implementación de un sistema de inteligencia artificial por parte del Ayuntamiento de Barcelona.

Como decíamos, y así lo reconoce el Ayuntamiento, este protocolo "se basa en la propuesta de regulación Europea sobre la inteligencia artificial".

En concreto, el protocolo se basa en la clasificación de riesgos hecha por la Comisión Europea en el marco de la AI Act, y establece diferentes tipos de mecanismos de garantía en función del nivel de riesgo del sistema que se licita. 

Riesgo aceptable y alto

Desde el Ayuntamiento explican que "los sistemas algorítmicos de riesgo inaceptable -aquellos que suponen una clara amenaza para la seguridad y los derechos de las personas- serán rechazados automáticamente, mientras que para el resto de sistemas se establecerán mecanismos en función del nivel de riesgo". 

Para los sistemas algorítmicos de alto riesgo -aquellos que tienen un impacto directo en los derechos fundamentales de las personas-, según exponen las mismas fuentes, "este protocolo prevé una serie de mecanismos de garantía más estrictos que para los considerados de riesgo limitado o mínimo, como los estudios de impacto algorítmico elaborados por un consejo asesor externo o la creación de mecanismos de comunicación y transparencia, como los registros de algoritmos".

Respecto a esto último, para este año 2023 el Ayuntamiento de Barcelona tiene prevista la creación y puesta en marcha del registro público de algoritmos, al tiempo que creará el consejo asesor externo que, entre otras tareas, elaborará los estudios de impacto algorítmico definidos en el documento.

Volviendo al protocolo, en el consistorio destacan que "es el primero en combinar el proceso de contratación pública, el ciclo de vida de un sistema algorítmico, los mecanismos existentes en el Ayuntamiento en cuanto a la protección de datos y los estándares éticos definidos por diversas administraciones y organizaciones". 

Anticiparse y adaptarse

Con este protocolo, el Ayuntamiento de Barcelona pretende anticipar y adaptar al contexto local la propuesta europea de regulación de la inteligencia artificial y hace accionables los principios éticos definidos por las diferentes estrategias municipales.

Este documento, en cualquier caso, no ha aparecido de la nada. El Ayuntamiento de Barcelona aprobó en abril de 2021 la 'Medida de Gobierno de la Estrategia Municipal de Algoritmos y Datos para el Impulso Ético de la Inteligencia Artificial', en la que se definían los principios éticos que debían regir la implementación de cualquier sistema algorítmico por parte del consistorio.

La medida de gobierno preveía un conjunto de actuaciones que el gobierno municipal considera prioritarias para afrontar el despliegue de la inteligencia artificial, una serie de acciones para introducir tecnología de IA en distintos servicios municipales.

Entre ellas, una es la que contempla la definición de metodologías de trabajo y protocolos, que ahora se desarrolla con este protocolo interno.