Conforme a la nota de prensa publicada este 09 de diciembre de 2023, miembros del Parlamento Europeo y del Consejo han llegado a un acuerdo político sobre el futuro Reglamento europeo que regulará las herramientas de Inteligencia Artificial (IA).

El texto acordado tendrá que ser adoptado formalmente tanto por el Parlamento como por el Consejo para convertirse en Reglamento de la UE.

Los objetivos perseguidos son ambiciosos:

  • Garantizar que los derechos fundamentales, la democracia, el estado de derecho y la sostenibilidad ambiental estén protegidos de la IA de alto riesgo.
  • Al mismo tiempo, impulsar la innovación y hacer de Europa un líder en este campo.
  • Establecer el marco que permita a las empresas europeas, fundamentalmente las PYMEs, sacar un provecho adecuado de estas herramientas, prosperar y expandirse.

Las reglas acordadas establecen obligaciones para la IA en función de sus riesgos potenciales y nivel de impacto. La nota de prensa destaca los siguientes aspectos:

1. Aplicaciones prohibidas

Debido a la amenaza potencial para los derechos de los ciudadanos y la democracia que plantean ciertas aplicaciones de la IA, los colegisladores han acordado prohibir las siguientes:

  • Sistemas de categorización biométrica que utilizan características sensibles (por ejemplo, creencias políticas, religiosas, filosóficas, orientación sexual, raza);
  • Scraping no selectivo de imágenes faciales de Internet o de videovigilancia para crear bases de datos de reconocimiento facial;
  • Reconocimiento de emociones en el lugar de trabajo y en las instituciones educativas;
  • Sistemas de puntuación social basada en el comportamiento social o las características personales;
  • Sistemas de IA que manipulan el comportamiento humano para eludir su libre albedrío;
  • Sistemas de IA dirigidos a explotar las vulnerabilidades de las personas (debido a su edad, discapacidad, situación social o económica).

2. Excepciones para la persecución de delitos

Se permitirán determinadas excepciones estrictas para el uso de sistemas de identificación biométrica (SIB) en espacios públicos con la finalidad de perseguir delitos.

Estas excepciones estarán sujetas a autorización judicial previa y a listas de delitos estrictamente definidas.

  • Los SIB ex post facto o “en remoto” se utilizarán únicamente para la búsqueda selectiva de una persona condenada o sospechosa de haber cometido un delito grave.
  • Los SIB “en tiempo real” deberán cumplir condiciones estrictas y su uso será limitado en tiempo y ubicación, a los exclusivos fines de:
    • Búsquedas específicas de víctimas (secuestro, trata, explotación sexual),
    • Prevención de una amenaza terrorista específica y presente,
    • Localización o identificación de una persona sospechosa de haber cometido uno de los delitos específicos mencionados en el reglamento (por ejemplo, terrorismo, trata, explotación sexual, asesinato, secuestro, violación, robo a mano armada, participación en una organización criminal, delito ambiental).

3. Obligaciones para sistemas de alto riesgo

He aquí algunos ejemplos de ámbitos en los que la utilización de la IA da lugar a la identificación de sistemas de IA de alto riesgo, debido a su daño potencial significativo a la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el estado de derecho:

  • Infraestructuras críticas (por ejemplo, el transporte), que podrían poner en peligro la vida y la salud de los ciudadanos;
  • Formación educativa o profesional, que puede determinar el acceso a la educación y al curso profesional de la vida de una persona (por ejemplo, puntuación de los exámenes);
  • Componentes de seguridad de los productos (por ejemplo, aplicación de IA en cirugía asistida por robot);
  • Empleo, gestión de los trabajadores y acceso al trabajo por cuenta propia (por ejemplo, programas informáticos de selección de currículos para los procedimientos de contratación);
  • Servicios públicos y privados esenciales (por ejemplo, calificación crediticia que deniegue a los ciudadanos la oportunidad de obtener un préstamo);
  • Aplicación de la ley que pueda interferir con los derechos fundamentales de las personas (por ejemplo, evaluación de la fiabilidad de las pruebas);
  • Gestión de la migración, el asilo y el control fronterizo (por ejemplo, verificación de la autenticidad de los documentos de viaje);
  • Administración de justicia y procesos democráticos (por ejemplo, aplicación de la ley a un conjunto concreto de hechos; también los sistemas utilizados para influir en el resultado de las elecciones y el comportamiento de los votantes).

El acuerdo Parlamento-Consejo pretende establecer obligaciones claras a estos sistemas de IA clasificados como de alto riesgo. Aunque el texto definitivo no ha sido publicado en la nota de prensa, los trabajos previos hablan de las siguientes condiciones a cumplir:

  • Sistemas adecuados de evaluación y mitigación de riesgos;
  • Alta calidad de los conjuntos de datos que alimentan el sistema para minimizar los riesgos y los resultados discriminatorios;
  • Registro de la actividad para garantizar la trazabilidad de los resultados;
  • Documentación detallada que proporcione toda la información necesaria sobre el sistema y su finalidad para que las autoridades evalúen su conformidad;
  • Información clara y adecuada para el usuario;
  • Medidas adecuadas de supervisión humana para minimizar el riesgo;
  • Alto nivel de robustez, seguridad y precisión.

La nota de prensa refiere que los eurodiputados lograron con éxito incluir una evaluación obligatoria del impacto de los derechos fundamentales, entre otros requisitos, aplicables también a los sectores de los seguros y la banca. Los ciudadanos tendrán derecho a presentar quejas sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en sistemas de IA de alto riesgo que afecten a sus derechos.

4. Salvaguardas para sistemas generales

Obligaciones de transparencia para los sistemas de propósito general (GPAI): Para tener en cuenta la amplia gama de tareas que los sistemas de IA pueden realizar y la rápida expansión de sus capacidades, los colegisladores han acordado que los sistemas de IA de propósito general (GPAI, por las siglas en inglés de General Purpose Artificial Intelligence), y los modelos en los que se basan, tendrán que cumplir con los requisitos de transparencia propuestos inicialmente por el Parlamento. Estos requisitos incluyen la elaboración de documentación técnica, el cumplimiento de la legislación de derechos de autor de la UE y la difusión de resúmenes detallados sobre el contenido utilizado para la formación de los sistemas.

Obligaciones adicionales para los GPAI de alto impacto con riesgo sistémico: En el ámbito de la ciberseguridad, «Un riesgo sistémico es todo aquello que lleve a la posibilidad de tirar abajo un sistema por completo, haciendo que colapsen además sistemas que están interconectados entre sí, a nivel global».

Por lo tanto, para estos modelos, refiere la nota de prensa que los negociadores del Parlamento lograron asegurar obligaciones más estrictas. Además de cumplir determinados criterios, tendrán que llevar a cabo evaluaciones de modelos, evaluar y mitigar los riesgos sistémicos, realizar pruebas contradictorias, informar a la Comisión sobre incidentes graves, garantizar la ciberseguridad e informar sobre su eficiencia energética.

5. Medidas para apoyar la innovación y las PYME

Uno de los objetivos de las negociaciones ha consistido en asegurarse de que las empresas, especialmente las PYME, puedan desarrollar soluciones de IA sin la presión indebida de los gigantes de la industria que controlan la cadena de valor.

Con este fin, el acuerdo promueve las llamadas sandbox regulatorias y las pruebas en el mundo real, establecidas por las autoridades nacionales para desarrollar y capacitar una IA innovadora antes de su colocación en el mercado.

6. Sanciones

El incumplimiento de las normas puede dar lugar a multas que van desde los los 7,5 millones o el 1,5 % de la facturación mundial hasta los 35 millones de euros o el 7 % de la facturación mundial, dependiendo de la infracción y el tamaño de la empresa.

Colofón

A primera vista, los elementos generales publicados en la nota de prensa parecen referirse adecuadamente a la evaluación detallada de riesgos que se ha realizado en este proceso negociador, a partir de una primera propuesta de la Comisión. La protección de los derechos fundamentales y de las libertades públicas, del sistema democrático y el Estado de Derecho obliga a establecer estas precauciones en la Unión Europea, como principio fundamental y fundacional de su existencia. Es deseable sobre todo la transparencia y la rendición de cuentas de estos sistemas. Pero parece difícil poder regular y controlar la avalancha de aplicaciones que se nos viene. Otros entornos internacionales con menos salvaguardas desarrollarán sistemas de IA y abrirán mercados que ahora se nos hacen difíciles de imaginar. Confiemos en que la economía y la sociedad europea no queden al margen de ese desarrollo. En todo caso, el precio no debe ser la erosión de principios políticos y éticos fundamentales, por lo que esperemos que el nuevo Reglamento sirva de marco adecuado para un desarrollo ponderado y sostenible de estas tecnologías.