Panorama: Ley sobre responsabilidad en la IAG de California

lunes, 27 de enero de 2025

Panorama: Ley sobre responsabilidad en la IAG de California

El 19 de septiembre de 2024, el gobernador de California, Gavin Newsom, promulgó la Ley de Responsabilidad de la Inteligencia Artificial Generativa de California, que exigirá a los proveedores de sistemas de inteligencia artificial (IA) generativa que:

a pongan a disposición una herramienta de detección de IA;

b ofrezcan a los usuarios de IA la opción de incluir una divulgación manifiesta de que el contenido es generado por IA;

c incluyan una divulgación latente en el contenido generado por IA; y

d celebren un contrato con los licenciatarios que les exija mantener la capacidad del sistema de IA para incluir dicha divulgación latente en el contenido que el sistema crea o modifica.

Entra en vigencia el 1 de enero de 2026.

De manera general se pueden destacar los temas clave que enunciamos a continuación.

1 Transparencia y divulgación:

Requiere que las empresas y desarrolladores de IA generativa informen claramente cuándo un contenido ha sido creado por IA. Esto aplica especialmente en áreas como publicidad, medios de comunicación y servicios al consumidor.

2 Prevención de daños:

Establece medidas para evitar que la IA generativa se utilice para crear contenido fraudulento, engañoso o dañino (como deepfakes, noticias falsas o discursos de odio).

3 Protección de datos y privacidad:

Establece principios para la utilización de los datos para entrenar modelos de IA generativa, asegurando que se respeten los derechos de privacidad de los individuos.

A continuación agregamos el texto en inglés y una traducción al español (sobre base DeepL.com, versión gratuita)

Texto en inglés:

SECTION 1.

This act shall be known as the Generative Artificial Intelligence Accountability Act.

SEC. 2.

Chapter 5.9 (commencing with Section 11549.63) is added to Part 1 of Division 3 of Title 2 of the Government Code, to read:

CHAPTER 5.9. Generative Artificial Intelligence Tools

11549.63.

The Legislature finds and declares all of the following:

(a) The Legislature recognizes the tremendous potential of artificial intelligence (AI) to improve the lives of its citizens and the functioning of government. However, the Legislature also recognizes that the use of AI must be guided by principles of fairness, transparency, privacy, and accountability to ensure that the rights and opportunities of all Californians are protected in the age of artificial intelligence.

(b) The Legislature further recognizes that generative artificial intelligence (GenAI) enables significant, beneficial uses through its unique capabilities, but GenAI raises novel risks compared to conventional AI across critical areas, including democratic and legal processes, biases and equity, public health and safety, and the economy, and requires measures to address insufficiently guarded governmental systems and unintended or emergent harmful effects from this technology. Additionally, because humans have explicit and implicit biases built into our society, GenAI has the capacity to amplify these biases as it learns from input data. Therefore, it is imperative to consider the implications on Californians of, among other categories, different regions, income, races, ethnicities, gender, ages, religions, abilities, and sexual orientation for all GenAI inputs, outputs, and products for both prioritizing implementations that may promote equity and guarding against bias and other negative impacts.

(c) No individual or group should be discriminated against on the basis of race, gender, age, religion, sexual orientation, or any other protected characteristic in the design, development, deployment, or use of AI systems. The unprecedented speed of innovation and deployment of GenAI technologies necessitates proactive guardrails to protect against potential risks or malicious uses, including, but not limited to, bioterrorism, cyberattacks, disinformation, deception, violation of privacy, and discrimination or bias.

(d) The Legislature affirms the importance of transparency in the use of GenAI systems. The public has the right to know when they are interacting with GenAI being used by the state and to have an accessible identification of that interaction.

(e) The Legislature recognizes that the use of GenAI systems must be consistent with the protection of privacy and civil liberties and must be guided by a commitment to equity and social justice. It is the intent of the Legislature in enacting this legislation that all GenAI systems be designed and deployed in a manner that is consistent with state and federal laws and regulations regarding privacy and civil liberties and minimizes bias and promotes equitable outcomes for all Californians.

(f) This act, in addition to the 2022 White House Blueprint for an AI Bill of Rights, executive guidance from the governor, statutory or regulatory requirements, and evolving best practices should guide the decisionmaking of state agencies, departments, and subdivisions in the review, adoption, management, governance, and regulations of automated decisionmaking technologies.

(g) Public-private cross-sectional partnerships should be established to train students to meet the GenAI workforce development needs of the state, including providing instruction on AI and related ethical, privacy, and security considerations while advancing research on best practices. Further, there is the need for the state to recruit, retain, and train GenAI professionals in certain state jobs, and agencies should collaborate to facilitate a pipeline and infrastructure to accomplish that goal.

(h) State agencies, departments, and boards should utilize their authority to protect consumers, patients, passengers, and students from fraud, discrimination, and threats to privacy and to address other risks that may arise from the use of GenAI, including risks to financial stability. State agencies, departments, and boards should consider rulemaking and emphasize or clarify if existing regulations and guidance apply to GenAI or other automated decisionmaking systems.

11549.64.

As used in this chapter:

(a) “Artificial intelligence” means an engineered or machine-based system that varies in its level of autonomy and that can, for explicit or implicit objectives, infer from the input it receives how to generate outputs that can influence physical or virtual environments.

(b) “Generative artificial intelligence” or “GenAI” means an artificial intelligence system that can generate derived synthetic content, including text, images, video, and audio that emulates the structure and characteristics of the system’s training data.

(d) “Report” means the report to the Governor required by Executive Order No. N-12-23.

11549.65.

(a) The Department of Technology, under the guidance of the Government Operations Agency, the Office of Data and Innovation, and the Department of Human Resources, shall update the report, as needed, to respond to significant developments and shall, as appropriate, consult with academia, industry experts, and organizations that represent state exclusive employee representatives.

(b) (1) The Office of Emergency Services shall, as appropriate, perform a risk analysis of potential threats posed by the use of GenAI to California’s critical infrastructure, including those that could lead to mass casualty events.

(2) The analysis required by paragraph (1) shall be provided to the Governor, and, if appropriate, shall include recommendations reflecting changes to artificial intelligence technology, its applications, and risk management, including further private actions, administrative actions, and collaboration with the Legislature to guard against potential threats and vulnerabilities.

(3) A high-level summary of the analysis required by paragraph (1) shall be submitted annually to the Legislature.

(c) Any state agency or department shall consider procurement and enterprise use opportunities in which GenAI can improve the efficiency, effectiveness, accessibility, and equity of government operations consistent with the Government Operations Agency, the Department of General Services, and the Department of Technology’s policies for public sector GenAI procurement.

(d) Legal counsel for any state agency or department shall consider any potential impact of GenAI on regulatory issues under the respective agency’s or department’s authority and recommend necessary updates, if appropriate, as a result of this evolving technology.

11549.66.

A state agency or department that utilizes GenAI to directly communicate with a person regarding government services and benefits shall ensure that those communications include both of the following:

(a) A disclaimer that indicates to the person that the communication was generated by GenAI.

(1) For written communications involving physical and digital media, including letters, email, and other occasional messages, the disclaimer shall appear prominently at the start of each communication.

(2) For written communications involving continuous online interactions, including interactions with chatbots, the disclaimer shall be prominently displayed throughout the interaction.

(3) For audio communications, the disclaimer shall be provided verbally at the start and end of the interaction.

(4) For video communications, the disclaimer shall be prominently displayed throughout the interaction.

(b) Information, or a link to an internet website containing information, describing how the person may contact a human employee of the state agency or department.

Texto traducido al español:

SECCIÓN 1.
Esta ley se denominará Ley de Responsabilidad de la Inteligencia Artificial Generativa.
SEC. 2.
Se añade el Capítulo 5.9 (a partir de la Sección 11549.63) a la Parte 1 de la División 3 del Título 2 del Código de Gobierno, con el siguiente texto:
CAPÍTULO 5.9. Herramientas de Inteligencia Artificial Generativa
11549.63.
La Legislatura encuentra y declara todo lo siguiente:
(a) La Legislatura reconoce el tremendo potencial de la inteligencia artificial (IA) para mejorar la vida de sus ciudadanos y el funcionamiento del gobierno. Sin embargo, la Legislatura también reconoce que el uso de la IA debe guiarse por principios de equidad, transparencia, privacidad y responsabilidad para garantizar que los derechos y oportunidades de todos los californianos estén protegidos en la era de la inteligencia artificial.
(b) La Legislatura reconoce además que la inteligencia artificial generativa (GenAI) permite usos significativos y beneficiosos a través de sus capacidades únicas, pero GenAI plantea nuevos riesgos en comparación con la IA convencional en áreas críticas, incluyendo los procesos democráticos y legales, los sesgos y la equidad, la salud pública y la seguridad, y la economía, y requiere medidas para hacer frente a los sistemas gubernamentales insuficientemente protegidos y a los efectos nocivos no intencionados o emergentes de esta tecnología. Además, dado que los humanos tenemos prejuicios explícitos e implícitos incorporados a nuestra sociedad, GenAI tiene la capacidad de amplificar estos prejuicios a medida que aprende de los datos de entrada. Por lo tanto, es imperativo considerar las implicaciones en los californianos de, entre otras categorías, diferentes regiones, ingresos, razas, etnias, género, edades, religiones, habilidades y orientación sexual para todas las entradas, salidas y productos de GenAI, tanto para priorizar las implementaciones que puedan promover la equidad como para protegerse contra los prejuicios y otros impactos negativos.
(c) Ningún individuo o grupo debe ser discriminado por motivos de raza, género, edad, religión, orientación sexual o cualquier otra característica protegida en el diseño, desarrollo, despliegue o uso de sistemas de IA. La velocidad sin precedentes de la innovación y el despliegue de las tecnologías GenAI requiere barandillas proactivas para proteger contra los riesgos potenciales o usos maliciosos, incluyendo, pero no limitado a, el bioterrorismo, los ciberataques, la desinformación, el engaño, la violación de la privacidad, y la discriminación o el sesgo.
(d) El Poder Legislativo afirma la importancia de la transparencia en el uso de los sistemas GenAI. El público tiene derecho a saber cuándo está interactuando con GenAI utilizada por el Estado y a disponer de una identificación accesible de dicha interacción.
(e) El legislador reconoce que el uso de los sistemas GenAI debe ser coherente con la protección de la privacidad y las libertades civiles y debe guiarse por un compromiso con la equidad y la justicia social. Es la intención de la Legislatura al promulgar esta legislación que todos los sistemas GenAI sean diseñados y desplegados de una manera que sea coherente con las leyes y reglamentos estatales y federales relativos a la privacidad y las libertades civiles y minimice los prejuicios y promueva resultados equitativos para todos los californianos.
(f) Esta ley, se agrega al Plan de la Casa Blanca de 2022 para una Declaración de Derechos de la IA, la orientación ejecutiva del gobernador, los requisitos legales o reglamentarios y las mejores prácticas en evolución deben guiar la toma de decisiones de las agencias, departamentos y subdivisiones estatales en la revisión, adopción, gestión, gobernanza y reglamentación de las tecnologías automatizadas de toma de decisiones.
(g) Deben establecerse asociaciones transversales público-privadas para formar a los estudiantes con el fin de satisfacer las necesidades de desarrollo de la mano de obra GenAI del Estado, incluyendo la provisión de instrucción sobre la IA y las consideraciones éticas, de privacidad y de seguridad relacionadas, al tiempo que se avanza en la investigación sobre las mejores prácticas. Además, existe la necesidad de que el Estado reclute, retenga y forme a profesionales GenAI en ciertos trabajos estatales, y las agencias deberían colaborar para facilitar una canalización e infraestructura para lograr ese objetivo.
(h) Las agencias estatales, departamentos y juntas deben utilizar su autoridad para proteger a los consumidores, pacientes, pasajeros y estudiantes contra el fraude, la discriminación y las amenazas a la privacidad y para hacer frente a otros riesgos que puedan derivarse de la utilización de GenAI, incluidos los riesgos para la estabilidad financiera. Las agencias estatales, departamentos y juntas deben considerar la elaboración de normas y enfatizar o aclarar si las regulaciones y directrices existentes se aplican a GenAI u otros sistemas automatizados de toma de decisiones.
11549.64.

Tal como se utiliza en este capítulo:
(a) «Inteligencia artificial» significa un sistema de ingeniería o basado en máquinas que varía en su nivel de autonomía y que puede, para objetivos explícitos o implícitos, inferir de la entrada que recibe cómo generar salidas que pueden influir en entornos físicos o virtuales.
(b) «Inteligencia artificial generativa» o «GenAI»: un sistema de inteligencia artificial que puede generar contenidos sintéticos derivados, incluidos texto, imágenes, vídeo y audio que emulan la estructura y las características de los datos de entrenamiento del sistema.
(c) «Persona» significa una persona física.
(d) «Informe» significa el informe al Gobernador requerido por la Orden Ejecutiva nº N-12-23.
11549.65.
(a) El Departamento de Tecnología, bajo la dirección de la Agencia de Operaciones Gubernamentales, la Oficina de Datos e Innovación y el Departamento de Recursos Humanos, actualizará el informe, según sea necesario, para responder a desarrollos significativos y, según corresponda, consultará con el mundo académico, expertos de la industria y organizaciones que representen a los representantes exclusivos de los empleados estatales.
(b) (1) La Oficina de Servicios de Emergencia deberá, según proceda, realizar un análisis de riesgos de las amenazas potenciales planteadas por el uso de GenAI a la infraestructura crítica de California, incluidas las que podrían dar lugar a eventos con víctimas masivas.
(2) El análisis requerido por el párrafo (1) se proporcionará al Gobernador y, en su caso, incluirá recomendaciones que reflejen los cambios en la tecnología de inteligencia artificial, sus aplicaciones y la gestión de riesgos, incluyendo nuevas acciones privadas, acciones administrativas y la colaboración con la Legislatura para protegerse contra las amenazas y vulnerabilidades potenciales.
(3) Se presentará anualmente a la Legislatura un resumen de alto nivel del análisis requerido por el apartado (1).
(c) Cualquier agencia o departamento estatal deberá considerar las oportunidades de adquisición y uso empresarial en las que GenAI puede mejorar la eficiencia, eficacia, accesibilidad y equidad de las operaciones gubernamentales en consonancia con la Agencia de Operaciones Gubernamentales, el Departamento de Servicios Generales y las políticas del Departamento de Tecnología para la adquisición GenAI del sector público.
(d) El asesor legal de cualquier agencia o departamento estatal considerará cualquier impacto potencial de GenAI en cuestiones regulatorias bajo la autoridad de la agencia o departamento respectivo y recomendará las actualizaciones necesarias, si procede, como resultado de esta tecnología en evolución.
11549.66.
Una agencia o departamento estatal que utilice GenAI para comunicarse directamente con una persona en relación con servicios y beneficios gubernamentales deberá asegurarse de que esas comunicaciones incluyan lo siguiente
(a) Un descargo de responsabilidad que indique a la persona que la comunicación fue generada por GenAI.
(1) En las comunicaciones escritas en soporte físico y digital, incluyendo cartas, correos electrónicos y otros mensajes ocasionales, la cláusula de exención de responsabilidad deberá aparecer de forma destacada al inicio de cada comunicación.
(2) En las comunicaciones escritas que impliquen interacciones continuas en línea, incluidas las interacciones con chatbots, la cláusula de exención de responsabilidad deberá aparecer de forma destacada durante toda la interacción.
(3) En las comunicaciones de audio, la cláusula de exención de responsabilidad se facilitará verbalmente al principio y al final de la interacción.
(4) En el caso de las comunicaciones de vídeo, la cláusula de exención de responsabilidad figurará en un lugar destacado durante toda la interacción.
(b) Información, o un enlace a un sitio web que contenga información, que describa cómo puede ponerse en contacto la persona con un empleado humano de la agencia o departamento estatal.