Caso Calderon v Clearview AI Inc., USA New York 2020

Calderon v. Clearview AI, Inc., 2020 U.S. Dist. LEXIS 94926 (S.D.N.Y. 2020) de 29 de mayo del 2020.

Caso relacionado con reconocimiento facial

La empresa Clearview AI Inc es titular de un software de reconocimiento facial de extendido uso. Tal aplicación es objeto de varios juicios en USA y acciones a nivel judicial y de agencias de datos en otros países.

La sentencia que destacamos, caso iniciado por Calderón, se refiere a un tema de organización de los reclamos. El accionante soicitó la declaración de la intención del tribunal de consolidación de los casos contra Clearview para ser regulados por la ley de Illinois, la de la primera "class action", Mutnik.

Se basan en un artículo del New York Times de enero de 2020 que alega que los demandados extrajeron más de 3 mil millones de imágenes faciales de Internet y escanearon identificadores biométricos para crear una base de datos de búsqueda. La empresa luego negoció el acceso a dicha base de datos con la Policía y demás fuerzas de seguridad, agencias gubernamentales e incluso entidades privadas. En ningún caso habría cumplido con sin cumplir con la BIPA - Biometric Information Privacy Act (información en links, debato sobre esta norma)

En esta sentencia el tribunal actuante la deniega, por considerar que no hay necesidad dado que cualquier tribunal norteamericano, llegado el caso, tiene la calidad profesional para aplicar una Ley que no sea de su Estado. "Mutnick’s motion for leave to intervene permissively is, therefore, DENIED"

Sigue el juicio... 

LINKs

Artículo referido del New York Times:

“The Secretive Company That Might End Privacy as We Know It”

https://www.nytimes.com/2020/01/18/technology/clearview-privacy-facial-recognition.html

Calderon v. Clearview AI, Inc., 2^nd Cir. USA.

https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2020cv01296/532050/51/

BIPA

“Past, Present and Future: What's Happening with Illinois' and Other Biometric Privacy Laws”

https://www.natlawreview.com/article/past-present-and-future-what-s-happening-illinois-and-other-biometric-privacy-laws

“The Evolution of Biometric Data Privacy Laws”

https://pro.bloomberglaw.com/brief/biometric-data-privacy-laws-and-lawsuits/

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”

en Domain Public Review https://publicdomainreview.org/

Caso Henderson v Stensberg - USA Wiconsin, 2021

2021 Henderson, Titus v. Stensberg, Dean (3:18-cv-00555)

COMPAS

District Court, W.D. Wisconsin, Sentencia del 26 de marzo de 2021

Titus Henderson es un presidiario norteamericano que en julio de 1995 fue condenado y encarcelado en el Estado de Wisconsin para cumplir condena por 40 años. Un informe de la aplicación de IA COMPAS de octubre de 2014 lo calificó como de “bajo riesgo”. Un tiempo más tarde, se celebró una Audiencia para analizar la posibilidad de libertad condicional y su traslado a Mississipi (estaba en Winconsin) en noviembre de 2015, pero le fue negada. Surge de la información del caso que se utilizó otro Informe.

Henderson sostiene que la negación a sus peticiones se debió al algoritmo “sesgado” de COMPAS, señalando que se trataba de sesgos de género y de sesgos contra los afroamericanos.

El demandante sostuvo que sus demandados, las autoridades de Northpointe sabían que COMPAS generaba efectos de prejuicio racial y que los integrantes de la Junta de Libertad Condicional de Wisconsin lo usaban a sabiendas, en vez de mejorarlo o cambiarlo. También sostuvo que no se le permitió saber cómo el algoritmo - en qué forma -, pudo concluir de tal manera predeterminada y sesgada, dado que no se le permitió acceder a las características de la herramienta.

Luego de una serie de intercambios a nivel procesal, a la vista de los informes y las pericias, probado que quienes tomaron las decisiones estaban al tanto de las características de la aplicación de IA COMPAS (véase la referencia al caso Loomis) el 26 de marzo de 2021 el Juez ordenó el sobreseimiento del caso.

No admitió el precedente caso Loomis presentado por Henderson. Para el Juez son diferentes porque Loomis se debió a temas de debido proceso y género, mientras que la solicitud de Henderson hace referencia a protección igualitaria. Por otra parte, establece que es distinto el informe de evaluación de riesgo COMPAS del 2014, frente al informe utilizado al momento de analizar la posibilidad de libertad condicional tiempo más tarde.

El 5 de abril de 2021 Henderson presentó un escrito de apelación en el Séptimo Circuito.

LINK al pronunciamiento del 26 de marzo de 2020

https://storage.courtlistener.com/recap/gov.uscourts.wiwd.42176/gov.uscourts.wiwd.42176.112.0.pdf

https://unicourt.com/case/pc-ap1-titus-henderson-v-dean-steinsberg-et-al-106123

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”

en Domain Public Review https://publicdomainreview.org/

Caso Deliveroo – Bolonia, Italia, 2020

2020 Caso DELIVEROO – Sistema Frank

Sentencia del 31 de diciembre de 2020, Tribunal Ordinario de Bolonia, Italia.

Deliveroo, es nombre y marca de una plataforma de pedidos gastronómicos, que aplicaba un sistema de IA denominado “Frank” para la asignación de los trabajos de entrega. Se cuestionó como discriminatorio por el Sindicato el uso de este algoritmo para la selección de los “riders” a los cuales asignarles un trabajo.

El algoritmo asignaba puntos a los “riders” u operadores de distribución, sobre la base de dos índices: fiabilidad y disponibilidad. El primero, tenía en cuenta las ocasiones en las cuales no cumplía con un trabajo ya reservado, no lo tomaba. El segundo, consideraba la disponibilidad del rider en los horarios de mayor demanda (universalmente, en este giro, tal horario es 20 a 22 hs, viernes, sábado y domingo). Aplicando el resultado de la IA se asignaban más trabajos a quienes eran mejores cumplidores. No se consideraban las causas por las cuales podía no tomarse pedidos o había menos disponibilidad, circunstancialmente, en algunos casos. Es decir: se castigaba con mala calificación aún en el caso que la no disponibilidad obedeciera a enfermedad grave, emergencia o hasta un accidente en su propio trabajo. Ello llevó al sindicato a plantear un reclamo por discriminación – la existencia de un sesgo en este caso.

El Tribunal consideró que hubo discriminación indirecta, dado que la empresa titular de la operativa por plataforma se decidió por una “inconsciencia y ceguera” deliberada, por tratarse de un caso en el cual se trataba de situaciones iguales que merecen un tratamiento distinto según la Ley (Derecho Laboral), variante no introducida en la apreciación de la situación al momento de tomar las decisiones correspondientes.

En cuanto a la responsabilidad, el Tribunal entendió que aún cuando la discriminación del algoritmo fuera involuntaria, la empresa debía ser considerada responsable y pagar daños, los que fueron valorados en cincuenta mil euros (Є 50.000).

LINKS

Caso Frank:

http://www.bollettinoadapt.it/wp-content/uploads/2021/01/Ordinanza-Bologna.pdf, 24/6/2021

Mendoza, Fernando, “Sentencia del Tribunal Ordinario de Bolonia de 31 de diciembre de 2020 (Caso Deliveroo) ¿Discriminación algorítmica o discriminación a través de un algoritmo?”

https://abogadosenleonmv.com/2021/02/05/sentencia-del-tribunal-ordinario-de-bolonia-de-31-de-diciembre-de-2020-caso-deliveroo-discriminacion-algoritmica-o-discriminacion-a-traves-de-un-algoritmo/

Oliva León, Ricardo, “¿Es discrminatorio el algoritmo de Deliveroo que “rankea” a sus riders?”

https://www.algoritmolegal.com/tecnologias-disruptivas/es-discriminatorio-el-algoritmo-de-deliveroo-que-rankea-a-sus-riders/

Castillo, José Antonio, “La discriminación a través del algoritmo...”

https://www.uv.es/catedra-pagoda/es/novedades-1286053802801/Novetat.html?id=1286182093538

Tovar Reyes, Sandra, “Discriminación en plataformas digitales: Un pronunciamiento judicial italiano basado en la experiencia de los riders de Deliveroo”

https://derlaboral.uexternado.edu.co/analisis-y-opinion/discriminacion-en-plataformas-digitales-un-pronunciamiento-judicial-italiano-basado-en-la-experiencia-de-los-riders-de-deliveroo/

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”

en Domain Public Review https://publicdomainreview.org/

Caso Syri - La Haya, Holanda, 2020

2020 Caso Syri - System Risk Indication

Sentencia del 5 de febrero de 2020, Rechtbank Den Haag, Tribunal de Distrito de La Haya, Holanda.

Se trata de una aplicación de IA que prevé la posibilidad de fraude a la seguridad social, utilizando el conjunto de datos disponibles por el Estado en relación con los contribuyentes.

Se presentó ante el Tribunal de Distrito de La Haya un cuestionamiento sobre la regularidad jurídica del algoritmo aplicado en el caso de SyRI desde la perspectiva del régimen legal europeo de derechos humanos.

El Tribunal en su sentencia entendió que una aplicación como esa de la IA se justificaba para el objetivo de interés público en impedir los fraudes. No obstante, entendió que en el caso de SyRI su implementación no presentaba garantías suficientes en cuanto a la proporcionalidad debida para evitar ingerencia en la privacidad, tal como lo establece el artículo 8 del Convenio Europeo de Derechos Humanos (CEDH).

Si bien el Ministerio competente adujo que en cuanto a datos, todos los manejados ya existían en poder de la Administración, no se trataba de requerir o ingresar datos nuevos, los jueces entendieron que no pudieron comprobar dicha afirmación, porque el Estado holandés mantuvo en secreto la manera en la cual calculaban la tendencia al fraude de los ciudadanos.

LINKS

Syri, link al resumen inglés de la web oficial: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878 , vto. 3/7/2021.

VERVLOESEM, Koen, “How Dutch activists got an invasive fraud detection algorithm banned”, by Koen , 6 de abril 2020,

https://algorithmwatch.org/en/syri-netherlands-algorithm/, vto. 3/7/2021

“Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos”,

https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html

“Valoración algorítmica ante los derechos humanos y el Reglamento General de Protección de Datos: el caso SyRI”

https://redib.org/Record/oai_articulo2728594-valoraci%C3%B3n-algor%C3%ADtmica-ante-los-derechos-humanos-y-el-reglamento-general-de-protecci%C3%B3n-de-datos-el-caso-syri

“L’algoritmo dei sussidi sociali discrimina e fa cadere il governo: il caso olandese”

https://www.agendadigitale.eu/cultura-digitale/algoritmi-troppo-invasivi-contro-le-frodi-fiscali-la-lezione-delle-dimissioni-del-governo-olandese/

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”

en Domain Public Review https://publicdomainreview.org/

 

Caso Guise - Iowa, USA, 2018

2018 Caso Guise, IRR Iowa Risk Revised

Sentencia de 2 de mayo de 2018, Corte de Apelaciones de Iowa y sentencia de 14 de diciembre de 2018, Suprema Corte de Iowa.

Este caso tuvo tres instancias, analizamos dos de ellas. Se da en el ámbito penal, donde una persona cometió un delito y llegó a un acuerdo de culpabilidad finalizando así su proceso; posteriormente se dieron ciertas circunstancias que determinaron que hubiera un cargo adicional, otro delito. Ante esta situación el sistema de IA que analiza los riesgos de reincidencia y peligrosidad lo calificó como una persona a quien correspondía un nivel de supervisión intensivo durante los años posteriores, en aplicación de su condena. 

El acusado reclamó por entender que esta información implicaba negarle las garantías de debido proceso. La Corte de Distrito (primera instancia) entendió que no se dio esta circunstancia. La Corte de Apelaciones revocó la sentencia haciendo lugar al reclamo (segunda instancia). 

Finalmente la Corte de Justicia revoca la sentencia de la Corte de Apelaciones, entendiendo que la sentencia inicial se ajustaba a Derecho (tercera instancia). El análisis de la posición que resultó definitiva entiende que por los dato manejados no había violación alguna de los derechos del reclamante, no se trataba de circunstancias discriminatorias y que la circunstancia de que se tratara de un acuerdo de culpabilidad y no de un veredicto de culpabilidad luego de un desarrollo probatorio judicial, no modificaba la consideración realizada en primera instancia.

LINKS

Caso Guise

State v. Guise, 919 N.W.2d 635 (Iowa Ct. App. 2018), https://casetext.com/case/state-v-guise-1,

Supreme Court of Iowa, No. 17–0589, https://law.justia.com/cases/iowa/supreme-court/2018/17-0589.html

State v Guise

https://law.justia.com/cases/iowa/supreme-court/2018/17-0589.html,

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”

en Domain Public Review https://publicdomainreview.org/

Caso Loomis o caso COMPAS - USA, Wisconsin, 2016

2016 Caso State v. Loomis, o caso COMPAS - Correctional Offender Management Profiling for Alternative Sanctions

Sentencia de 13 de julio de 2016, Wisconsin, Suprema Corte.

Se trataba de un software IA con el objetivo de facilitar la toma de decisiones judiciales y gestión de los casos, elaborado por Northpointe (actualmente Equivant) utilizada por tribunales norteamericanos para definir la probabilidad de reincidencia de un acusado. Era utilizado en los Estados de New York, Wisconsin, California, entre otros. Las escalas de riesgo creadas según la empresa consideraron factores de alta relevancia en cuanto a reincidencia y conductas criminales, midiendo el potencial de un individuo de cometer delitos nuevamente al salir en libertad.

Loomis, acusado en un proceso en el Estado de Wisconsin, manifestó en su demanda que el algoritmo de COMPAS violó su derecho al debido proceso por:

a no respetar su derecho a ser sentenciado sobre la base de datos precisos, dado que el algoritmo cerrado – black box - le impidió conocer la base de las afirmaciones;

b no pudo acceder a una sentencia individualizada, habiendo analizado su caso particular;

c el algoritmo utilizó indebidamente una evaluación de género al momento de la aplicación de la sentencia.

La Suprema Corte de Wisconsin, en julio de 2016, consideró que los riesgos de uso de COMPAS eran altos pues sus algoritmos eran cerrados (se trataba de software propietario) y no poder examinar la base de las consideraciones por el público y las partes afectadas podía constituir efectivamente violación del debido proceso. Asimismo, agregó la sentencia que dado que los algoritmos del machine-learning son “dato-dependientes", en caso que los datos estén sesgados, también lo estará el resultado de la aplicación del software. El algoritmo había comparado a los acusados en un plano nacional, muestras de datos a escala nacional, pero no contrastados en función de la población de Wisconsin propiamente.

Desde el punto de vista cuantitativo se pudo establecer que solo el 20 % de las personas cuya reincidencia se había previsto, lo cometió efectivamente. Asimismo, se constató que la tasa de predicción y falsos positivos era mayor en el caso de acusados afroamericanos, que tratándose de otras razas.

Respecto de la posibilidad de utilización de COMPAS, la sentencia sostuvo que si se brindara información sobre las limitaciones del algoritmo los tribunales podrían evaluar mejor la recomendación cuando la siguen y que, si se tienen en cuenta las limitaciones de cada valoración que hace COMPAS, no resultaría violada la regla del debido proceso.

LINKS

Caso Loomis o Compas

State v. Loomis, 881 N.W.2d 749 (Wis. 2016), https://www.courts.ca.gov/documents/BTB24-2L-3.pdf

“Justicia robótica: El caso Loomis”,

https://confilegal.com/20180402-justicia-robotica-el-caso-loomis/

“Inteligencia Artificial y Derechos Humanos I: ¿el robot sabrá que sabe?”

https://www.derechopractico.es/etiqueta/caso-loomis/

“Peligrosidad, algoritmos y due process: el caso Sate v Loomis”,

https://www.academia.edu/41550394/Peligrosidad_algoritmos_y_due_process_el_caso_Sate_v_Loomis

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”, en Domain Public Review https://publicdomainreview.org/