Caso Loomis o caso COMPAS - USA, Wisconsin, 2016

2016 Caso State v. Loomis, o caso COMPAS - Correctional Offender Management Profiling for Alternative Sanctions

Sentencia de 13 de julio de 2016, Wisconsin, Suprema Corte.

Se trataba de un software IA con el objetivo de facilitar la toma de decisiones judiciales y gestión de los casos, elaborado por Northpointe (actualmente Equivant) utilizada por tribunales norteamericanos para definir la probabilidad de reincidencia de un acusado. Era utilizado en los Estados de New York, Wisconsin, California, entre otros. Las escalas de riesgo creadas según la empresa consideraron factores de alta relevancia en cuanto a reincidencia y conductas criminales, midiendo el potencial de un individuo de cometer delitos nuevamente al salir en libertad.

Loomis, acusado en un proceso en el Estado de Wisconsin, manifestó en su demanda que el algoritmo de COMPAS violó su derecho al debido proceso por:

a no respetar su derecho a ser sentenciado sobre la base de datos precisos, dado que el algoritmo cerrado – black box - le impidió conocer la base de las afirmaciones;

b no pudo acceder a una sentencia individualizada, habiendo analizado su caso particular;

c el algoritmo utilizó indebidamente una evaluación de género al momento de la aplicación de la sentencia.

La Suprema Corte de Wisconsin, en julio de 2016, consideró que los riesgos de uso de COMPAS eran altos pues sus algoritmos eran cerrados (se trataba de software propietario) y no poder examinar la base de las consideraciones por el público y las partes afectadas podía constituir efectivamente violación del debido proceso. Asimismo, agregó la sentencia que dado que los algoritmos del machine-learning son “dato-dependientes", en caso que los datos estén sesgados, también lo estará el resultado de la aplicación del software. El algoritmo había comparado a los acusados en un plano nacional, muestras de datos a escala nacional, pero no contrastados en función de la población de Wisconsin propiamente.

Desde el punto de vista cuantitativo se pudo establecer que solo el 20 % de las personas cuya reincidencia se había previsto, lo cometió efectivamente. Asimismo, se constató que la tasa de predicción y falsos positivos era mayor en el caso de acusados afroamericanos, que tratándose de otras razas.

Respecto de la posibilidad de utilización de COMPAS, la sentencia sostuvo que si se brindara información sobre las limitaciones del algoritmo los tribunales podrían evaluar mejor la recomendación cuando la siguen y que, si se tienen en cuenta las limitaciones de cada valoración que hace COMPAS, no resultaría violada la regla del debido proceso.

LINKS

Caso Loomis o Compas

State v. Loomis, 881 N.W.2d 749 (Wis. 2016), https://www.courts.ca.gov/documents/BTB24-2L-3.pdf

“Justicia robótica: El caso Loomis”,

https://confilegal.com/20180402-justicia-robotica-el-caso-loomis/

“Inteligencia Artificial y Derechos Humanos I: ¿el robot sabrá que sabe?”

https://www.derechopractico.es/etiqueta/caso-loomis/

“Peligrosidad, algoritmos y due process: el caso Sate v Loomis”,

https://www.academia.edu/41550394/Peligrosidad_algoritmos_y_due_process_el_caso_Sate_v_Loomis

Imagen: “Watercolor cactus and flower illustrations from Familie der Cacteen”, en Domain Public Review https://publicdomainreview.org/