Articulo de referencia

Liga de Justicia Algorítmica

La Liga de Justicia Algorítmica ( AJL ) es una organización sin fines de lucro de defensa digital con sede en Cambridge, Massachusetts . Fundada en 2016 por la científica inform...

La Liga de Justicia Algorítmica ( AJL ) es una organización sin fines de lucro de defensa digital con sede en Cambridge, Massachusetts . Fundada en 2016 por la científica informática Joy Buolamwini , la AJL combate los daños y sesgos de la IA amplificando las voces de las comunidades más afectadas por los sistemas de IA y movilizando a defensores, investigadores y líderes de la industria para construir algoritmos más equitativos y responsables. [ 1 ] La AJL ha participado en una variedad de seminarios abiertos en línea, apariciones en medios y iniciativas de defensa tecnológica para comunicar información sobre el sesgo en los sistemas de IA y promover acciones de la industria y el gobierno para mitigar la creación y el despliegue de sistemas de IA sesgados. En particular, la AJL ha destacado los sesgos raciales y de género en las tecnologías de reconocimiento facial y ha abogado por una mayor transparencia y responsabilidad en los conjuntos de datos utilizados para entrenar estos sistemas. En 2021, Fast Company nombró a la AJL como una de las 10 empresas de IA más innovadoras del mundo. [ 2 ] [ 3 ]

Historia

Buolamwini fundó la Liga de Justicia Algorítmica en 2016 como estudiante de posgrado en el MIT Media Lab . Mientras experimentaba con software de detección facial en su investigación, descubrió que el software no podía detectar su rostro "altamente melanizado" hasta que se puso una máscara blanca. [ 4 ] Después de este incidente, Buolamwini se inspiró para fundar AJL para llamar la atención pública sobre la existencia de sesgo en la inteligencia artificial y la amenaza que puede representar para los derechos civiles. [ 4 ] Las primeras campañas de AJL se centraron principalmente en el sesgo en el software de reconocimiento facial ; las campañas recientes han abordado de manera más amplia cuestiones de equidad y rendición de cuentas en la IA, incluyendo el sesgo algorítmico , la toma de decisiones algorítmica , la gobernanza algorítmica y la auditoría algorítmica .

Además, existe una comunidad de otras organizaciones que trabajan para alcanzar objetivos similares, entre ellas Data and Society, Data for Black Lives , el Distributed Artificial Intelligence Research Institute (DAIR) y Fight for the Future . [ 5 ] [ 6 ] [ 7 ]

Obra destacada

reconocimiento facial

El fundador de AJL, Buolamwini, colaboró ​​con el ético de IA Timnit Gebru para publicar un estudio de 2018 sobre el sesgo racial y de género en los algoritmos de reconocimiento facial utilizados por sistemas comerciales de Microsoft , IBM y Face++ . Su investigación, titulada "Gender Shades", determinó que los modelos de aprendizaje automático publicados por IBM y Microsoft eran menos precisos al analizar rostros de piel oscura y femeninos en comparación con su rendimiento en rostros de piel clara y masculinos. [ 8 ] [ 9 ] [ 10 ] El documento "Gender Shades" estuvo acompañado por el lanzamiento del Safe Face Pledge, una iniciativa diseñada con el Centro de Privacidad y Tecnología de Georgetown que instaba a las organizaciones tecnológicas y a los gobiernos a prohibir el uso letal de las tecnologías de reconocimiento facial. [ 11 ] El proyecto Gender Shades y la posterior defensa emprendida por AJL y grupos similares llevaron a varias empresas tecnológicas, incluidas Amazon e IBM, a abordar los sesgos en el desarrollo de sus algoritmos e incluso a prohibir temporalmente el uso de sus productos por parte de la policía en 2020. [ 12 ] [ 13 ]

Buolamwini y AJL aparecieron en el documental de Netflix de 2020, Coded Bias , que se estrenó en el Festival de Cine de Sundance . [ 2 ] [ 14 ] [ 15 ] Este documental se centró en la investigación y los esfuerzos de defensa de AJL para crear conciencia sobre el sesgo algorítmico en los sistemas de reconocimiento facial. [ 4 ] [ 15 ]

Una colaboración de investigación en la que participó AJL publicó un informe técnico en mayo de 2020 en el que solicitaba la creación de una nueva oficina del gobierno federal de Estados Unidos para regular el desarrollo y la implementación de tecnologías de reconocimiento facial. [ 16 ] El informe técnico proponía que la creación de una nueva oficina del gobierno federal para esta área ayudaría a reducir los riesgos de vigilancia masiva y sesgo que plantean las tecnologías de reconocimiento facial hacia las poblaciones vulnerables. [ 17 ]

Sesgo en el reconocimiento de voz

La AJL ha llevado a cabo iniciativas para aumentar la concienciación pública sobre el sesgo algorítmico y las desigualdades en el rendimiento de los sistemas de IA para el modelado del habla y el lenguaje en poblaciones de género y raza. El trabajo de la AJL en este ámbito se centra en destacar las disparidades de género y raza en el rendimiento de los sistemas comerciales de reconocimiento de voz y procesamiento del lenguaje natural , que han demostrado un rendimiento inferior con las minorías raciales y han reforzado los estereotipos de género. [ 18 ] [ 19 ] [ 20 ]

En marzo de 2020, AJL publicó una pieza artística de palabra hablada, titulada Voicing Erasure, que aumentó la conciencia pública sobre el sesgo racial en los sistemas de reconocimiento automático del habla (ASR). [ 21 ] [ 22 ] La pieza fue interpretada por numerosas investigadoras y personas no binarias del campo, entre ellas Ruha Benjamin , Sasha Costanza-Chock , Safiya Noble y Kimberlé Crenshaw . [ 22 ] [ 21 ] AJL basó el desarrollo de "Voicing Erasure" en un artículo de PNAS de 2020, titulado "Disparidades raciales en el reconocimiento automático del habla", que identificó disparidades raciales en el rendimiento de cinco sistemas ASR comerciales. [ 20 ]

Gobernanza algorítmica

En 2019, Buolamwini representó a AJL en una audiencia del Comité de Ciencia, Espacio y Tecnología de la Cámara de Representantes de EE. UU. para debatir las aplicaciones de las tecnologías de reconocimiento facial en el ámbito comercial y gubernamental. [ 23 ] [ 24 ] Buolamwini compareció como testigo en la audiencia y habló sobre el bajo rendimiento de las tecnologías de reconocimiento facial para identificar a personas con piel más oscura y rasgos femeninos, y respaldó su postura con la investigación del proyecto de AJL «Gender Shades». [ 24 ] [ 25 ] [ 26 ]

En enero de 2022, la AJL colaboró ​​con Fight for the Future y el Electronic Privacy Information Center para lanzar una petición en línea llamada DumpID.me, que solicitaba al IRS que detuviera el uso de ID.me , una tecnología de reconocimiento facial que utilizaban con los usuarios al iniciar sesión. [ 7 ] La AJL y otras organizaciones enviaron cartas a los legisladores solicitándoles que instaran al IRS a detener el programa. En febrero de 2022, el IRS accedió a detener el programa y dejar de usar la tecnología de reconocimiento facial. [ 27 ] La AJL ahora ha redirigido sus esfuerzos para convencer a otras agencias gubernamentales de que dejen de usar la tecnología de reconocimiento facial; a partir de marzo de 2022, la petición DumpID.me se ha centrado en detener el uso de ID.me en todas las agencias gubernamentales. [ 28 ]

Campaña "Decodifica el sesgo" de Olay

En septiembre de 2021, Olay colaboró ​​con AJL y O'Neil Risk Consulting & Algorithmic Auditing (ORCAA) para llevar a cabo la campaña Decode the Bias, que incluyó una auditoría que exploró si el  sistema Olay Skin Advisor (OSA) incluía sesgos contra las mujeres de color. [ 29 ] AJL eligió colaborar con Olay debido al compromiso de Olay de obtener el consentimiento de los clientes para que sus selfies y datos de piel se utilizaran en esta auditoría. [ 30 ] La auditoría de AJL y ORCAA reveló que el sistema OSA contenía sesgos en su rendimiento según el color de piel y la edad de los participantes. [ 30 ] El sistema OSA demostró mayor precisión para los participantes con tonos de piel más claros, según las escalas de clasificación de piel Fitzpatrick Skin Type y tipología individual. El sistema OSA también demostró mayor precisión para los participantes de 30 a 39 años. [ 31 ] Desde entonces, Olay ha tomado medidas para auditar internamente y mitigar el sesgo del sistema OSA. [ 30 ] Olay también ha financiado a 1000 niñas para que asistan al campamento Black Girls Code , para alentar a las niñas afroamericanas a seguir carreras STEM. [ 30 ]

Proyecto CRASH

En julio de 2020, AJL lanzó el Proyecto de Informes Comunitarios de Daños a Sistemas Algorítmicos (CRASH). [ 32 ] Este proyecto comenzó en 2019 cuando Buolamwini y la investigadora de seguridad digital Camille François se conocieron en el Programa de Residencia del Centro Bellagio, organizado por la Fundación Rockefeller . Desde entonces, el proyecto también ha sido codirigido por la profesora del MIT y directora de investigación de AJL, Sasha Costanza-Chock . El proyecto CRASH se centró en crear el marco para el desarrollo de programas de recompensas por errores (BBP) que incentivarían a las personas a descubrir e informar casos de sesgo algorítmico en tecnologías de IA. [ 32 ] [ 33 ] Después de realizar entrevistas con participantes de BBP y un estudio de caso del programa BBP de Twitter, [ 34 ] los investigadores de AJL desarrollaron y propusieron un marco conceptual para diseñar programas BBP que compensen y animen a las personas a localizar y revelar la existencia de sesgo en sistemas de IA. [ 35 ] AJL pretende que el marco CRASH permita a las personas informar sobre los daños causados ​​por los algoritmos y estimular el cambio en las tecnologías de IA implementadas por las empresas, especialmente a las personas que tradicionalmente han sido excluidas del diseño de estas tecnologías de IA [20, informe de DataSociety]. [ 36 ] [ 37 ]

Campaña de los Freedom Flyers

A partir de 2023, la AJL lanzó la campaña «Freedom Flyers», que busca concienciar sobre el uso del reconocimiento facial por parte de la TSA en los aeropuertos estadounidenses. Como parte de la campaña, la organización recopila las experiencias de los viajeros mediante una «tarjeta de puntuación de la TSA» para documentar cómo se utilizan los sistemas biométricos en los puntos de control de los aeropuertos. Su informe «¿Cumplir para volar?» reveló que muchos viajeros perciben el control mediante reconocimiento facial como obligatorio, a pesar de las afirmaciones oficiales de que es voluntario. [ 38 ]

La campaña también destaca que los pasajeros pueden optar por no participar en el reconocimiento facial sin penalización y organiza eventos como la Cumbre Freedom Flyers para debatir las implicaciones más amplias de estas tecnologías. [ 39 ] Presenta los controles de seguridad en los aeropuertos como un lugar clave en la expansión de la vigilancia biométrica y plantea inquietudes sobre la privacidad, el consentimiento y los posibles sesgos, en particular para los grupos marginados.

Apoyo y apariciones en los medios

Las iniciativas de AJL han sido financiadas por la Fundación Ford , la Fundación MacArthur , la Fundación Alfred P. Sloan , la Fundación Rockefeller , la Fundación Mozilla y donantes privados individuales. [ 36 ] [ 40 ] Fast Company reconoció a AJL como una de las 10 empresas de IA más innovadoras en 2021. [ 2 ] Además, medios como la revista Time , The New York Times , NPR y CNN han presentado el trabajo de Buolamwini con AJL en varias entrevistas y artículos. [ 7 ] [ 24 ] [ 41 ]

Véase también

Referencias

  1. "Más información" . Liga de la Justicia Algorítmica . La Liga de la Justicia Algorítmica . Consultado el 12 de abril de 2026 .
  2. 1 2 3 "Las 10 empresas más innovadoras en inteligencia artificial" . Fast Company . 9 de marzo de 2021. Archivado del original el 7 de abril de 2022. Consultado el 7 de abril de 2022 .
  3. Villoro, Elías (16 de febrero de 2023). "Sesgo codificado y la Liga de la Justicia del Algoritmo" . Boing Boing .
  4. 1 2 3 "El documental 'Coded Bias' desenmascara el racismo de la inteligencia artificial" . WBUR-FM . 18 de noviembre de 2020. Archivado del original el 4 de enero de 2022. Consultado el 7 de abril de 2022 .
  5. "Google despidió a su investigadora estrella de IA hace un año. Ahora está fundando su propio instituto" . The Washington Post . ISSN 0190-8286 . Archivado del original el 2 de diciembre de 2021. Consultado el 7 de abril de 2022 . 
  6. "DAIR" . Instituto de Investigación de IA Distribuida. Archivado del original el 7 de abril de 2022. Recuperado el 7 de abril de 2022 .
  7. 1 2 3 Metz, Rachel (7 de marzo de 2022). "Los activistas presionaron al IRS para que abandonara el reconocimiento facial. Ganaron, pero aún no han terminado" . CNN . Archivado del original el 31 de marzo de 2022. Recuperado el 7 de abril de 2022 .
  8. Buolamwini, Joy; Gebru, Timnit (2018). "Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification" (PDF) . Actas de la 1.ª Conferencia sobre Equidad, Responsabilidad y Transparencia . 81 : 77–91 . Archivado (PDF) del original el 12 de diciembre de 2020. Recuperado el 12 de diciembre de 2020 vía 12 de diciembre de 2020.{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  9. "Gender Shades" . gendershades.org . Archivado del original el 29 de mayo de 2022. Consultado el 7 de abril de 2022 .
  10. Buell, Spencer (23 de febrero de 2018). "Investigador del MIT: La IA tiene un problema de raza y necesitamos solucionarlo" . Boston . Archivado del original el 7 de abril de 2022. Recuperado el 7 de abril de 2022 .
  11. "Anuncio - Compromiso de uso seguro de mascarillas" . 20 de enero de 2021. Archivado del original el 20 de enero de 2021. Consultado el 7 de abril de 2022 .
  12. "La lucha de dos años para impedir que Amazon venda reconocimiento facial a la policía" . MIT Technology Review . Archivado del original el 7 de abril de 2022. Consultado el 7 de abril de 2022 .
  13. "IBM se retira del reconocimiento facial por temor a la discriminación racial y la vigilancia masiva" . Fortune . Archivado del original el 7 de abril de 2022. Consultado el 7 de abril de 2022 .
  14. Lee, Jennifer (8 de febrero de 2020). "Cuando el sesgo está codificado en nuestra tecnología" . NPR . Archivado del original el 26 de marzo de 2022. Recuperado el 7 de abril de 2022 .
  15. 1 2 "Watch Coded Bias" . Netflix . 2020. Archivado del original el 24 de marzo de 2022. Recuperado el 8 de abril de 2022 .
  16. Burt, Chris (8 de junio de 2020). "Expertos en biometría piden la creación de un organismo gubernamental similar a la FDA para regular el reconocimiento facial" . www.biometricupdate.com . Archivado del original el 7 de abril de 2022. Consultado el 7 de abril de 2022 .
  17. Miller, Erik Learned; Ordóñez, Vicente; Morgenstern, Jamie ; Buolamwini, Joy (2020). "Tecnologías de reconocimiento facial en la práctica: un llamado a una oficina federal" (PDF) . Libro blanco : 3–49 . Archivado (PDF) del original el 21 de enero de 2022. Recuperado el 8 de abril de 2022 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  18. Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Shmitchell, Shmargaret (3 de marzo de 2021). «Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes?». Actas de la Conferencia ACM de 2021 sobre equidad, rendición de cuentas y transparencia . FAccT '21. Evento virtual. Canadá: ACM. págs. 610–623 . doi : 10.1145/3442188.3445922 . ISBN  978-1-4503-8309-7. S2CID 232040593 . 
  19. Kiritchenko, Svetlana; Mohammad, Saif M. (2018). "Examinando el sesgo de género y raza en doscientos sistemas de análisis de sentimientos" ( PDF) . Actas de la Séptima Conferencia Conjunta sobre Semántica Léxica y Computacional . Actas de la 7ª Conferencia Conjunta sobre Semántica Léxica y Computacional. pp. 43– 53. arXiv : 1805.04508 . doi : 10.18653/v1/S18-2005 . S2CID 21670658. Archivado (PDF) del original el 8 de marzo de 2022. Recuperado el 8 de abril de 2022 vía 5–6 de junio de 2018.  {{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
  20. 1 2 Koenecke, Allison ; Nam, Andrew; Lake, Emily; Nudell, Joe; Quartey, Minnie; Mengesha, Zion; Toups, Connor; Rickford, John R.; Jurafsky, Dan; Goel, Sharad (7 de abril de 2020). " Disparidades raciales en el reconocimiento automático del habla" . Actas de la Academia Nacional de Ciencias . 117 (14): 7684– 7689. Bibcode : 2020PNAS..117.7684K . doi : 10.1073/pnas.1915768117 . ISSN 0027-8424 . PMC 7149386. PMID 32205437 .   
  21. 1 2 "Voicing Erasure" . www.ajl.org . Archivado del original el 11 de abril de 2022. Recuperado el 7 de abril de 2022 .
  22. 1 2 "La Liga de la Justicia Algorítmica protesta contra el sesgo en la IA de voz y la cobertura mediática" . VentureBeat . 1 de abril de 2020. Archivado del original el 31 de marzo de 2022. Recuperado el 7 de abril de 2022 .
  23. Quach, Katyanna (22 de mayo de 2019). "Escuchamos más de 3 horas de testimonios del Congreso de los Estados Unidos sobre el reconocimiento facial para que usted no tuviera que pasar por eso" . The Register . Archivado del original el 21 de enero de 2022. Recuperado el 8 de abril de 2022 .
  24. 1 2 3 "Inteligencia artificial: implicaciones sociales y éticas" . Comité de Ciencia, Espacio y Tecnología de la Cámara de Representantes . 26 de junio de 2019. Archivado del original el 15 de marzo de 2022. Consultado el 8 de abril de 2022 .
  25. Rodrigo, Chris Mills (2 de julio de 2020). "Decenas de grupos de defensa presionan al Congreso para que prohíba la tecnología de reconocimiento facial" . The Hill . Archivado del original el 8 de abril de 2022. Recuperado el 8 de abril de 2022 .
  26. «Un estudio del gobierno estadounidense encuentra sesgo racial en las herramientas de reconocimiento facial» . Reuters . 19 de diciembre de 2019. Archivado del original el 8 de abril de 2022. Consultado el 8 de abril de 2022 .
  27. Rachel Metz (7 de febrero de 2022). "El IRS suspende el plan para exigir reconocimiento facial para iniciar sesión en las cuentas de usuario" . CNN . Archivado del original el 8 de abril de 2022. Consultado el 8 de abril de 2022 .
  28. "Exigir que todas las agencias gubernamentales abandonen ID.me" . Lucha por el futuro . Archivado del original el 26 de abril de 2022. Consultado el 8 de abril de 2022 .
  29. "Decodifica los prejuicios y enfréntate a cualquier cosa | Mujeres en STEM | OLAY" . www.olay.com . Archivado del original el 11 de abril de 2022. Consultado el 8 de abril de 2022 .
  30. 1 2 3 4 Shacknai, Gabby (14 de septiembre de 2021). "Olay se asocia con la pionera de la justicia algorítmica Joy Buolamwini para #DecodificarElSesgo en la belleza" . Forbes . Archivado del original el 28 de marzo de 2022. Recuperado el 8 de abril de 2022 .
  31. "Informe de ORCAA" . www.olay.com . Archivado del original el 11 de abril de 2022. Consultado el 8 de abril de 2022 .
  32. 1 2 "Proyecto de recompensas por vulnerabilidades algorítmicas (AVBP)" . www.ajl.org . Archivado del original el 18 de marzo de 2022. Consultado el 8 de abril de 2022 .
  33. Laas, Molly (27 de enero de 2022). "¿Recompensas por errores en algoritmos? | Liga de la Justicia Algorítmica" . MediaWell . Archivado del original el 18 de enero de 2023. Recuperado el 8 de abril de 2022 .
  34. Vincent, James (10 de agosto de 2021). "El algoritmo de recorte de fotos de Twitter prefiere rostros jóvenes, bellos y de piel clara" . The Verge . Archivado del original el 8 de abril de 2022. Recuperado el 8 de abril de 2022 .
  35. "AJL Bug Bounties Report.pdf" . Google Docs . Archivado del original el 31 de enero de 2022. Consultado el 8 de abril de 2022 .
  36. 1 2 League, Justicia Algorítmica (4 de agosto de 2021). "¡Feliz temporada de campamento de verano para hackers!" . Medium . Archivado del original el 16 de noviembre de 2021 . Recuperado el 8 de abril de 2022 .
  37. Ellis, Ryan Ellis; Stevens, Yuan (enero de 2022). "Bounty Everything: Hackers and the Making of the Global Bug Marketplace" (PDF) . Data Society : 3–86 . Archivado (PDF) del original el 24 de febrero de 2022. Recuperado el 8 de abril de 2022 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  38. «¿Hay que cumplir para volar?», informe de la Liga de Justicia Algorítmica . www.ajl.org . Consultado el 12 de abril de 2026 .
  39. "Puedes optar por no participar en los escaneos faciales de la TSA - La Liga de la Justicia Algorítmica" . www.ajl.org . Consultado el 12 de abril de 2026 .
  40. "AJL Bug Bounties Report.pdf" . Google Docs . Archivado del original el 8 de abril de 2022. Consultado el 8 de abril de 2022 .
  41. "Joy Buolamwini: ¿Cómo perjudican los algoritmos sesgados a las comunidades marginadas?" . NPR . Archivado del original el 3 de abril de 2022 . Consultado el 8 de abril de 2022 .
  • Sitio web oficial