Responsabilidad algorítmica

La responsabilidad algorítmica se refiere a la asignación de responsabilidad por las consecuencias de las acciones del mundo real influenciadas por los algoritmos utilizados en los procesos de toma de decisiones. ^{[ 1 ]}

Idealmente, los algoritmos deberían diseñarse para eliminar el sesgo en sus decisiones. Esto significa que deberían evaluar solo las características relevantes de los datos de entrada, evitando distinciones basadas en atributos generalmente inapropiados en contextos sociales, como la etnia de un individuo en juicios legales. Sin embargo, el cumplimiento de este principio no siempre está garantizado, y existen casos en los que las decisiones algorítmicas pueden perjudicar a las personas. La responsabilidad por cualquier daño resultante de la decisión de una máquina puede recaer en el propio algoritmo o en quienes lo diseñaron, especialmente si la decisión se debió a un sesgo o a un análisis de datos defectuoso inherente al diseño del algoritmo. ^{[ 2 ]}

Los algoritmos se utilizan ampliamente en diversos sectores de la sociedad que incorporan técnicas computacionales en sus sistemas de control. Estas aplicaciones abarcan numerosas industrias, incluidas, entre otras, la médica, el transporte y los servicios de pago. ^{[ 3 ]} En estos contextos, los algoritmos realizan funciones tales como: ^{[ 4 ]}

• Aprobar o denegar solicitudes de tarjetas de crédito ;
• Aprobar o denegar visas de inmigrante ;
• Determinar qué contribuyentes serán auditados en sus declaraciones de impuestos sobre la renta ;
• Gestionar los sistemas que controlan los coches autónomos en una autopista;
• Calificar a las personas como posibles delincuentes para su uso en procedimientos legales;
• Motores de búsqueda que comparan y clasifican los resultados de búsquedas en bases de datos e internet;
• Sistemas de recomendación que filtran qué noticias, entretenimiento o artículos de compra aparecen en un feed;
• Algoritmos de creación de mercado que ponen en contacto a vendedores y compradores, como en el sector del transporte (servicios de transporte compartido) o en las plataformas financieras.

Sin embargo, la implementación de estos algoritmos puede ser compleja y opaca. Generalmente, los algoritmos funcionan como "cajas negras", lo que significa que los procesos específicos por los que pasa una entrada durante su ejecución a menudo no son transparentes, y los usuarios normalmente solo ven el resultado. ^{[ 5 ]} Esta falta de transparencia genera preocupación sobre posibles sesgos dentro de los algoritmos, ya que los parámetros que influyen en la toma de decisiones pueden no ser bien comprendidos. Los resultados generados pueden llevar a percepciones de sesgo, especialmente si individuos en circunstancias similares reciben resultados diferentes. Según Nicholas Diakopoulos:

Pero estos algoritmos pueden cometer errores. Tienen sesgos. Sin embargo, se encuentran en cajas negras opacas, con su funcionamiento interno, sus "pensamientos" internos ocultos tras capas de complejidad. Necesitamos entrar en esa caja negra, para comprender cómo pueden estar ejerciendo poder sobre nosotros y para entender dónde podrían estar cometiendo errores injustos.

Los algoritmos son comunes en diversos campos e influyen significativamente en las decisiones que afectan a la población en general. Sus estructuras y parámetros subyacentes suelen ser desconocidos para quienes se ven afectados por sus resultados. Un caso notable que ilustra este problema es una reciente sentencia del Tribunal Supremo de Wisconsin relativa a los algoritmos de " evaluación de riesgos " utilizados en la justicia penal. ^{[ 3 ]} El tribunal determinó que las puntuaciones generadas por dichos algoritmos, que analizan múltiples parámetros de los individuos, no deben utilizarse como factor determinante para la detención de una persona acusada. Además, el tribunal ordenó que todos los informes presentados a los jueces incluyan información sobre la precisión del algoritmo utilizado para calcular estas puntuaciones.

Esta sentencia se considera un avance significativo en la gestión del software que toma decisiones trascendentales, destacando la importancia de la fiabilidad, especialmente en entornos complejos como el sistema jurídico. El uso de algoritmos en estos contextos exige un alto grado de imparcialidad en el procesamiento de los datos de entrada. Sin embargo, los expertos señalan que aún queda mucho trabajo por hacer para garantizar la precisión de los resultados algorítmicos. Siguen surgiendo interrogantes sobre la transparencia del procesamiento de datos, lo que plantea cuestiones relativas a la idoneidad de los algoritmos y las intenciones de sus diseñadores.

Un ejemplo notable de posible sesgo algorítmico se destaca en un artículo de The Washington Post ^{[ 6 ]} sobre el servicio de transporte Uber . Un análisis de los datos recopilados reveló que los tiempos de espera estimados para los usuarios variaban según los barrios en los que residían. Entre los factores clave que influyeron en estas discrepancias se encontraban la etnia predominante y el ingreso promedio de la zona.

En concreto, los barrios con una población mayoritariamente blanca y un nivel socioeconómico más alto tendían a tener tiempos de espera más cortos, mientras que aquellos con una composición étnica más diversa y menores ingresos promedio experimentaban tiempos de espera más largos. Es importante aclarar que esta observación refleja una correlación identificada en los datos, y no una relación definitiva de causa y efecto. No se emiten juicios de valor sobre el comportamiento de la aplicación Uber en estos casos.

En el sitio web TechCrunch , Hemant Taneja escribió: ^{[ 7 ]}

La preocupación por los algoritmos opacos que rigen nuestras vidas se ha extendido. El Instituto de Derecho de la Información de la Universidad de Nueva York organizó una conferencia sobre la responsabilidad algorítmica, señalando: «Académicos, partes interesadas y responsables políticos cuestionan la idoneidad de los mecanismos existentes que rigen la toma de decisiones algorítmicas y se enfrentan a los nuevos desafíos que plantea el auge del poder algorítmico en términos de transparencia, equidad e igualdad de trato». El Proyecto de la Sociedad de la Información de la Facultad de Derecho de Yale también está estudiando este tema. «El modelado algorítmico puede ser sesgado o limitado, y los usos de los algoritmos siguen siendo opacos en muchos sectores críticos», concluyó el grupo.

Los debates entre expertos han buscado soluciones viables para comprender el funcionamiento de los algoritmos, a menudo denominados "cajas negras". Generalmente se propone que las empresas responsables del desarrollo e implementación de estos algoritmos garanticen su fiabilidad divulgando los procesos internos de sus sistemas.

Hemant Taneja, en un artículo para TechCrunch, subraya que las principales empresas tecnológicas, como Google, Amazon y Uber, deben incorporar activamente la rendición de cuentas algorítmica en sus operaciones. Sugiere que estas empresas deberían supervisar de forma transparente sus propios sistemas para evitar medidas regulatorias estrictas. ^{[ 7 ]}

Una posible solución es la introducción de regulaciones en el sector tecnológico para supervisar los procesos algorítmicos. Sin embargo, dichas regulaciones podrían tener un impacto significativo en los desarrolladores de software y en la industria en general. Para las empresas, podría ser más beneficioso divulgar voluntariamente los detalles de sus algoritmos y parámetros de toma de decisiones, lo que aumentaría la confiabilidad de sus soluciones.

Otra vía analizada es la posibilidad de autorregulación por parte de las empresas que crean estos algoritmos, lo que les permitiría tomar medidas proactivas para garantizar la rendición de cuentas y la transparencia en sus operaciones. ^{[ 7 ]}

En el sitio web TechCrunch, Hemant Taneja escribió: ^{[ 7 ]}

Existe otro beneficio —quizás enorme— de la regulación definida por software. También nos mostrará el camino hacia un gobierno más eficiente. La lógica legal y las regulaciones mundiales pueden codificarse en software, y los sensores inteligentes pueden ofrecer monitoreo en tiempo real de todo, desde la calidad del aire y del agua hasta el flujo de tráfico y las filas en el Departamento de Vehículos Motorizados. Los reguladores definen las reglas, los tecnólogos crean el software para implementarlas y luego la IA y el aprendizaje automático ayudan a perfeccionar las políticas en el futuro. Esto debería conducir a gobiernos mucho más eficientes y efectivos a nivel local, nacional y global.

• Transparencia algorítmica
• Inteligencia artificial y elecciones
• ética de los macrodatos
• Regulación de algoritmos

• Kroll, Joshua A.; Huey, Joanna; Barocas, Solon; Barocas, Solon; Felten, Edward W.; Reidenberg, Joel R.; Robinson, David G.; Robinson, David G.; Yu, Harlan (2016) Accountable Algorithms . University of Pennsylvania Law Review, Vol. 165. Fordham Law Legal Studies Research Paper No. 2765268.