Radicalización algorítmica

El algoritmo de Facebook se centra en recomendar contenido que incite al usuario a interactuar. Clasifica el contenido priorizando las publicaciones populares de amigos, el contenido viral y, en ocasiones, el contenido polémico. Cada feed se personaliza según los intereses específicos del usuario, lo que a veces puede llevarlo a una cámara de eco de contenido problemático. ^{[ 9 ]} Los usuarios pueden encontrar su lista de intereses que utiliza el algoritmo en la página "Tus preferencias de anuncios". Según un estudio de Pew Research, el 74 % de los usuarios de Facebook desconocía la existencia de dicha lista hasta que fueron dirigidos a esa página en el estudio. ^{[ 10 ]} También es relativamente común que Facebook asigne etiquetas políticas a sus usuarios. En los últimos años, Facebook ha comenzado a utilizar inteligencia artificial para modificar el contenido que los usuarios ven en su feed y las recomendaciones que se les ofrecen. Un documento conocido como The Facebook Files ha revelado que su sistema de IA prioriza la interacción del usuario por encima de todo lo demás. The Facebook Files también ha demostrado que controlar los sistemas de IA ha resultado difícil. ^{[ 11 ]}

En un memorando interno de agosto de 2019 filtrado en 2021, Facebook admitió que "la mecánica de nuestras plataformas no es neutral", ^{[ 12 ] [ 13 ]} concluyendo que para alcanzar las máximas ganancias, es necesaria la optimización de la interacción. Para aumentar la interacción, los algoritmos han descubierto que el odio, la desinformación y la política son fundamentales para la actividad de la aplicación. ^{[ 14 ]} Como se menciona en el memorando, "Cuanto más incendiario sea el material, más mantendrá a los usuarios comprometidos, más lo impulsará el algoritmo". ^{[ 12 ]} Según un estudio de 2018, "los rumores falsos se propagan más rápido y más ampliamente que la información verdadera... Descubrieron que las falsedades tienen un 70 % más de probabilidades de ser retuiteadas en Twitter que la verdad, y llegan a sus primeras 1500 personas seis veces más rápido. Este efecto es más pronunciado con las noticias políticas que con otras categorías". ^{[ 15 ]}

YouTube existe desde 2005 y cuenta con más de 2.500 millones de usuarios mensuales. Los sistemas de descubrimiento de contenido de YouTube se centran en la actividad personal del usuario (videos vistos, favoritos, "me gusta") para dirigirlo hacia contenido recomendado. El algoritmo de YouTube es responsable de aproximadamente el 70% de los videos recomendados a los usuarios y de lo que impulsa a las personas a ver cierto contenido. ^{[ 16 ]} Según un estudio de 2022 de la Fundación Mozilla , los usuarios tienen poco poder para evitar que videos no solicitados aparezcan en sus sugerencias de contenido recomendado. Esto incluye videos sobre discursos de odio, transmisiones en vivo, etc. ^{[ 17 ] [ 16 ]}

YouTube ha sido identificada como una plataforma influyente para la difusión de contenido radicalizado. Al-Qaeda y grupos extremistas similares han sido vinculados al uso de YouTube para videos de reclutamiento y para interactuar con medios de comunicación internacionales. En un estudio de investigación publicado por el American Behavioral Scientist Journal , se investigó "si es posible identificar un conjunto de atributos que puedan ayudar a explicar parte del proceso de toma de decisiones del algoritmo de YouTube". ^{[ 18 ]} Los resultados del estudio mostraron que las recomendaciones del algoritmo de YouTube para contenido extremista tienen en cuenta la presencia de palabras clave radicales en el título de un video. En febrero de 2023, en el caso Gonzalez v. Google , la cuestión en cuestión es si Google, la empresa matriz de YouTube, está protegida o no de demandas que alegan que los algoritmos del sitio ayudaron a terroristas a recomendar videos del ISIS a los usuarios. Se sabe que la Sección 230 generalmente protege a las plataformas en línea de la responsabilidad civil por el contenido publicado por sus usuarios. ^{[ 19 ]}

Numerosos estudios han encontrado poca o ninguna evidencia que sugiera que los algoritmos de YouTube dirigen la atención hacia contenido de extrema derecha a aquellos que no interactúan previamente con él. ^{[ 20 ] [ 21 ] [ 22 ]}

TikTok es una plataforma que recomienda videos a la página "Para ti" (FYP) del usuario, lo que hace que la página de cada usuario sea diferente. Debido a la naturaleza del algoritmo de la aplicación, se ha vinculado a que la página FYP de TikTok muestre videos más explícitos y radicales con el tiempo, según las interacciones previas de los usuarios en la aplicación. ^{[ 23 ]} Desde su creación, TikTok ha sido objeto de escrutinio por desinformación y discurso de odio, ya que estas formas de contenido suelen generar más interacciones con el algoritmo. ^{[ 24 ]}

En 2022, el jefe de seguridad de TikTok en EE. UU. emitió un comunicado en el que afirmaba que "entre abril y junio se eliminaron 81.518.334 vídeos a nivel mundial por infringir nuestras Normas de la comunidad o los Términos de servicio" para reducir el discurso de odio, el acoso y la desinformación. ^{[ 25 ]}

Diversos estudios han documentado casos de personas radicalizadas a través del contenido de TikTok. Por ejemplo, a principios de 2023, las autoridades austriacas desbarataron un complot contra un desfile del orgullo LGBTQ+ en el que participaron dos adolescentes y un joven de 20 años inspirados por contenido yihadista en TikTok. El sospechoso más joven, de 14 años, había visto vídeos creados por influencers islamistas que glorificaban la yihad. Estos vídeos lo llevaron a consumir contenido similar, lo que finalmente derivó en su participación en la planificación de un atentado. ^{[ 26 ]}

Otro caso involucró el arresto de varios adolescentes en Viena, Austria , en 2024, que planeaban llevar a cabo un ataque terrorista en un concierto de Taylor Swift . La investigación reveló que algunos de los sospechosos se habían radicalizado en línea, siendo TikTok una de las plataformas utilizadas para difundir contenido extremista que influyó en sus creencias y acciones. ^{[ 26 ]}

El dilema de las redes sociales es un docudrama de 2020 que explora cómo los algoritmos de las redes sociales fomentan la adicción, manipulando las opiniones, emociones y comportamientos de las personas para difundir teorías conspirativas y desinformación. La película utiliza repetidamente términos como "cámaras de eco" y " noticias falsas " para demostrar la manipulación psicológica en las redes sociales, que desemboca en manipulación política . En la película, Ben se hunde cada vez más en la adicción a las redes sociales cuando el algoritmo determina que su página tiene un 62,3 % de probabilidad de generar interacción a largo plazo. Esto lo lleva a ver más videos en las recomendaciones y, con el tiempo, se sumerge cada vez más en la propaganda y las teorías conspirativas, polarizándose con cada video.

En la Ley de Decencia en las Comunicaciones , la Sección 230 establece que "Ningún proveedor o usuario de un servicio informático interactivo será considerado editor o emisor de ninguna información proporcionada por otro proveedor de contenido informativo". ^{[ 31 ]} La Sección 230 protege a los medios de comunicación de responsabilidades o demandas por contenido de terceros, como la actividad ilegal de un usuario. ^{[ 31 ]} Sin embargo, los críticos argumentan que este enfoque reduce el incentivo de una empresa para eliminar contenido dañino o desinformación, y esta laguna legal ha permitido a las empresas de redes sociales maximizar sus ganancias al difundir contenido radical sin riesgos legales. ^{[ 32 ]} Esta afirmación ha sido criticada por los defensores de la Sección 230, ya que antes de su aprobación, los tribunales habían dictaminado en Stratton Oakmont, Inc. v. Prodigy Services Co. que la moderación en cualquier capacidad introduce una responsabilidad para los proveedores de contenido como "editores" del contenido que deciden mantener publicado. ^{[ 33 ]}

Los legisladores han redactado un proyecto de ley que debilitaría o eliminaría las protecciones de la Sección 230 sobre el contenido algorítmico. Los demócratas de la Cámara de Representantes Anna Eshoo , Frank Pallone Jr. , Mike Doyle y Jan Schakowsky presentaron la "Ley de Justicia contra los Algoritmos Maliciosos" en octubre de 2021 como HR 5596. El proyecto de ley no prosperó en el comité, ^{[ 34 ]} pero habría eliminado las protecciones de la Sección 230 para los proveedores de servicios relacionados con algoritmos de recomendación personalizados que presentan contenido a los usuarios si dichos algoritmos, a sabiendas o imprudentemente, entregan contenido que contribuye a lesiones físicas o emocionales graves. ^{[ 35 ]}