Centro para la seguridad de la IA

El Centro para la Seguridad de la IA ( CAIS ) es una organización sin fines de lucro con sede en San Francisco que promueve el desarrollo y la implementación seguros de la inteligencia artificial (IA). El trabajo del CAIS abarca la investigación en seguridad técnica de la IA y la ética de la IA , la defensa y el apoyo para hacer crecer el campo de investigación de la seguridad de la IA. ^[1]^[2]

En mayo de 2023, el CAIS publicó una declaración sobre el riesgo de extinción de la IA firmada por cientos de profesores de IA, líderes de importantes empresas de IA y otras figuras públicas. ^[3]^[4]^[5]^[6]^[7]

Investigación

Los investigadores del CAIS publicaron "An Overview of Catastrophic AI Risks", que detalla los escenarios de riesgo y las estrategias de mitigación de riesgos. Los riesgos descritos incluyen el uso de la IA en la guerra autónoma o para la ingeniería de pandemias, así como las capacidades de la IA para el engaño y el hackeo . ^[8]^[9] Otro trabajo, realizado en colaboración con investigadores de la Universidad Carnegie Mellon , describió una forma automatizada de descubrir ataques adversarios de grandes modelos de lenguaje que eluden las medidas de seguridad, lo que destaca la insuficiencia de los sistemas de seguridad actuales. ^[10]^[11]

Actividades

Otras iniciativas incluyen un grupo de cómputo para apoyar la investigación sobre seguridad de la IA, un curso en línea titulado "Introducción a la seguridad del aprendizaje automático" y una beca para profesores de filosofía para abordar problemas conceptuales. ^[9]

El Fondo de Acción del Centro para la Seguridad de la IA es patrocinador del proyecto de ley SB 1047 de California, la Ley de Innovación Segura para Modelos de Inteligencia Artificial de Frontera . ^[12]

Véase también

Referencias

^ "La IA plantea un riesgo de extinción, advierten los líderes tecnológicos en una carta abierta. Esta es la razón por la que se está extendiendo la alarma". USA TODAY . 31 de mayo de 2023.
^ "Nuestra misión | CAIS". www.safe.ai . Consultado el 13 de abril de 2023 .
^ Hendrycks, del Centro para la Seguridad de la IA, habla sobre los riesgos de la IA, Bloomberg Technology, 31 de mayo de 2023
^ Roose, Kevin (30 de mayo de 2023). «La IA plantea un «riesgo de extinción», advierten los líderes de la industria». The New York Times . ISSN 0362-4331 . Consultado el 3 de junio de 2023 .
^ "Advertencia de inteligencia artificial sobre la extinción humana: todo lo que necesita saber". The Independent . 2023-05-31 . Consultado el 2023-06-03 .
^ Lomas, Natasha (30 de mayo de 2023). «Altman de OpenAI y otros gigantes de la IA respaldan la advertencia de que la IA avanzada representa un riesgo de 'extinción'». TechCrunch . Consultado el 3 de junio de 2023 .
^ Castleman, Terry (31 de mayo de 2023). «Los principales líderes de la IA advierten del «riesgo de extinción» de las nuevas tecnologías». Los Angeles Times . Consultado el 3 de junio de 2023 .
^ Hendrycks, Dan; Mazeika, Mantas; Woodside, Thomas (2023). "Una descripción general de los riesgos catastróficos de la IA". arXiv : 2306.12001 [cs.CY].
^ ab Scharfenberg, David (6 de julio de 2023). «Dan Hendrycks, del Centro para la Seguridad de la IA, espera poder evitar una catástrofe». The Boston Globe . Consultado el 9 de julio de 2023 .
^ Metz, Cade (27 de julio de 2023). "Los investigadores descubren lagunas en los controles de seguridad de ChatGPT y otros chatbots". The New York Times . Consultado el 27 de julio de 2023 .
^ "Ataques universales y transferibles a modelos de lenguaje alineados". llm-attacks.org . Consultado el 27 de julio de 2023 .
^ "El senador Wiener presenta una legislación para garantizar el desarrollo seguro de sistemas de inteligencia artificial a gran escala y apoyar la innovación en inteligencia artificial en California". Senador Scott Wiener . 2024-02-08 . Consultado el 2024-06-28 .

[1] "La IA plantea un riesgo de extinción, advierten los líderes tecnológicos en una carta abierta. Esta es la razón por la que se está extendiendo la alarma". USA TODAY . 31 de mayo de 2023.

[2] "Nuestra misión | CAIS". www.safe.ai . Consultado el 13 de abril de 2023 .

[3] Hendrycks, del Centro para la Seguridad de la IA, habla sobre los riesgos de la IA, Bloomberg Technology, 31 de mayo de 2023

[4] Roose, Kevin (30 de mayo de 2023). «La IA plantea un «riesgo de extinción», advierten los líderes de la industria». The New York Times . ISSN 0362-4331 . Consultado el 3 de junio de 2023 .

[5] "Advertencia de inteligencia artificial sobre la extinción humana: todo lo que necesita saber". The Independent . 2023-05-31 . Consultado el 2023-06-03 .

[6] Lomas, Natasha (30 de mayo de 2023). «Altman de OpenAI y otros gigantes de la IA respaldan la advertencia de que la IA avanzada representa un riesgo de 'extinción'». TechCrunch . Consultado el 3 de junio de 2023 .

[7] Castleman, Terry (31 de mayo de 2023). «Los principales líderes de la IA advierten del «riesgo de extinción» de las nuevas tecnologías». Los Angeles Times . Consultado el 3 de junio de 2023 .

[8] Hendrycks, Dan; Mazeika, Mantas; Woodside, Thomas (2023). "Una descripción general de los riesgos catastróficos de la IA". arXiv : 2306.12001 [cs.CY].

[:0-9] Scharfenberg, David (6 de julio de 2023). «Dan Hendrycks, del Centro para la Seguridad de la IA, espera poder evitar una catástrofe». The Boston Globe . Consultado el 9 de julio de 2023 .

[10] Metz, Cade (27 de julio de 2023). "Los investigadores descubren lagunas en los controles de seguridad de ChatGPT y otros chatbots". The New York Times . Consultado el 27 de julio de 2023 .

[11] "Ataques universales y transferibles a modelos de lenguaje alineados". llm-attacks.org . Consultado el 27 de julio de 2023 .

[12] "El senador Wiener presenta una legislación para garantizar el desarrollo seguro de sistemas de inteligencia artificial a gran escala y apoyar la innovación en inteligencia artificial en California". Senador Scott Wiener . 2024-02-08 . Consultado el 2024-06-28 .