Hispanopedia Wiki
Articulo de referencia

Computación basada en humanos

La computación basada en humanos ( HBC ), computación asistida por humanos , [ 1 ] computación humana ubicua o pensamiento distribuido (por analogía con la computación distribui...

Hispanopedia WikiContenido en espanolLectura gratuita

La computación basada en humanos ( HBC ), computación asistida por humanos , [ 1 ] computación humana ubicua o pensamiento distribuido (por analogía con la computación distribuida ) es una técnica de la ciencia de la computación en la que una máquina realiza su función subcontratando ciertos pasos a humanos, generalmente como microtrabajo . Este enfoque utiliza las diferencias en las habilidades y los costos alternativos entre humanos y agentes informáticos para lograr una interacción simbiótica humano-computadora . Para tareas computacionalmente difíciles como el reconocimiento de imágenes, la computación basada en humanos juega un papel central en el entrenamiento de sistemas de inteligencia artificial basados ​​en aprendizaje profundo . En este caso, la computación basada en humanos se ha denominado inteligencia artificial asistida por humanos . [ 2 ]

En la computación tradicional, un humano emplea una computadora [ 3 ] para resolver un problema; un humano proporciona una descripción formalizada del problema y un algoritmo a la computadora, y recibe una solución para interpretar. [ 4 ] La computación basada en humanos frecuentemente invierte los roles; la computadora pide a una persona o a un gran grupo de personas que resuelvan un problema, [ 5 ] luego recopila, interpreta e integra sus soluciones. Esto convierte las redes híbridas de humanos y computadoras en "redes de computación distribuida a gran escala". [ 6 ] [ 7 ] [ 8 ] donde el código se ejecuta parcialmente en cerebros humanos y en procesadores basados ​​en silicio.

Trabajos iniciales

La investigación sobre computación basada en humanos (aparte del significado histórico de "computadora ") tiene sus orígenes en los primeros trabajos sobre computación evolutiva interactiva (CE). [ 9 ] La idea detrás de los algoritmos evolutivos interactivos se ha atribuido a Richard Dawkins ; en el software Biomorphs que acompaña a su libro El relojero ciego (Dawkins, 1986) [ 10 ] la preferencia de un experimentador humano se utiliza para guiar la evolución de conjuntos bidimensionales de segmentos de línea. En esencia, este programa pide a un humano que sea la función de aptitud de un algoritmo evolutivo , de modo que el algoritmo pueda utilizar la percepción visual y el juicio estético humanos para hacer algo que un algoritmo evolutivo normal no puede hacer. Sin embargo, es difícil obtener suficientes evaluaciones de un solo humano si queremos evolucionar formas más complejas. Victor Johnston [ 11 ] y Karl Sims [ 12 ] extendieron este concepto aprovechando el poder de muchas personas para la evaluación de la aptitud (Caldwell y Johnston, 1991; Sims, 1991). Como resultado, sus programas podían generar rostros hermosos y obras de arte atractivas para el público. Estos programas invirtieron la interacción habitual entre computadoras y humanos. En ellos, la computadora ya no actúa como agente del usuario, sino como coordinadora, agregando los esfuerzos de numerosos evaluadores humanos. Estas y otras investigaciones similares se convirtieron en objeto de estudio en selección estética o computación evolutiva interactiva (Takagi, 2001); sin embargo, el alcance de esta investigación se limitó a la evaluación externalizada y, por consiguiente, no exploró todo el potencial de dicha externalización.

Un concepto de la prueba de Turing automática, desarrollado por Moni Naor (1996) [ 13 ] , es otro precursor de la computación basada en humanos. En la prueba de Naor, la máquina puede controlar el acceso de humanos y computadoras a un servicio, planteándoles un problema de procesamiento del lenguaje natural (PLN) o visión por computadora (VC) para identificar a los humanos entre ellos. El conjunto de problemas se elige de tal manera que no tengan una solución algorítmica que sea a la vez efectiva y eficiente en la actualidad. Si existiera, un algoritmo de este tipo podría ser ejecutado fácilmente por una computadora, invalidando así la prueba. De hecho, Moni Naor fue modesto al llamar a esto una prueba de Turing automatizada. El juego de imitación descrito por Alan Turing (1950) no proponía el uso de problemas de VC. Solo proponía una tarea específica de PLN, mientras que la prueba de Naor identifica y explora una amplia clase de problemas, no necesariamente del dominio del PLN, que podrían usarse para el mismo propósito tanto en versiones automatizadas como no automatizadas de la prueba.

Finalmente, el algoritmo genético basado en humanos (HBGA) [ 14 ] fomenta la participación humana en múltiples roles diferentes. Los humanos no se limitan al rol de evaluador u otro rol predefinido, sino que pueden optar por realizar un conjunto más diverso de tareas. En particular, pueden aportar sus soluciones innovadoras al proceso evolutivo, realizar cambios incrementales a las soluciones existentes y llevar a cabo recombinaciones inteligentes. [ 15 ] En resumen, HBGA permite a los humanos participar en todas las operaciones de un algoritmo genético típico . Como resultado, HBGA puede procesar soluciones para las que no hay operadores de innovación computacional disponibles, por ejemplo, lenguajes naturales. Por lo tanto, HBGA eliminó la necesidad de un esquema de representación fijo que era un factor limitante tanto del EC estándar como del interactivo. [ 16 ] Estos algoritmos también pueden considerarse nuevas formas de organización social coordinadas por una computadora, según Alex Kosorukoff y David Goldberg. [ 17 ]

Clases de computación basada en humanos

Los métodos de computación basados ​​en humanos combinan computadoras y personas en diferentes roles. Kosorukoff (2000) propuso una forma de describir la división del trabajo en la computación, que agrupa los métodos basados ​​en humanos en tres clases. La siguiente tabla utiliza el modelo de computación evolutiva para describir cuatro clases de computación, tres de las cuales dependen de humanos en algún rol. Para cada clase, se muestra un ejemplo representativo. La clasificación se basa en los roles (innovación o selección) que desempeñan en cada caso los humanos y los procesos computacionales. Esta tabla es una sección de una tabla tridimensional. La tercera dimensión define si la función organizacional es realizada por humanos o por una computadora. Aquí se asume que la realiza una computadora.

Las clases de computación humana de esta tabla se pueden identificar mediante abreviaturas de dos letras: HC, CH, HH. La primera letra identifica el tipo de agentes que realizan la innovación, y la segunda especifica el tipo de agentes de selección. En algunas implementaciones ( Wikipedia es el ejemplo más común), la funcionalidad de selección humana puede ser limitada; esto se indica con una "h" minúscula.

Métodos de computación basados ​​en el ser humano

  • (HC) Darwin (Vyssotsky, Morris, McIlroy, 1961) y Core War (Jones, Dewdney, 1984) son juegos donde varios programas escritos por personas compiten en un torneo (simulación computacional) en el que sobreviven los programas más aptos. Los autores de los programas copian, modifican y recombinan estrategias exitosas para mejorar sus probabilidades de ganar.
  • (CH) EC interactivo (Dawkins, 1986; Caldwell y Johnston, 1991; Sims, 1991) IEC permite al usuario crear un dibujo abstracto simplemente seleccionando sus imágenes favoritas, por lo que el humano solo realiza el cálculo de aptitud y el software desempeña el papel innovador. [Unemi 1998] El estilo de reproducción simulada no introduce aptitud explícita, solo selección, lo que es más fácil para los humanos. [ 18 ]
  • (HH 2 ) Wiki ( Cunningham , 1995) permitió la edición del contenido web por múltiples usuarios, es decir, admitió dos tipos de innovación basada en humanos (contribución de nuevas páginas y sus ediciones incrementales). Sin embargo, el mecanismo de selección estuvo ausente hasta 2002, cuando se amplió la wiki con un historial de revisiones que permitía revertir cambios inútiles. Esto proporcionó un medio para seleccionar entre varias versiones de la misma página y convirtió a la wiki en una herramienta que apoya la evolución colaborativa del contenido (clasificada como estrategia de evolución basada en humanos en términos de EC).
  • (HH 3 ) El algoritmo genético basado en humanos (Kosorukoff, 1998) utiliza tanto la selección basada en humanos como tres tipos de innovación basada en humanos (aportación de contenido nuevo, mutación y recombinación). Por lo tanto, todos los operadores de un algoritmo genético típico se subcontratan a humanos (de ahí el origen de "basado en humanos" ). Esta idea se extendió a la integración de multitudes con algoritmos genéticos para estudiar la creatividad en 2011. [ 19 ]
  • (HH 1 ) Las aplicaciones de búsqueda social aceptan contribuciones de los usuarios e intentan utilizar la evaluación humana para seleccionar las contribuciones más adecuadas que llegan a la parte superior de la lista. Estas utilizan un tipo de innovación basada en humanos. Los primeros trabajos se realizaron en el contexto de HBGA. Digg y Reddit son ejemplos populares recientes. Véase también Filtrado colaborativo .
  • (HC) Pruebas computarizadas. Una computadora genera un problema y lo presenta para evaluar al usuario. Por ejemplo, CAPTCHA distingue a los usuarios humanos de los programas informáticos presentando un problema que supuestamente es fácil para un humano y difícil para una computadora. Si bien los CAPTCHA son medidas de seguridad eficaces para prevenir el abuso automatizado de los servicios en línea, el esfuerzo humano dedicado a resolverlos se desperdicia. El sistema reCAPTCHA utiliza estos ciclos humanos para ayudar a digitalizar libros presentando palabras de libros antiguos escaneados que el reconocimiento óptico de caracteres no puede descifrar. [ 20 ]
  • (HC) Juegos interactivos en línea: Son programas que extraen conocimiento de las personas de forma entretenida. [ 21 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ]
  • (HC) "Enjambre humano" o "Enjambre social". La plataforma UNU para enjambre humano establece sistemas de bucle cerrado en tiempo real alrededor de grupos de usuarios en red modelados a partir de enjambres biológicos, lo que permite a los participantes humanos comportarse como una inteligencia colectiva unificada . [ 26 ] [ 27 ] [ 28 ] [ 29 ] [ 30 ] [ 31 ]
  • La computación humana natural (NHC) implica aprovechar el comportamiento humano existente para extraer trabajo computacionalmente significativo sin perturbar dicho comportamiento. [ 32 ] La NHC se distingue de otras formas de computación basada en humanos en que, en lugar de subcontratar el trabajo computacional a la actividad humana pidiéndoles que realicen nuevas tareas computacionales, implica aprovechar la importancia computacional previamente inadvertida en el comportamiento existente.

Incentivos para la participación

En diferentes proyectos de computación basados ​​en humanos, las personas están motivadas por uno o más de los siguientes factores.

  • Recibir una parte justa del resultado
  • Compensación monetaria directa (por ejemplo, en Amazon Mechanical Turk , la guía de búsqueda de ChaCha , miembros de Mahalo.com Answers)
  • Oportunidad de participar en la economía global de la información [ 33 ]
  • Deseo de diversificar su actividad (por ejemplo, "no se les pide a las personas que sean creativas en su vida diaria" [ 34 ] )
  • Satisfacción estética
  • Curiosidad, deseo de comprobar si funciona.
  • Voluntariado, deseo de apoyar una causa del proyecto
  • Reciprocidad, intercambio, ayuda mutua
  • Deseo de entretenerse con el espíritu competitivo o cooperativo de un juego.
  • Deseo de comunicar y compartir conocimientos
  • Deseo de compartir una innovación de usuario para ver si alguien más puede mejorarla.
  • Deseo de manipular el sistema e influir en el resultado final.
  • Disfrute
  • Mejorar la reputación y el reconocimiento en línea.

Muchos proyectos habían explorado diversas combinaciones de estos incentivos. Para obtener más información sobre la motivación de los participantes en estos proyectos, consulte Kosorukoff [ 35 ] y Von Hippel [ 36 ] [ 37 ] .

La computación basada en el ser humano como forma de organización social.

Considerada como una forma de organización social, la computación basada en humanos a menudo resulta sorprendentemente más robusta y productiva que las organizaciones tradicionales. [ 38 ] Estas últimas dependen de obligaciones para mantener su estructura más o menos fija, ser funcionales y estables. Cada una de ellas es similar a un mecanismo cuidadosamente diseñado con humanos como sus componentes. Sin embargo, esto limita la libertad de sus empleados humanos y los somete a diversos tipos de estrés. La mayoría de las personas, a diferencia de las piezas mecánicas, encuentran difícil adaptarse a ciertos roles fijos que mejor se ajustan a la organización. Los proyectos evolutivos de computación humana ofrecen una solución natural a este problema. Adaptan la estructura organizacional a la espontaneidad humana, dan cabida a los errores y la creatividad humanos, y utilizan ambos de manera constructiva. Esto libera a sus participantes de obligaciones sin poner en peligro la funcionalidad del conjunto, lo que contribuye a la felicidad de las personas. Aún existen algunos problemas de investigación desafiantes que deben resolverse antes de que podamos aprovechar todo el potencial de esta idea.

Las técnicas de externalización algorítmica utilizadas en la computación humana son mucho más escalables que las técnicas manuales o automatizadas empleadas tradicionalmente para gestionar la externalización. Esta escalabilidad permite distribuir fácilmente el esfuerzo entre miles (o más) de participantes. Recientemente se sugirió que esta externalización masiva es lo suficientemente diferente de la externalización tradicional a pequeña escala como para merecer un nuevo nombre: crowdsourcing . [ 39 ] Sin embargo, otros han argumentado que el crowdsourcing debe distinguirse de la verdadera computación humana. [ 40 ] Si bien el crowdsourcing implica la distribución de tareas computacionales entre varios agentes humanos, Michelucci sostiene que esto no es suficiente para considerarlo computación humana. La computación humana requiere no solo que una tarea se distribuya entre diferentes agentes, sino también que el conjunto de agentes entre los que se distribuye la tarea sea mixto: algunos deben ser humanos, pero otros deben ser computadoras tradicionales. Es esta mezcla de diferentes tipos de agentes en un sistema computacional lo que confiere a la computación humana su carácter distintivo. Algunos casos de crowdsourcing sí cumplen este criterio, pero no todos.

Human Computation organiza a los trabajadores a través de un mercado de tareas con API, precios de tareas y protocolos de software como servicio que permiten a los empleadores/solicitantes recibir datos producidos por los trabajadores directamente en los sistemas de TI. Como resultado, muchos empleadores intentan gestionar a los trabajadores automáticamente a través de algoritmos en lugar de responder a los trabajadores caso por caso o abordar sus inquietudes. Responder a los trabajadores es difícil de escalar a los niveles de empleo que permiten las plataformas de microtrabajo de Human Computation. [ 41 ] Los trabajadores del sistema Mechanical Turk, por ejemplo, han informado que los empleadores de Human Computation pueden no responder a sus inquietudes y necesidades. [ 42 ]

Aplicaciones

La asistencia humana puede ser útil para resolver cualquier problema que la IA pueda solucionar por completo , es decir, una tarea que, por definición, es inviable para las computadoras pero factible para los humanos. Algunas aplicaciones prácticas específicas incluyen:

Crítica

La computación basada en humanos ha sido criticada por ser explotadora y engañosa, con el potencial de socavar la acción colectiva. [ 45 ] [ 46 ]

En filosofía social se ha argumentado que la computación basada en humanos es una forma implícita de trabajo en línea. [ 47 ] El filósofo Rainer Mühlhoff distingue cinco tipos diferentes de "captura maquínica" del microtrabajo humano en "redes híbridas humano-computadora": (1) gamificación, (2) "atrapamiento y seguimiento" (por ejemplo, CAPTCHA o seguimiento de clics en la búsqueda de Google ), (3) explotación social (por ejemplo, etiquetar caras en Facebook), (4) minería de información y (5) trabajo de clics (como en Amazon Mechanical Turk ). [ 48 ] [ 49 ] Mühlhoff argumenta que la computación basada en humanos a menudo alimenta sistemas de inteligencia artificial basados ​​en aprendizaje profundo , un fenómeno que analiza como "inteligencia artificial asistida por humanos".

Véase también

Referencias

  1. ^ Shahaf, Dafna; Amir, Eyal (28 de marzo de 2007). "Hacia una teoría de la integridad de la IA" (PDF) . Consultado el 12 de mayo de 2022 .
  2. ↑ Mühlhoff, Rainer (2019-11-06). "Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología de los medios del aprendizaje automático" . New Media & Society . 22 (10): 1868–1884 . doi : 10.1177/1461444819885334 . ISSN 1461-4448 . S2CID 209363848 .  
  3. ↑ El término "computadora" se usa en el sentido moderno de computadora, no en el de computadora humana.
  4. ↑ Turing, Alan M. (1950). "Computer Machinery and Intelligence" (PDF) . Consultado el 12 de mayo de 2022 .
  5. ↑ Fogarty, Terence C. (20 de agosto de 2003). "Evolución automática de conceptos" . Actas de la Segunda Conferencia Internacional IEEE sobre Informática Cognitiva, 2003. pág. 89. doi : 10.1109/COGINF.2003.1225961 . ISBN  0-7695-1986-5. S2CID 30299981 . Consultado el 21 de junio de 2021 . 
  6. ↑ von Ahn, Luis (22 de agosto de 2012), Human Computation , vol. Google Tech Talk, 26 de julio de 2006, archivado del original el 19 de diciembre de 2021 , consultado el 22 de noviembre de 2019. Citado de Mühlhoff, Rainer (2019). «Inteligencia artificial asistida por humanos: ¿Cómo realizar grandes cálculos en cerebros humanos? Hacia una sociología de los medios de comunicación aplicada al aprendizaje automático». New Media & Society: 146144481988533. doi:10.1177/1461444819885334. ISSN 1461-4448.
  7. ↑ Gentry, Craig; Ramzan, Zulfikar; Stubblebine, Stuart. " Computación humana distribuida segura " (PDF) . Consultado el 12 de mayo de 2022 .
  8. ↑ Gentry, Craig; Ramzan, Zulfikar; Stubblebine, Stuart (2005). "Computación humana distribuida segura" . Computación humana distribuida segura . Notas de clase en ciencias de la computación. Vol. 3570. págs. 328–332 . doi : 10.1007/11507840_28 . ISBN   978-3-540-26656-3Consultado el 12 de mayo de 2022 .
  9. ↑ Herdy, Michael (1996). Estrategias evolutivas con selección subjetiva. Conceptos básicos de computación evolutiva. Volumen 1141, pp. 22-31 . pp. 22–31 . doi : 10.1007/3-540-61723-X_966 . ISBN  9783540706687Consultado el 12 de mayo de 2022 .
  10. ↑ Dawkins, Richard. " El relojero ciego " . Consultado el 12 de mayo de 2022 .
  11. ↑ Johnston, Victor. " Método y aparato para generar composiciones de rostros humanos " . Consultado el 12 de mayo de 2022 .{{cite web}}: CS1 maint: servicio de archivo obsoleto ( enlace ) Patente estadounidense 5,375,195
  12. ↑ Sims, Karl P. " Sistema informático y método para generar y mutar objetos mediante evolución iterativa " . Consultado el 12 de mayo de 2022 .{{cite web}}: CS1 maint: servicio de archivo obsoleto ( enlace ) Patente estadounidense 6,088,510
  13. ↑ Naor, Moni. "Verificación de un humano en el bucle o identificación mediante la prueba de Turing" . Consultado el 12 de mayo de 2021 .
  14. ↑ Kosorukoff, A. (2001). «Algoritmo genético basado en humanos». Algoritmo genético basado en humanos . Vol. 5. pp. 3464–3469 . doi : 10.1109/ICSMC.2001.972056 . ISBN   0-7803-7087-2. S2CID 13839604 . 
  15. ↑ Fogarty, Terence C.; Hammond, Michelle O. "Co-operative OuLiPian (Ouvroir de littérature potentielle) Generative Literature Using Human-Based Evolutionary Computing" (PDF) . Consultado el 12 de mayo de 2022 .
  16. ↑ Takagi, Hideyuki (septiembre de 2001). "Computación evolutiva interactiva: fusión de las capacidades de optimización EC y evaluación humana, pp. 1275-1296". Actas del IEEE . 89 (9): 1275–1296 . doi : 10.1109/5.949485 . hdl : 2324/1670053 . S2CID 16929436 .  
  17. ↑ "La computación evolutiva como forma de organización, págs. 965-972" (PDF) . Archivado del original (PDF) el 7 de julio de 2011. Consultado el 12 de mayo de 2022 . 
  18. ↑ Unemi, Tastsuo ( 1998). "Diseño de una interfaz de usuario multicampo para la simulación de reproducción, págs. 489-494" . Actas de la Conferencia del Instituto Coreano de Sistemas Inteligentes : 489-494 . Consultado el 12 de mayo de 2022 . 
  19. ↑ Yu, Lixiu; Nickerson, Jeffrey V. (7 de mayo de 2011). ¿ Cocineros o zapateros?: Creatividad colectiva mediante la combinación . págs. 1393–1402 . doi : 10.1145/1978942.1979147 . ISBN  9781450302289. S2CID 11287874 . Consultado el 12 de mayo de 2022 . 
  20. ↑ von Ahn, Luis; Maurer, Benjamin; McMillen, Colin; Abraham, David; Blum, Manuel (12 de septiembre de 2008). "reCAPTCHA: Reconocimiento de caracteres basado en humanos mediante medidas de seguridad web" (PDF) . Consultado el 12 de mayo de 2022 .
  21. ↑ Burgener, Robin. "20Q . net. Veinte preguntas. La red neuronal en Internet. Juega a Veinte preguntas" . Archivado del original el 29 de febrero de 2000. Recuperado el 12 de mayo de 2022 .
  22. ↑ von Ahn, Luis; Dabbish, Laura . "Etiquetado de imágenes con un juego de ordenador" (PDF) . Consultado el 12 de mayo de 2022 .
  23. ↑ von Ahn, Luis; Kedia, Mihir; Blum, Manuel. "Verbosidad: un juego para recopilar datos de sentido común" (PDF) . Consultado el 12 de mayo de 2022 .
  24. ↑ von Ahn, Luis; Ginosar, Shiri; Kedia, Mihir; Liu, Ruoran; Blum, Manuel. "Mejorar la accesibilidad de la Web con un juego de computadora" (PDF) . Consultado el 12 de mayo de 2022 .
  25. ↑ von Ahn, Luis (19 de julio de 2011). "Método para etiquetar imágenes a través de un juego de computadora" . Recuperado el 12 de mayo de 2022 .Patente estadounidense 7,980,953
  26. ↑ Rosenberg, Louis B. "Enjambres humanos: un paradigma en tiempo real para la inteligencia colectiva" (PDF) . Facultad de Artes, Ciencias y Letras de la Universidad de Michigan . Consultado el 12 de mayo de 2021 .
  27. ↑ "Enjambres: un paradigma en tiempo real para la inteligencia colectiva" . Archivado del original el 27 de octubre de 2015. Consultado el 12 de mayo de 2022 .
  28. ↑ Sunstein, Cass R. (16 de agosto de 2006). "Infotopia: Cómo muchas mentes producen conocimiento" . SSRN 924249. Recuperado el 12 de mayo de 2022 . 
  29. ↑ Malone , Thomas W.; Laubacher, Robert; Dellarocas, Chrysanthos (3 de febrero de 2009). "Aprovechando las multitudes: mapeando el genoma de la inteligencia colectiva" . doi : 10.2139/ssrn.1381502 . hdl : 1721.1/66259 . S2CID 110848079. SSRN 1381502. Consultado el 12 de mayo de 2022 .  {{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
  30. ↑ "Enjambres humanos, un método en tiempo real para la inteligencia colectiva" . Archivado del original el 27 de octubre de 2015. Recuperado el 12 de octubre de 2015 .
  31. ↑ "Enjambres de humanos impulsan plataforma de IA : Discovery News" . Archivado del original el 21 de junio de 2015. Consultado el 21 de junio de 2015 . 
  32. ↑ Estrada, Daniel y Jonathan Lawhead, "Gaming the Attention Economy" en The Springer Handbook of Human Computation , Pietro Michelucci (ed.), (Springer, 2014)
  33. ↑ Schriner, Andrew; Oerther, Daniel (2014). "En serio, el trabajo en grupo es la solución definitiva" . Procedia Engineering . 78 (2014): 224–228 . doi : 10.1016/j.proeng.2014.07.060 .
  34. ↑ (Preguntas y respuestas) Tu tarea: Arte
  35. ↑ Kosorukoff, Alexander. "Estructuras de clasificación social. Toma de decisiones óptima en una organización" (PDF) . Archivado del original (PDF) el 7 de julio de 2011. Recuperado el 12 de mayo de 2022 .
  36. ↑ Von Hippel, Eric. "Democratizando la innovación" . Consultado el 12 de mayo de 2022 .
  37. ↑ von Hippel, Eric (2005). Democratizing Innovation . Colecciones de libros en Project MUSE. MIT Press . ISBN 978-0-262-00274-5Consultado el 17 de junio de 2024 .
  38. ↑ Kosorukoff, Alexander; Goldberg, David (2002). "La computación evolutiva como forma de organización" (PDF) . Archivado del original (PDF) el 7 de julio de 2011. Recuperado el 12 de mayo de 2022 .
  39. ↑ Howe, Jeff (junio de 2006). "El auge del crowdsourcing" . Wired . Consultado el 12 de mayo de 2022 .
  40. ↑ Michelucci, Pietro. Manual de computación humana . Consultado el 12 de mayo de 2022 .
  41. ↑ Irani, Lilly (2015). "El trabajo cultural del microtrabajo". New Media & Society . 17 (5): 720– 739. doi : 10.1177/1461444813511926 . S2CID 377594 . 
  42. ↑ Irani, Lilly; Silberman, Six (2013). "Turkopticon" . Actas de la Conferencia SIGCHI sobre Factores Humanos en Sistemas Informáticos . Chi '13. págs. 611–620 . doi : 10.1145/2470654.2470742 . ISBN  9781450318990. S2CID 207203679 . 
  43. ↑ US 7599911 , Manber, Udi y Chang, Chi-Chao, "Método y aparato para la clasificación de búsquedas utilizando entrada humana y clasificación automatizada", publicado el 6 de octubre de 2009, asignado a Yahoo! Inc. 
  44. ↑ "Método y aparato para la clasificación de búsquedas utilizando entrada humana y clasificación automatizada" . Consultado el 12 de mayo de 2022 .
  45. ↑ Zittrain, Jonathan (20 de julio de 2019). "Mentes en venta" . Recuperado el 12 de mayo de 2022 .
  46. ↑ Jafarinaimi, Nassim (7 de febrero de 2012). Explorando el carácter de la participación en las redes sociales: el caso de Google Image Labeler . pp. 72–79 . doi : 10.1145/2132176.2132186 . ISBN  9781450307826. S2CID 7094199 . Consultado el 12 de mayo de 2022 . 
  47. ↑ Mühlhoff, Rainer (2020). "Inteligencia artificial asistida por humanos: o, ¿cómo realizar grandes cálculos en cerebros humanos? Hacia una sociología de los medios del aprendizaje automático" . New Media & Society . 22 (10): 1868–1884 . doi : 10.1177/1461444819885334 . S2CID 209363848 . 
  48. ↑ Mühlhoff, Rainer (2019-11-06). "Inteligencia artificial asistida por humanos: o, ¿cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología de los medios del aprendizaje automático" . New Media & Society . 22 (10): 1868–1884 . doi : 10.1177/1461444819885334 . ISSN 1461-4448 . S2CID 209363848 .  
  49. ↑ Mühlhoff, Rainer. «Inteligencia artificial asistida por humanos: ¿Cómo realizar grandes cálculos en cerebros humanos? Hacia una sociología de los medios de comunicación del aprendizaje automático» (PDF) . Consultado el 12 de mayo de 2022 .