Articulo de referencia

Investigación de GroupLens

Coordenadas : 44°58′27″N 93°13′57″O / 44.974280°N 93.232502°O / 44.974280; -93.232502 44°58′27″N 93°13′57″O / 44.974280°N 93.232502°O / 44.974280; -93.232502 [[Geographic coordi...

Coordenadas : 44°58′27″N 93°13′57″O / 44.974280°N 93.232502°O / 44.974280; -93.232502

44°58′27″N 93°13′57″O / 44.974280°N 93.232502°O / 44.974280; -93.232502

GroupLens Research es un laboratorio de investigación sobre interacción persona-computadora del Departamento de Ciencias de la Computación e Ingeniería de la Universidad de Minnesota, Twin Cities, especializado en sistemas de recomendación y comunidades en línea . GroupLens también trabaja con tecnologías móviles y ubicuas , bibliotecas digitales y sistemas de información geográfica locales .

El laboratorio GroupLens fue uno de los primeros en estudiar sistemas de recomendación automatizados con la construcción del recomendador "GroupLens", un motor de recomendación de artículos de Usenet , y MovieLens , un popular sitio de recomendación de películas utilizado para estudiar motores de recomendación, sistemas de etiquetado e interfaces de usuario. El laboratorio también ha ganado notoriedad por el trabajo de sus miembros en el estudio de comunidades de contenido abierto como Cyclopath, una geowiki que se utilizó en las Ciudades Gemelas para ayudar a planificar el sistema regional de ciclismo. [ 1 ] [ 2 ]

Historia

Formación

En 1992, John Riedl y Paul Resnick asistieron juntos a la conferencia CSCW . Tras escuchar al orador principal, Shumpei Kumon, hablar sobre su visión de una economía de la información , [ 3 ] comenzaron a trabajar en un sistema de filtrado colaborativo para noticias de Usenet . El sistema recopilaba valoraciones de los lectores de Usenet y las utilizaba para predecir cuánto les gustaría un artículo a otros lectores antes de leerlo. Este motor de recomendaciones fue uno de los primeros sistemas automatizados de filtrado colaborativo en el que se utilizaban algoritmos para generar predicciones automáticamente a partir de patrones históricos de valoraciones. [ 4 ] El sistema en su conjunto se denominó recomendador "GroupLens", y los servidores que recopilaban las valoraciones y realizaban los cálculos se llamaron "Better Bit Bureau". Este nombre se abandonó posteriormente tras una solicitud del Better Business Bureau . "GroupLens" se utiliza ahora como nombre tanto para este sistema de recomendaciones como para el laboratorio de investigación de la Universidad de Minnesota.

Se realizó una prueba de viabilidad entre el MIT y la Universidad de Minnesota y se publicó un artículo de investigación que incluía el algoritmo , el diseño del sistema y los resultados del estudio de viabilidad, en la conferencia CSCW de 1994. [ 5 ]

En 1993, Riedl y Resnick invitaron a Joseph Konstan a unirse al equipo. Juntos, decidieron crear una implementación de mayor rendimiento de los algoritmos para soportar despliegues a mayor escala. En el verano de 1995, el equipo reunió a Bradley Miller, David Maltz, Jon Herlocker y Mark Claypool para la "Hack Week" con el fin de crear la nueva implementación y planificar la siguiente ronda de experimentos. [ 6 ]

En la primavera de 1996, Resnick y Hal Varian organizaron el primer taller sobre filtrado colaborativo en la Universidad de California, Berkeley . [ 7 ] Allí, investigadores de proyectos de todo Estados Unidos que estudiaban sistemas similares se reunieron para compartir ideas y experiencias.

Percepciones netas

En el verano de 1996, David Gardiner, un antiguo alumno de doctorado de Riedl, presentó a John Riedl a Steven Snyder. Snyder había sido uno de los primeros empleados de Microsoft , pero dejó Microsoft para ir a Minnesota a hacer un doctorado en Psicología . Se dio cuenta del potencial comercial del filtrado colaborativo y animó al equipo a fundar una empresa en abril de 1996. Para junio, Gardiner, Snyder, Miller, Riedl y Konstan habían constituido su empresa, y para julio obtuvieron su primera ronda de financiación, de la empresa de capital riesgo Hummer Winblad Venture Partners . [ 8 ] Net Perceptions se convirtió en una de las empresas líderes en personalización durante el auge de Internet de finales de la década de 1990, y se mantuvo en el negocio hasta 2004. [ 9 ] [ 10 ] Basándose en su experiencia, Riedl y Konstan escribieron un libro sobre las lecciones aprendidas al implementar sistemas de recomendación en la práctica. [ 11 ] Los sistemas de recomendación se han vuelto omnipresentes en el mundo en línea, con proveedores líderes como Amazon y Netflix implementando sistemas de recomendación altamente sofisticados. [ 12 ] Netflix incluso ofreció un premio de $1 millón por mejoras en la tecnología de recomendación. [ 13 ]

Cuando el sitio EachMovie [ 14 ] cerró en 1997, los investigadores responsables publicaron los datos de calificación anónimos que habían recopilado para que otros investigadores pudieran utilizarlos. El equipo de investigación de GroupLens, liderado por Brent Dahlen y Jon Herlocker, utilizó este conjunto de datos para impulsar un nuevo sitio de recomendaciones de películas llamado MovieLens , que se ha convertido en una plataforma de investigación muy visible, incluyendo un análisis detallado en un artículo de The New Yorker del periodista canadiense Malcolm Gladwell [ 15 ] y un reportaje en un episodio completo de ABC Nightline [ 16 ] .

Entre 1997 y 2002, el grupo continuó su investigación sobre filtrado colaborativo, que se conoció en la comunidad con el término más general de sistemas de recomendación . Con la experiencia de Joe Konstan en interfaces de usuario , [ 17 ] [ 18 ] el equipo comenzó a explorar cuestiones de interfaz en los sistemas de recomendación, como las explicaciones, [ 19 ] y los sistemas de metarecomendación. [ 20 ]

Estudiar las comunidades en línea

En 2002, GroupLens se expandió al ámbito de la computación social y las comunidades en línea con la incorporación de Loren Terveen , conocido por su investigación sobre sistemas de recomendación social como PHOAKS. [ 21 ] [ 22 ]

Para ampliar el conjunto de ideas y herramientas de investigación que utilizaban, Riedl, Konstan y Terveen invitaron a colegas de psicología social ( Robert Kraut y Sara Kiesler , del Instituto de Interacción Humano-Computadora de Carnegie Mellon ) y de análisis económico y social ( Paul Resnick y Yan Chen, de la Escuela de Información de la Universidad de Michigan ) a colaborar. El nuevo equipo, más grande, adoptó el nombre de CommunityLab y analizó en general los efectos de las intervenciones tecnológicas en el rendimiento de las comunidades en línea. Por ejemplo, parte de su investigación exploró la tecnología para enriquecer los sistemas de conversación, [ 23 ] mientras que otra exploró las motivaciones personales, sociales y económicas de las calificaciones de los usuarios. [ 24 ] [ 25 ]

En 2008, GroupLens lanzó Cyclopath, [ 26 ] una geowiki computacional para ciclistas dentro de una ciudad. [ 2 ] [ 27 ]

En 2010, GroupLens ganó el premio anual de sistemas de software de la ACM . [ 28 ] Riedl murió en 2013. [ 29 ]

Brent Hecht se unió al profesorado de GroupLens en 2013, centrándose en la interacción geográfica entre humanos y ordenadores. Lana Yarosh se unió al profesorado de GroupLens en 2014; trabaja con computación social e interacción entre niños y ordenadores. Una tercera profesora, Haiyi Zhu, se unió en 2015. Haiyi ha publicado investigaciones sobre Facebook y otras redes sociales. Stevie Chancellor, investigadora en computación centrada en el ser humano y computación social , se unió al profesorado de GroupLens en 2020. [ 30 ]

Contribuciones

  • El sistema de recomendación MovieLens: MovieLens es un sistema de recomendación de películas no comercial que ha estado funcionando desde 1997 con más de 164.000 visitantes únicos hasta 2009, que han proporcionado más de 15 millones de calificaciones de películas. [ 31 ]
  • Conjuntos de datos de calificaciones de MovieLens: En los inicios de los sistemas de recomendación, la investigación se vio ralentizada por la falta de conjuntos de datos disponibles públicamente. En respuesta a las solicitudes de otros investigadores, GroupLens publicó tres conjuntos de datos: [ 32 ] el conjunto de datos de calificaciones de MovieLens de 100 000, el conjunto de datos de calificaciones de MovieLens de 1 millón y el conjunto de datos de calificaciones de MovieLens de 10 millones. Estos conjuntos de datos se convirtieron en los conjuntos de datos estándar para la investigación de sistemas de recomendación y han sido utilizados en más de 300 artículos por investigadores de todo el mundo. El conjunto de datos también se utiliza para la enseñanza de la tecnología de recomendación. [ 33 ]
  • Conjunto de datos de etiquetado de MovieLens: GroupLens añadió el etiquetado a MovieLens en 2006. Desde entonces, los usuarios han proporcionado más de 85 000 aplicaciones de 14 000 etiquetas únicas a películas. [ 34 ] El conjunto de datos de 10 millones de calificaciones de MovieLens también incluye un conjunto de datos de 100 000 aplicaciones de etiquetas para que los investigadores lo utilicen.
  • Fuga de información de conjuntos de datos de recomendación: un artículo presentado en la conferencia de recuperación de información analizó los riesgos para la privacidad de los usuarios derivados de la publicación de grandes conjuntos de datos de recomendación. El riesgo principal detectado es que un conjunto de datos anonimizado podría combinarse con información pública para identificar a un usuario. Por ejemplo, un usuario que haya escrito sobre sus preferencias cinematográficas en foros en línea podría asociarse con una fila específica en los conjuntos de datos de MovieLens. En algunos casos, estas asociaciones podrían filtrar información que el usuario preferiría mantener privada. [ 35 ] [ 36 ]
  • Investigación de Wikipedia: El estudio sobre el valor y el vandalismo en Wikipedia publicado en 2007 [ 37 ] describió la concentración de contribuciones entre los editores de Wikipedia. Este documento fue uno de los primeros en centrarse en el tiempo que una contribución sobrevive en Wikipedia como medida de su valor. El documento también investigó los efectos del vandalismo en los lectores de Wikipedia, midiendo la probabilidad de que una vista de una página la capturara en un estado vandalizado. GroupLens también ha explorado formas de ayudar a los editores a encontrar páginas a las que pueden contribuir eficazmente con el recomendador SuggestBot. [ 38 ] El grupo también ha explorado la evolución de las normas en Wikipedia que determinan qué artículos se aceptan o rechazan, y el efecto de los cambios en esas normas en la cola larga de artículos de Wikipedia. [ 39 ] GroupLens también ha explorado el funcionamiento del sistema informal de revisión por pares dentro de Wikipedia para descubrir formas en que las decisiones que se toman parecen estar influenciadas inapropiadamente por la propiedad , y que la experiencia no parece cambiar mucho el rendimiento del editor. [ 40 ] [ 41 ] Los investigadores de GroupLens también han explorado visualizaciones del historial de ediciones de los artículos de Wikipedia. [ 42 ] En 2011, los investigadores de GroupLens completaron una exploración científica del desequilibrio de género en los editores populares de Wikipedia, lo que resultó en el hallazgo de que había una gran brecha entre los editores masculinos y femeninos. [ 43 ]
  • Sistemas de recomendación manipulados: GroupLens ha explorado formas en que los usuarios de sistemas de recomendación pueden intentar influir indebidamente en las recomendaciones dadas a otros usuarios. [ 44 ] A este comportamiento lo denominan manipulación , debido a su relación con la práctica de contratar asociados para que finjan ser clientes entusiastas . Demostraron que algunos tipos de manipulación pueden ser efectivos en la práctica. Una preocupación sobre la manipulación es que las predicciones falsas pueden cambiar las opiniones reportadas por usuarios posteriores, corrompiendo aún más las recomendaciones. [ 45 ] [ 46 ]

Referencias

  1. 1 2 "Cicloplano" . Archivado del original el 3 de julio de 2011. Recuperado el 4 de enero de 2010 .
  2. 1 2 González, Tony (18 de julio de 2008). "Sitio web de ciclismo reúne la experiencia de los ciclistas" . Star Tribune . Minneapolis . Recuperado el 4 de enero de 2010 .
  3. Kumon, Shumpei (1992). «De la riqueza a la sabiduría: un cambio en el paradigma social». Actas de la conferencia ACM de 1992 sobre trabajo cooperativo asistido por ordenador . Trabajo cooperativo asistido por ordenador. ACM Press. pág. 3. doi : 10.1145/143457.371587 . ISBN  0-89791-542-9.
  4. Goldman, Alvin I (1999). El conocimiento en un mundo social . Oxford University Press. doi : 10.1093/0198238207.001.0001 . ISBN 978-0-19-823820-1Otra posibilidad son los sistemas de "filtrado social", como GroupLens.
  5. Resnick, Paul; Iacovou, Neophytos; Suchak, Mitesh; Bergstrom, Peter; Riedl, John (1994). «GroupLens: una arquitectura abierta para el filtrado colaborativo de noticias en la red». Actas de la Conferencia Internacional ACM de 1994 sobre Trabajo Cooperativo Asistido por Computadora . Trabajo Cooperativo Asistido por Computadora. ACM Press. págs. 175–186 . doi : 10.1145/192844.192905 . ISBN  0-89791-689-1.
  6. Borchers, Al; Herlocker, Jon; Konstan, Joseph; Riedl, John (abril de 1998). "Atacando la sobrecarga de información". Computer . 31 (4): 106– 108. doi : 10.1109/2.666847 . ISSN 0018-9162 . 
  7. "Filtrado colaborativo" . 16 de marzo de 1996. Archivado del original el 17 de agosto de 2013. Consultado el 30 de diciembre de 2009 .
  8. "Minnesota en la era .com" (PDF) . Minnesota Public Radio. 1999. Consultado el 30 de diciembre de 2009 .
  9. "Empresas galardonadas en premios de comercio electrónico" . MIT. 19 de mayo de 1999.
  10. Dragan, Richard (enero de 2001), "Percepciones de la red para el comercio electrónico 6.0" , PC Magazine
  11. Riedl, John; Konstan, Joseph; Vrooman, Eric (agosto de 2002). Word of Mouse: The Marketing Power of Collaborative Filtering . Grand Central. ISBN 978-0-7595-2727-0.
  12. ^ Zeitchik, Steven (18 de julio de 2008). "La tecnología se vuelve personal" . El diario de Wall Street . pag. W9 . Consultado el 23 de diciembre de 2009 . 
  13. Hafner, Katie (2 de octubre de 2006). "Netflix ofrece dinero por buenas sugerencias" . The New York Times . Consultado el 23 de diciembre de 2009 .
  14. Lim, Myungeun; Kim, Juntae (2001). "Un sistema de recomendación adaptativo con un agente coordinador" . Actas de la Primera Conferencia Asia-Pacífico sobre Inteligencia Web: Investigación y Desarrollo . Conferencia Asia-Pacífico sobre Inteligencia Web. Notas de clase en Ciencias de la Computación. Vol. 2198/2001. Springer Berlín/Heidelberg. págs. 438–442 . doi : 10.1007/3-540-45490-X_56 . ISBN   978-3-540-42730-8. Consultado el 30 de diciembre de 2009 .
  15. Gladwell, Malcolm (4 de octubre de 1999). «Anales del marketing: La ciencia del éxito fugaz: Cómo la era de la información podría desbancar a los éxitos de taquilla» . New Yorker . 75 (29): 48– 55. Archivado del original el 30 de diciembre de 2009. Consultado el 29 de diciembre de 2009 .
  16. Krulwich, Robert (10 de diciembre de 1999). "ABC Nightline: Alma gemela" . ABC.
  17. "Resultados de las elecciones de SIGCHI 2003" . Boletín de SIGCHI . ​​35 (3). Julio-agosto de 2003. Consultado el 4 de enero de 2010 .
  18. Konstan, Joseph (marzo-abril de 2004). "Informe del presidente: Avanzando en el campo" . Boletín SIGCHI . ​​36 (2) . Recuperado el 30 de diciembre de 2009 .
  19. Herlocker, Jon; Konstan, Joseph; Riedl, John (2000). «Explicación de las recomendaciones de filtrado colaborativo». Actas de la conferencia ACM de 2000 sobre trabajo cooperativo asistido por ordenador . Trabajo cooperativo asistido por ordenador . ACM Press. págs. 241–259 . doi : 10.1145/358916.358995 . ISBN  1-58113-222-0.
  20. Schafer, J. Ben; Konstan, Joseph; Riedl, John (2002). «Sistemas de metarecomendación: Integración controlada por el usuario de diversas recomendaciones» . Actas de la undécima conferencia internacional sobre gestión de la información y el conocimiento . Conferencia sobre gestión de la información y el conocimiento . ACM Press. pp. 43–51 . doi : 10.1145/584792.584803 . ISBN  1-58113-492-4. Consultado el 6 de enero de 2010 .
  21. Lueg, Christopher; Fisher, Danyel, eds. (2003). De Usenet a CoWebs: Interacción con espacios de información social . Springer. ISBN 978-1-85233-532-8.
  22. Terveen, Loren; Hill, Will; Amento, Brian; McDonald, David; Creter, Josh (marzo de 1997). "PHOAKS: un sistema para compartir recomendaciones". Communications of the ACM . 40 (3): 59– 62. CiteSeerX 10.1.1.103.8264 . doi : 10.1145/245108.245122 . ISSN 0001-0782 . S2CID 207201836 .   
  23. Harper, F. Maxwell; Frankowski, Dan; Drenner, Sara; Ren, Yuqing; Kiesler, Sara; Terveen, Loren; Kraut, Robert; Riedl, John (2007). «Hablen entre ustedes: invitando a los usuarios a participar en conversaciones en línea» . Actas de la 12.ª Conferencia Internacional sobre Interfaces de Usuario Inteligentes . Conferencia Internacional sobre Interfaces de Usuario Inteligentes . ACM Press. pp. 62–71 . doi : 10.1145/1216295.1216313 . ISBN  978-1-59593-481-9. Consultado el 29 de diciembre de 2009 .
  24. Harper, F. Maxwell; Li, Xin; Chen, Yan; Konstan, Joseph (2005). "Un modelo económico de calificación de usuarios en un sistema de recomendación en línea" . Actas de User Modeling 2005. 10.ª Conferencia Internacional sobre Modelado de Usuarios . Lecture Notes in Computer Science. Vol. 3538. Springer. pp. 307–316 . doi : 10.1007/11527886_40 . ISBN   978-3-540-27885-6. Consultado el 29 de diciembre de 2009 .
  25. Rashid, Al Mamunur; Ling, Kimberly; Tassone, Regina D.; Resnick, Paul; Kraut, Robert; Riedl, John (2006). "Motivating Participation by Displaying the Value of Contribution" . Actas de la Conferencia CHI 2006. Conferencia ACM SIGCHI sobre Factores Humanos en Sistemas Informáticos . Lecture Notes in Computer Science. Vol. 3538. Springer. pp. 955–958 . doi : 10.1145/1124772.1124915 . ISBN   1-59593-372-7. Consultado el 30 de diciembre de 2009 .
  26. "cyclopath.org" . cyclopath.org . Consultado el 6 de enero de 2012 .
  27. Chin, Richard (19 de julio de 2008). "Mapquest para ciclistas" . St. Paul Pioneer Press . pág. A1. Archivado del original el 18 de febrero de 2015.  .
  28. "Premio al Sistema de Software - Ganadores: Lista por Año" . acm.org . Archivado del original el 5 de mayo de 2016. Consultado el 24 de agosto de 2013 .
  29. "Obituario: John Riedl de la Universidad fue pionero de los sistemas de recomendación" . Star Tribune . Consultado el 14 de marzo de 2021 .
  30. "Nuevo profesor centra su atención en el aprendizaje automático centrado en el ser humano" . 5 de junio de 2020.
  31. Vig, Jesse; Sen, Shilad; Riedl, John (2009). «Tagsplanations: Explicando recomendaciones mediante etiquetas» . Actas de la 13.ª conferencia internacional sobre interfaces de usuario inteligentes . Conferencia internacional sobre interfaces de usuario inteligentes . ACM Press. págs. 47–56 . doi : 10.1145/1502650.1502661 . ISBN  978-1-60558-168-2. Consultado el 30 de diciembre de 2009 .
  32. «MovieLens» . 6 de septiembre de 2013.
  33. Segaran, Toby (agosto de 2007). Programación de inteligencia colectiva: Creación de aplicaciones web 2.0 inteligentes . O'Reilly Media. ISBN 978-0-596-52932-1.
  34. Sen, Shilad; Vig, Jesse; Riedl, John (2009). «Tagommenders: Conectando usuarios con elementos a través de etiquetas» . Actas de la 18.ª conferencia internacional sobre la World Wide Web . Conferencia Internacional de la World Wide Web . ACM Press. pp. 671–680 . doi : 10.1145/1526709.1526800 . ISBN  978-1-60558-487-4. Consultado el 29 de diciembre de 2009 .
  35. Frankowski, Dan; Cosley, Dan; Sen, Shilad; Terveen, Loren; Riedl, John (2006). «Eres lo que dices: riesgos para la privacidad de las menciones públicas» . Actas de la 29.ª conferencia internacional anual ACM SIGIR sobre investigación y desarrollo en recuperación de información . Conferencia anual ACM sobre investigación y desarrollo en recuperación de información . ACM Press. págs. 565-572 . doi : 10.1145/1148170.1148267 . ISBN  1-59593-369-7. Consultado el 29 de diciembre de 2009 .
  36. Schneier, Bruce (agosto de 2006). "Schneier sobre seguridad: un blog sobre seguridad y tecnología de seguridad" . Recuperado el 29 de diciembre de 2009 .
  37. Priedhorsky, Reid; Chen, Jilin; Lam, Shyong (Tony); Panciera, Katherine; Terveen, Loren; Riedl, John (2007). «Creación, destrucción y restauración de valor en Wikipedia» . Actas de la conferencia internacional ACM de 2007 sobre apoyo al trabajo en grupo . Conferencia sobre apoyo al trabajo en grupo . ACM Press. págs. 259–268 . doi : 10.1145/1316624.1316663 . ISBN  978-1-59593-845-9Archivado del original el 15/12/2010 . Consultado el 29/12/2009 .
  38. Cosley, Dan; Frankowski, Dan; Terveen, Loren; Riedl, John (2008). «SuggestBot: Uso del enrutamiento inteligente de tareas para ayudar a las personas a encontrar trabajo en Wikipedia» . Actas de la 12.ª conferencia internacional sobre interfaces de usuario inteligentes . Conferencia sobre interfaces de usuario inteligentes. ACM Press. págs. 32–41 . doi : 10.1145/1216295.1216309 . ISBN  978-1-59593-481-9. Consultado el 4 de enero de 2010 .
  39. Lam, Shyong (Tony) K.; Riedl, John (2009). "¿Está Wikipedia desarrollando una cola más larga?" . Actas de la conferencia internacional ACM de 2009 sobre el apoyo al trabajo en grupo . Conferencia internacional sobre el apoyo al trabajo en grupo . ACM Press. págs. 105–114 . doi : 10.1145/1531674.1531690 . ISBN  978-1-60558-500-0. Consultado el 4 de enero de 2010 .
  40. Halfaker, Aaron ; Kittur, Aniket; Kraut, Robert; Riedl, John (2009). «Un jurado de tus pares: calidad, experiencia y propiedad en Wikipedia» . Actas del Simposio Internacional de 2009 sobre Wikis y Colaboración Abierta . Simposio Internacional sobre Wikis y Colaboración Abierta . ACM Press. doi : 10.1145/1641309.1641332 . ISBN 978-1-60558-730-1. Consultado el 4 de enero de 2010 .
  41. Panciera, Katherine; Halfaker, Aaron; Terveen, Loren (2009). «Los wikipedistas nacen, no se hacen: un estudio de los editores influyentes en Wikipedia» . Actas de la conferencia internacional ACM de 2009 sobre el apoyo al trabajo en grupo . Conferencia internacional sobre el apoyo al trabajo en grupo . ACM Press. doi : 10.1145/1531674.1531682 . ISBN 978-1-60558-500-0. Consultado el 4 de enero de 2010 .
  42. Ekstrand, Michael; Riedl, John (2009). "rv you're dumb: Identifying Discarded Work in Wiki Article History" . Actas del Simposio Internacional de Wikis y Colaboración Abierta de 2009. Simposio Internacional sobre Wikis y Colaboración Abierta . ACM Press. doi : 10.1145/1641309.1641317 . ISBN 978-1-60558-730-1. Consultado el 4 de enero de 2010 .
  43. Lam, Shyong K.; Anuradha, Uduwage; Zhenhua, Dong; Sen, Shilad; Riedl, John (2011). "WP: ¿Clubhouse? Una exploración del desequilibrio de género en Wikipedia" . Actas del 7.º simposio internacional sobre wikis y colaboración abierta . El Simposio Internacional sobre Wikis y Colaboración Abierta . ACM Press. págs. 1–10 . doi : 10.1145/2038558.2038560 . Archivado del original el 20 de septiembre de 2011. Recuperado el 25 de octubre de 2011 . 
  44. Lam, Shyong K.; Riedl, John (2004). «Sistemas de recomendación con fines de lucro y diversión» . Actas de la 13.ª conferencia internacional sobre la World Wide Web . Conferencia Internacional de la World Wide Web . ACM Press. pp. 393–402 . doi : 10.1145/988672.988726 . ISBN  1-58113-844-X. Consultado el 4 de enero de 2010 .
  45. Charles, Julie (22 de mayo de 2003). "Las calificaciones falsas en la web influyen en la opinión pública, según un estudio" . The New York Times . pág. G4 . Consultado el 23 de diciembre de 2009 . 
  46. Cosley, Dan; Lam, Shyong K.; Albert, Istvan; Konstan, Joseph A.; Riedl, John (2003). "¿Ver para creer? Cómo los sistemas de recomendación influyen en las opiniones de los usuarios" . Conferencia ACM SIGCHI sobre factores humanos en sistemas informáticos . Conferencia sobre factores humanos en sistemas informáticos . ACM Press. doi : 10.1145/642611.642713 . ISBN 1-58113-630-7. Consultado el 4 de enero de 2010 .
  47. Priedhorsky, Reid; Masli, Mikhil; Terveen, Loren (2010). «Inducción y enfoque del trabajo voluntario geográfico» . Actas de la conferencia ACM de 2010 sobre trabajo cooperativo asistido por ordenador . Conferencia sobre trabajo cooperativo asistido por ordenador . ACM Press. doi : 10.1145/1718918.1718931 . ISBN 978-1-60558-795-0Archivado del original el 12 de junio de 2010. Consultado el 2 de marzo de 2010 .
  • Página principal de investigación de GroupLens