Formación conjunta

El co-entrenamiento es un algoritmo de aprendizaje automático que se utiliza cuando hay pequeñas cantidades de datos etiquetados y grandes cantidades de datos sin etiquetar. Uno de sus usos es la minería de texto para motores de búsqueda . Fue introducido por Avrim Blum y Tom Mitchell en 1998.

El co-entrenamiento es una técnica de aprendizaje semisupervisado que requiere dos vistas de los datos. Presupone que cada ejemplo se describe utilizando dos conjuntos diferentes de características que proporcionan información complementaria sobre la instancia. Idealmente, las dos vistas son condicionalmente independientes (es decir, los dos conjuntos de características de cada instancia son condicionalmente independientes dada la clase) y cada vista es suficiente (es decir, la clase de una instancia se puede predecir con precisión a partir de cada vista por sí sola). El co-entrenamiento primero aprende un clasificador separado para cada vista utilizando cualquier ejemplo etiquetado. Las predicciones más fiables de cada clasificador sobre los datos sin etiquetar se utilizan luego para construir iterativamente datos de entrenamiento etiquetados adicionales . ^{[ 1 ]}

El artículo original sobre co-entrenamiento describía experimentos que utilizaban co-entrenamiento para clasificar páginas web como "página de inicio de un curso académico" o no; el clasificador categorizó correctamente el 95% de 788 páginas web con solo 12 páginas web etiquetadas como ejemplos. ^{[ 2 ]} El artículo ha sido citado más de 1000 veces y recibió el premio al mejor artículo de 10 años en la 25.ª Conferencia Internacional sobre Aprendizaje Automático ( ICML 2008), una reconocida conferencia de ciencias de la computación . ^{[ 3 ] [ 4 ]}

Krogel y Scheffer demostraron en 2004 que el entrenamiento conjunto solo es beneficioso si los conjuntos de datos son independientes; es decir, si uno de los clasificadores etiqueta correctamente un punto de datos que el otro clasificador había clasificado erróneamente. Si los clasificadores coinciden en todos los datos sin etiquetar, es decir, son dependientes, etiquetar los datos no genera información nueva. En un experimento donde la dependencia de los clasificadores fue superior al 60%, los resultados empeoraron. ^{[ 5 ]}

El entrenamiento conjunto se ha utilizado para clasificar páginas web usando el texto de la página como una vista y el texto de anclaje de los hipervínculos de otras páginas que apuntan a la página como la otra vista. En pocas palabras, el texto de un hipervínculo en una página puede brindar información sobre la página a la que enlaza. ^{[ 2 ]} El entrenamiento conjunto puede funcionar con texto "sin etiquetar" que no ha sido clasificado ni etiquetado previamente , lo cual es típico del texto que aparece en páginas web y correos electrónicos. Según Tom Mitchell, "Las características que describen una página son las palabras en la página y los enlaces que apuntan a esa página. Los modelos de entrenamiento conjunto utilizan ambos clasificadores para determinar la probabilidad de que una página contenga datos relevantes para los criterios de búsqueda". El texto en los sitios web puede juzgar la relevancia de los clasificadores de enlaces, de ahí el término "entrenamiento conjunto". Mitchell afirma que otros algoritmos de búsqueda tienen una precisión del 86%, mientras que el entrenamiento conjunto tiene una precisión del 96%. ^{[ 6 ]}

El entrenamiento conjunto se utilizó en FlipDog.com, un sitio de búsqueda de empleo, y por el Departamento de Trabajo de los Estados Unidos , para un directorio de educación continua y a distancia. ^{[ 6 ]} Se ha utilizado en muchas otras aplicaciones, incluyendo el análisis estadístico y la detección visual. ^{[ 7 ]}

Notas

• Chakrabarti, Soumen (2002). Minería de la web: Descubriendo conocimiento a partir de datos hipertextuales . Morgan-Kaufmann Publishers. pág.  352. ISBN 978-1-55860-754-5.
• Nigam, Kamal; Rayid Ghani (2000). "Análisis de la efectividad y aplicabilidad de la formación conjunta". Actas de la Novena Conferencia Internacional sobre Gestión de la Información y el Conocimiento . Nueva York, EE. UU.: ACM: 86–93 . CiteSeerX 10.1.1.37.4669 . 
• Abney, Steven (2007). Aprendizaje semisupervisado para la lingüística computacional . CRC Computer Science & Data Analysis. Chapman & Hall. pág.  308. ISBN 978-1-58488-559-7.
• Wang, William Yang; Kapil Thadani; Kathleen McKeown (2011). Identificación de descripciones de eventos mediante entrenamiento conjunto con resúmenes de noticias en línea (PDF) . Quinta Conferencia Internacional Conjunta sobre Procesamiento del Lenguaje Natural (IJCNLP 2011). AFNLP y ACL.

• Conferencia de Tom Mitchell que introduce el co-entrenamiento y otros métodos de aprendizaje automático semi-supervisado para su uso en datos no etiquetados.
• Conferencia de Avrim Blum sobre aprendizaje semisupervisado, incluyendo la formación conjunta.
• Grupo de formación conjunta en el Centro de Ciencias del Aprendizaje de Pittsburgh