Regresar

Masked language modeling y fine tuning con los modelos Bert y XLM-RoBERTa en la evaluación de la pbkp_redicción de las palabras complejas en el idioma inglés.

Abstract:

Este proyecto pretende la realizacion de la evaluación de los modelos basados en Transformers: BERT, XLM-RoBERTa ejecutado con las técnica Masked language modeling y Fine tuning aplicados al idioma inglés, con el objetivo de evaluar el nivel de pbkp_redicción de las palabras complejas en el idioma inglés aplicando redes neuronales profundas. Estos modelos pre- entrenados se ejecutaron con el corpus CompLex proporcionado por la competencia The 15th International Workshop on Semantic Evaluation- SemEval-2021 que a su vez también procederán ser entrenados y evaluados por los diferentes algoritmos para obtener la pbkp_redicción de la complejidad Léxica. Una vez obtenidos los resultados de las diferentes ejecuciones de los modelos pre-entrenados y ajustados de los modelos Transformers se evaluará su desempeño para determinar los mejores resultados de la pbkp_redicción de la complejidad léxica del idioma inglés. Se ha realizado una contribución adicional en esta investigación añadiendo otros modelos como son RoBERTa BASE, RoBERTa LARGE y XLM-RoBERTa LARGE para observar el comportamiento de estos modelos en la búsqueda de la precisión del nivel de complejidad de las palabras en inglés.