Regresar

Masked language modeling y fine tuning con los modelos Bert y XLM-RoBERTa en la evaluación de la predicción de las palabras complejas en el idioma inglés.

Abstract:

Este proyecto pretende la realizacion de la evaluación de los modelos basados en Transformers: BERT, XLM-RoBERTa ejecutado con las técnica Masked language modeling y Fine tuning aplicados al idioma inglés, con el objetivo de evaluar el nivel de predicción de las palabras complejas en el idioma inglés aplicando redes neuronales profundas. Estos modelos pre- entrenados se ejecutaron con el corpus CompLex proporcionado por la competencia The 15th International Workshop on Semantic Evaluation- SemEval-2021 que a su vez también procederán ser entrenados y evaluados por los diferentes algoritmos para obtener la predicción de la complejidad Léxica. Una vez obtenidos los resultados de las diferentes ejecuciones de los modelos pre-entrenados y ajustados de los modelos Transformers se evaluará su desempeño para determinar los mejores resultados de la predicción de la complejidad léxica del idioma inglés. Se ha realizado una contribución adicional en esta investigación añadiendo otros modelos como son RoBERTa BASE, RoBERTa LARGE y XLM-RoBERTa LARGE para observar el comportamiento de estos modelos en la búsqueda de la precisión del nivel de complejidad de las palabras en inglés.