Regresar

Evaluación de desempeño de los modelos transformadores para la predicción de la complejidad léxica para el Idioma Español.

Abstract:

La presente investigacion plantea la exploracion y evaluacion de los diferentes modelos de Transformers aplicados para el idioma español las cuales son BERT, XML-RoBERTa y RoBERTa-Large-BNE con el objetivo de evaluar el nivel de prediccion de las palabras complejas de los textos en español. Estos modelos pre-entrenados serán ejecutados con un corpus previamente creado de los textos Universitarios en español- ClexIS2 aplicando el algoritmo pre-entrenado generico del codigo abierto de cada Transformers. Esto permitiendo la generacion de embedding(incrustaciones-encodings) para la creacion de los Datasets que previamente seran enntrenados por los diferentes algoritmos de Machine Learning, obteniendo la prediccion de la complejidad Léxica(LCP).Ya realizado la exploracion de los Transformers se procedera a la realizacion del ajuste fino a cada modelo mediante la ejecucion de la tecnica de Fine-Tuning sobre los modelos pre-entrenados para la generacion de los Datasets basados en las nuevas representaciones numericas, que a su vez tambien procederan ser entrenados y evaluados por los diferentes algoritmos para obtener la prediccion de la complejidad Léxica.Ya obtenido los resultados de las diferentes combinaciones de los modelos pre-entrenados y ajustados de los modelos Transformers se evaluara su desempeño para determinar los mejores resultados de la prediccion de la complejidad Lexica del idioma español.