Regresar

Procesamiento de archivos fuente de datos que provienen de las estaciones hidrometeorológicas automáticas

Abstract:

Este proyecto tiene como finalidad realizar el procesamiento de archivos fuente de datos que provienen de las estaciones hidrometeorológicas automáticas del Instituto Nacional de Meteorología e Hidrología del Ecuador. Los archivos fuentes que transmiten las estaciones automáticas del INHAMI se receptan en el servidor cada minuto. Estos archivos contienen toda la información programada por los datalogger que incluyen en promedio 60 parámetros meteorológicos. Por lo tanto, este trabajo realizó el desarrollo de un programa para detectar archivos con errores, en función de las reglas establecidas por la institución. Los principales errores que se consideraron son archivos vacíos, con otros formatos, etc. Después de descartar los archivos con errores, se procesan los datos y se los almacena en una DB. La metodología empleada para el desarrollo del proyecto fue SCRUM. De esta forma, se logró cumplir con los requerimientos solicitados por parte de los usuarios finales del programa. Las herramientas empleadas para el desarrollo del proyecto incluyen el uso de software libre como Phyton con sus librerías Pandas y Numpy, las cuales facilitaron el cálculo y procesamiento de datos. De igual forma, se usó PostgreSQL para la base de datos. También mediante el uso de multiproceso los resultados que se obtuvieron al trabajar con ello demuestran ser factibles para este proyecto. De acuerdo a los resultados se logró disminuir la frecuencia de llegada de los archivos fuente, aumentado el tiempo de recepción a cinco minutos, de esta forma, se evita la congestión del servidor. Además, se logró filtrar los archivos (.rep), descartando ficheros con errores. Esto facilita la depuración de la información antes de que sea almacenada en la base de datos.