Análisis y uso de las herramientas de Hadoop para procesar Big Data

Abstract:

El presente trabajo de investigación se lo realiza tomando de base Hadoop como núcleo central del procesamiento de Big Data. Dentro del ecosistema de Hadoop existen varias herramientas Open Source que facilitan la manipulación y uso de grandes volúmenes de datos, y se ha seleccionado sus 4 principales herramientas las cuales han sido agrupadas en dos casos de estudio: Flume con Hive para el caso de estudio 1, y Sqoop con Pig para el caso de estudio 2. En ambos casos de estudio, se ha seleccionado para análisis los datos generados en la red social Twitter durante la primera y segunda vuelta electoral del 2017. Estos datos generados han sido obtenidos, almacenados, procesados y analizados para cumplir con las características que forman parte de la información que es considerada Big Data. Las herramientas seleccionadas han sido evaluadas en su arquitectura, instalación, uso y funcionalidad para diseñar un prototipo de usabilidad el cual agrupa la funcionalidad de las 4 herramientas de Hadoop; esto con el fin de facilitar su uso al usuario mediante un solo aplicativo entendible y fácil de manejar.

Año de publicación:

2017

Keywords:

• Sqoop
• pig
• BIG DATA
• MySQL
• Hive
• PROTOTIPO
• TWEETS
• Twitter
• Ingeniero en informática -Tesis y disertaciones académicas
• Hadoop
• Flume

Fuente:

rraae