Regresar

Diseño e implementación de un sistema virtual de detección de la pose 3D de un objeto mediante técnicas de aprendizaje profundo para aplicaciones robóticas.

Abstract:

El presente proyecto realiza el diseño de un sistema virtual detector de la pose 3D de objetos mediante técnicas de aprendizaje profundo para aplicaciones robóticas, esto con el fin de proveer una herramienta académica-práctica a los estudiantes en su educación virtual. Se plantea una arquitectura del sistema virtual manejada en cuatro etapas, desde la generación de un conjunto de datos mediante el enfoque de imágenes sintéticas fotorrealistas y de aleatorización de dominio. La siguiente etapa hace referencia al método de aprendizaje profundo para el entrenamiento de redes neuronales convolucionales sobre el marco de aprendizaje Pytorch previa la selección de hiperparámetros que permiten a la red realizar una abstracción de las características del objeto. La tercera etapa integra el detector de pose 3D para conseguir los valores de posición y orientación del objeto en tiempo real, la inferencia del detector trabaja sobre imágenes publicadas por el entorno virtual o en tiempo real desde la cámara web del ordenador. Finalmente, se realiza la comunicación de estas etapas mediante sistemas operativos de robots para el envío de los resultados obtenido por el detector hacia el brazo robótico Mitsubishi RV-2SDB previo el cálculo de su configuración de cinemática inversa para la ejecución de la aplicación de recoger y colocar objetos en el entorno virtual. Los resultados obtenidos en la detección de pose indican buenos resultados en imágenes del mundo exterior con datos sintéticos como en el agarre de objetos sobre el entorno virtual, con un buen grado de satisfacción e interés por los usuarios de destino.