Robotic System for Picking Objects in Online Shopping Warehouses (RoboPicker)

RoboPicker addresses the problem of automating the picking process in online shopping warehouses. Specifically, we follow the model of Amazon.com, which leverages cutting-edge advances in technology and has recently deployed thousands of mobile robots from Kiva Systems, removing much of the walking and searching for items within a warehouse.
However, commercially viable automated picking in unstructured environments by a robot arm still remains a difficult challenge. The goal is a system with a robotic arm that visually selects, among the objects in an inventory shelf, those that are part of an order, picks them and puts them in a basket. The challenge combines object recognition, pose recognition, grasp planning, compliant manipulation, motion planning, task planning, task execution, and error detection and recovery. The research team members belong to the RobInLab at Jaume I University (UJI), having experience in all these disciplines and having developed systems such as the UJI Librarian Robot. The overall objective of this project is to develop a robotic system for picking items in online shopping warehouses and, more specifically, a system in accordance with the recent specifications proposed to the scientific community by Amazon under the name Amazon Picking Challenge. That is, given a model of a Kiva shelf with 12 bins, a set of possible items placed on them at random, and an order composed of a subset of those objects, develop a prototype able to pick the objects in the order and place them in a box in minimal time. The difficulty in terms of the arrangement, number and nature of objects in the set will increase throughout the project, taking as a starting point the 25 proposed by Amazon. The reasons for the difficulty of the challenge arise from the fact that it is a real warehouse environment, in a restricted space, with several objects inside a small bin, poor visibility and accessibility, poor maneuverability and manipulability, which requires arm configurations badly kinematically conditioned, with ordinary objects of disparate forms and sizes, such as a duck bath toy in a plastic bag, a box of cookies, or a bag of balls. This challenge competition took place in Seattle last May with the participation of RobInLab as the sole Spanish representative among 31 teams from prestigious institutions. The developed prototype will be adapted from a Baxter Rethink Robotics robot, and will be subjected to a thorough evaluation, validation and demonstration process in a relevant environment that faithfully reproduces the conditions of the final application. We will also continue with some more theoretical research lines seeking to suggest ideas and proofs of concept that can help improve the different approaches to the problems posed by the challenge. The proposal is part of the challenge "Economy and digital society", and information and communications technologies.

KEY WORDS: humanoid robot, object recognition, grasping, compliant manipulation, online shopping, picking, 3D vision, task planning

(Spanish)

Sistema robótico para recoger artículos en almacenes de venta online (RoboPicker)

RoboPicker aborda el problema de la automatización de la operación de recogida -o picking- de artículos en almacenes de empresas de venta online. Más concretamente, tomamos como modelo la empresa Amazon.com, que aprovecha los últimos avances tecnológicos y recientemente ha incorporado miles de robots móviles de Kiva Systems, evitando que sus empleados tengan que caminar muchas millas al día en sus almacenes. Aun así, la recogida de artículos de los estantes por un brazo robot sigue siendo un reto difícil en entornos no estructurados. En la actualidad, se puede afirmar que el picking dista mucho de ser un proceso automatizado comercialmente viable. Se trata de que un sistema con un brazo robótico seleccione visualmente, entre los objetos presentes en un estante de inventario, aquellos que forman parte de un pedido, los coja y los deposite en una cesta para su posterior empaquetado y envío al cliente. La solución de este reto requiere combinar conocimientos de diversas disciplinas, a saber: reconocimiento de objetos y de la pose, planificación del agarre, manipulación complaciente, planificación del movimiento y de tareas, y detección y recuperación de errores. Los miembros del equipo investigador forman parte del grupo RobInLab de la Universidad Jaume I (UJI), que tiene experiencia en todas esas disciplinas y ha desarrollado sistemas como el Robot Bibliotecario de la UJI. El objetivo general de este proyecto es el desarrollo de un sistema robótico para recoger artículos en almacenes de venta online y, de manera más concreta, un sistema que siga las especificaciones del reciente desafío propuesto por Amazon a la comunidad científica bajo el nombre de Amazon Picking Challenge. Es decir, dado un modelo de una estantería Kiva con 12 compartimentos, un conjunto de posibles artículos colocados en ellos al azar, y un pedido compuesto por un subconjunto de esos objetos, desarrollar un prototipo capaz de coger los objetos del pedido y colocarlos en una caja en un tiempo mínimo.
La dificultad en cuanto a la disposición, número y naturaleza de objetos en el conjunto irá aumentando a lo largo del proyecto, tomado como punto de partida los 25 propuestos por Amazon. Las razones que justifican la dificultad del reto se derivan de que se trata de un entorno real de un almacén, en un espacio restringido, con varios objetos en el interior de un reducido hueco, poca visibilidad y accesibilidad, poca maniobrabilidad y manipulabilidad, que obliga a configuraciones del brazo mal condicionadas cinemáticamente, con objetos ordinarios de formas y tamaños muy dispares, tales como un patito de goma en una bolsa de plástico, una caja de galletas o una bolsa con tres pelotitas. La competición de este desafío tuvo lugar en Seattle en mayo pasado con participación del RobInLab como único representante español entre 31 equipos de prestigiosas instituciones. El prototipo a desarrollar se adaptará a partir del robot Baxter de Rethink Robotics, y será sometido a un proceso exhaustivo de evaluación, validación y demostración en un entorno relevante que reproduzca fielmente las condiciones de la aplicación final. Se continuará también con algunas líneas de investigación más teóricas de cara a sugerir ideas y pruebas de concepto que puedan contribuir a mejorar los distintos métodos para abordar los problemas que el desafío plantea. La propuesta se enmarca en el reto Economía y sociedad digital, y las tecnologías de la información y las comunicaciones.

 PALABRAS CLAVE: robot humanoide,reconocimiento objetos,agarre, manipulación complaciente,venta online,picking,vision 3D,planificación tareas

 

 

Start date: 
Friday, 1 January, 2016
Finish date: 
Tuesday, 31 December, 2019