Método robusto à oclusão para rastreamento 6-DOF de objetos em imagens RGB-D com otimização por enxame de partículas

Abstract

Rastreadores visuais podem ser usados para determinar a trajetória de objetos 3D rígidos com 6 graus de liberdade em tempo real. Essa funcionalidade é necessária para vários tipos de aplicações, como em realidade aumentada ou robótica, e sua eficiência muitas vezes está relacionada com a acurácia, a robustez a falha e o desempenho de tempo desses rastreadores. Nos últimos anos, vários trabalhos contribuíram para a melhoria dessas técnicas, apresentando métodos acurados que são executados em tempo real, dentre os quais se destacam aqueles baseados em otimização, baseados em aprendizagem e híbridos, ou seja, que utilizam otimização e aprendizagem de forma cooperativa. Neste contexto, o presente trabalho propõe melhorias no rastreamento com 6 graus de liberdade de objetos 3D arbitrários que usa otimização por enxame de partículas. Dentre elas, destacam-se: o aperfeiçoamento da função de aptidão usando média harmônica das coordenadas 3D, cor e normais dos pontos; a seleção dinâmica da região de interesse na nuvem de pontos da cena; a filtragem dos pontos visíveis do modelo considerando a auto-oclusão e a oclusão por outros objetos da cena; o cálculo das fronteiras do subespaço de soluções em tempo de execução, observando a inércia do objeto alvo; a filtragem de poses em tempo de execução a partir da trajetória encontrada; e a implementação da otimização por enxame de partículas completamente em GPU. Experimentos mostraram que tais mudanças possibilitaram melhorias na robustez a falhas, na acurácia e no desempenho de tempo da técnica. Quando comparado com métodos presentes no estado da arte, o rastreador proposto nessa tese foi, em média, 19, 3% e 16, 3% mais acurado em relação aos erros de translação e rotação, respectivamente, e apresentou um número de falhas 78, 4% menor. O rastreador proposto ainda foi de 5 a 7 vezes mais rápido que uma técnica existente baseada em otimização por enxame de partículas.