DQ-Mesh : Fotografia 3D com imagem única em dispositivos mobile

Abstract

Apesar do crescente avanço e desenvolvimento de técnicas de aprendizagem profunda na construção de modelos 3D utilizando fotografias, ainda é um problema bastante desafiador. Mesmo com as constantes melhorias em técnicas de estimação de profundidade e de preenchimento de cor, os trabalhos atuais tem focados em adaptar novas arquiteturas à construção das estruturas 3D para renderização. Logo, esses métodos podem ter um elevado custo computacional dificultando a implementação em dispositivos mobile. Além disso, os métodos com abordagem NeRF (Neural Radiance Fields), que são o atual estado da arte em fotografia 3D, precisam de um grande número de imagens e posições de câmera para obter uma modelagem acurada. Neste trabalho propomos o DQ-Mesh (Depth-based Quadtree Mesh), que consiste em um método de construção de uma estrutura mesh utilizando apenas um estimador de profundidade e um modelo de preenchimento de cor. Diferente dos métodos no estado da arte, esse método não precisa de treinamento para a construção da estrutura 3D, utilizando apenas o mapa de profundidade como referencia. Assim, o foco das otimizações para embarcar em dispositivos com menor capacidade computacional recai sobre os algoritmos de estimação de profundidade e preenchimento de cor. Os experimentos em conjuntos de dados reais mostram que o desempenho do nosso método proposto tem desempenho comparável aos atuais modelos no estado da arte.