HaFT: uma ferramenta para interação natural

Abstract

Nesta dissertação é apresentada uma ferramenta para o rastreamento de mãos e faces, apelidada de HAFT como abreviação para o nome na língua inglesa Hand and Face Tracker. O rastreamento se dá através do gerenciamento de nuvens de pontos da imagem, tendo como destaque um resultado robusto com uma taxa de atualização interativa. Para detectar e seguir mãos e faces, HAFT faz uso de modelos de segmentação de cor de pele, classificadores de Haar, e processos como agrupamento (labeling), extração de arestas, operadores morfológicos, análise do fluxo ótico, entre outros algoritmos de visão computacional. Como estudo de caso, a ferramenta de rastreamento proposta é aplicada em um cenário de interação baseada em gestos, dentro do contexto de jogos musicais, através do jogo intitulado Guitars on Air. Além de propor um desafio real no setor de entretenimento, o estudo de caso é apresentado como uma aplicação para avaliação de ferramentas de rastreamento, promovendo uma análise tanto individual, quanto comparativa. Desta forma, HAFT é analisado em paralelo a dois outros métodos de interação por gestos: o primeiro através do uso de luvas de cor laranja, e o segundo através do sensor de profundidade Kinect.