Gaze preservation on artificially generated faces for privacy compliance

Abstract

Muitos geradores de face são baseados em técnicas como GANs (Generative Adversarial Networks) ou modelos de difusão, que podem criar artificialmente rostos humanos realistas e de aparência natural. Estas técnicas têm um grande potencial para a privacidade, pois podem substituir os identificadores biométricos de alguém. No entanto, ao substituir o rosto, grande parte da utilidade da imagem, como estimar a direção do olhar, também pode ser perdida. Embora a estimativa do olhar seja crucial em algumas aplicações, como no monitoramento do motorista ou de pedestres em cenários automotivos, a literatura sobre geradores de faces não possui métricas ou benchmarks relacionados a esse assunto. Desenvolvemos o MetaGaze, um conjunto de dados anotado com quase 70.000 imagens de 30 rostos sintéticos de modelos de pessoas disponíveis no MetaHuman, na plataforma Unreal. Analisamos duas técnicas populares de geração de rosto, DeepPrivacy2 e GANonymization, usando nosso conjunto de dados, MetaGaze, e um conjunto de dados de direção de olhar no contexto veicular, DMD, junto com um estimador de olhar , L2CS, para medir a preservação do olhar. Aplicamos duas estratégias para melhorar a preservação do olhar: modificamos a entrada condicional da técnica base e fizemos fine-tuning no modelo do GANonimização, adicionando nosso conjunto de dados ao treinamento para aumentar a diversidade de ângulos de olhar disponíveis no conjunto de treinamento. Nossos experimentos demonstraram que o fine-tuning com MetaGaze reduziu o erro absoluto médio na preservação do olhar de 10.8∘ graus para 7.9∘ graus em pitch e de 6.4∘ graus para 5.9∘ graus em yaw em comparação com o modelo original de GANonymização. Além disso, indicamos que os cenários mais desafiadores para a preservação do olhar são ângulos de câmera acima de 10∘ graus, direções do olhar acima de 30∘ graus, FOV de 60∘ graus e olhos semicerrados. O conjunto de dados, MetaGaze, está disponível de forma pública em <www.zenodo.org/records/13345194>.