Um estudo comparativo de ferramentas para perfilamento de dados em larga escala

Abstract

O crescimento exponencial na geração de dados, impulsionado por sistemas digitais, sensores e plataformas em rede, tem transformado o cenário da engenharia de dados, especialmente com o advento do paradigma Big Data. Nesse contexto, a compreensão e a qualidade dos dados assumem papel estratégico para organizações que buscam decisões fundamentadas em evidências confiáveis. O data profiling, entendido como o processo sistemático de extração de metadados estatísticos e estruturais, emerge como etapa crítica para a inspeção, limpeza e integração de dados, sobretudo em ambientes caracterizados por grande volume e diversidade de formatos. No entanto, a aplicação prática do data profiling em cenários de Big Data ainda carece de estudos que combinem rigor técnico e análise funcional. Este trabalho apresenta um estudo funcional e comparativo de três ferramentas de data profiling com suporte a ambientes de dados em larga escala. A partir de critérios metodológicos de seleção e de um checklist funcional baseado em literatura especializada, as ferramentas são avaliadas quanto às suas funcionalidades e desempenho frente a conjuntos de dados públicos representativos. Os resultados obtidos permitem identificar as vantagens, limitações e melhores contextos de uso de cada solução, contribuindo para a escolha fundamentada de ferramentas de data profiling em projetos de engenharia de dados.