Um ambiente extensível de apoio à construção de ferramenta ETL

Abstract

A maioria das organizações tem feito uso da tecnologia para controlar os seus negócios. Isto tem implicado num crescente número de sistemas transacionais que estão gerando um grande volume de dados. Devido à necessidade de uma melhor gestão, as organizações estão sendo forçadas a se tornarem mais competitivas, o que as têm levado a explorar o potencial informacional destes seus dados operacionais, extraindo-lhes informações estratégicas e gerenciais que estão sendo armazenadas em Data Warehouse e Data Marts. Durante o ciclo de desenvolvimento destes Data Warehouses, a etapa que consome maiores esforços e recursos é a implementação do processo ETL, do acrônimo em inglês Extract, Transform and Load. Por isto, muitas organizações estão optando pelo uso de ferramentas específicas, projetadas para auxiliar o desenvolvimento do processo de povoamento dos Data Warehouse. O fato é que estas ferramentas são muitas vezes onerosas e nem sempre atendem a todos os requisitos definidos para o processo ETL e por isto a necessidade de se criar um ambiente mais flexível e capaz de fornecer uma solução ajustada à realidade de cada projeto. Este trabalho visa apresentar um ambiente extensível capaz de oferecer um framework open source para a construção de ferramentas ETL. Este ambiente permite a implementação de funcionalidades voltadas ao processo ETL e a incorporação de novas estruturas e componentes de forma colaborativa e ordenada, criando um ciclo de desenvolvimento evolutivo e compartilhado. O material foi montado de forma que os primeiros textos exibem os principais conceitos sobre Data Warehouse. Em seguida, é apresenta uma pesquisa onde foram levantados os aspectos avaliativos a serem adotados pelas organizações durante a aquisição de ferramentas ETL e mostradas as principais características de algumas ferramentas disponíveis atualmente. A dissertação termina descrevendo o ambiente de apoio à construção de ferramentas ETL, através de sua arquitetura, suas funcionalidades e seus aspectos evolutivos.