Ferramentas para construção e consultas a um DW

Etapas e componentes da implantação de um ambiente de apoio à decisão

O processo de criação de um ambiente que suporte adequadamente a tomada de decisões corporativas envolve a construção de um grande repositório de dados, o DW, que é realizado em diversas etapas e utiliza ferramentas de apoio específicas, que podem ser resumidas em:

1. Fontes de dados: os dados podem vir de sistemas transacionais, de ERPs (sistemas integrados de gestão), de sistemas legados ou de diversas outras fontes, como bancos de dados transacionais, planilhas e arquivos-texto.
2. ETL: os dados são extraídos das diversas fontes, transformados e carregados nos DMs e/ou no DW por meio de ferramentas especiais que realizam o processo de ETL.
3. Ferramentas OLAP: “navegam” nos dados do DW para realizar pesquisas e apresentar as informações de forma adequada aos tomadores de decisão.
4. Ferramentas de análise de big data e data mining: ferramentas para análise de big data e de mineração de dados procuram padrões ocultos, utilizando modelos matemáticos, nas coleções de dados de forma a transformá-los em informações úteis para se prever tendências e comportamentos futuros e se alcançar metas de negócios específicas. Dentre as ferramentas de data mining encontram-se as de text mining, que procuram padrões ocultos nos arquivos de textos puros, e as de web mining, que procuram os padrões em páginas da web.
5. Ferramentas de monitoramento: as ferramentas de monitoramento e visualização são mais fáceis de serem implementadas quando os dados estão armazenados em um DW. As ferramentas OLAP também podem se beneficiar do DW mostrando as informações de forma tridimensional, ou na forma de cubos.

A figura ilustra estas etapas.

Etapas para implantação de um ambiente de suporte à decisão.

Fonte: Elaborado pela autora

Nas seções seguintes, os conceitos e definições de data mart, processo de ETL, OLAP, big data, data mining, incluindo text e web mining, e ferramentas de monitoramento serão apresentados.

Extract, Transform and Load (ETL)

ETL (Extract, Transform and Load ou Extração, Transformação e Carga) é o processo de extrair os dados de uma ou várias fontes, transformá-los de alguma forma sem alterar seu conteúdo e inseri-los em outro banco de dados, que, no caso de nosso estudo, é o DW.

Os processos ETL são considerados como uma das fases mais complexas do ciclo de vida do DW, pois envolve diversas fontes de dados, transformações e critérios de qualidade que preparam os dados para o DW. Estes processos são realizados através de automatizações que podem ser programadas (scheduling) para execução diária, semanal, mensal, dentre outras possibilidades.

O ETL consiste na extração de dados dos sistemas transacionais, transformação e carga destes dados de acordo com as regras de negócio da empresa, garantindo o controle de qualidade dos dados para sua publicação e posterior uso.

(Fonte: traduzido de KIMBALL e CASERTA, 2004)

O processo de ETL para a construção de um DW pode contar ou não com uma staging area ou ODS (Operational Data Store), sendo uma decisão do projeto. De acordo com Machado (2012, p. 39), em projetos que envolvam vários tipos de bancos de dados ou diferentes plataformas nos quais as fontes de dados estejam distribuídas, a staging area torna-se muito importante para que os dados possam ser ali integrados e limpos.

A figura ilustra o processo de ETL com staging area.

Processo ETL usando staging area.

Fonte: <dbbest.com>