Etapas de implantação de um DW

 O que são metadados?

O prefixo “Meta” vem do grego e significa “além de”. Assim Metadados são informações que são acrescidas aos dados e que têm como objetivo informar-nos sobre eles para tornar mais fácil a sua organização.

Os metadados têm tradicionalmente sido vistos como separados do núcleo duro da informação, ou seja, a que está relacionada com as transações de negócio. O que não quer dizer que não sejam importantes. Definições e regras de negócio, detalhes de segurança, informação de domínios, tags XML são metadados.

A sua utilização estende-se, no entanto, a outros campos além da gestão documental. Por exemplo, a tecnologia Data Warehouse consiste em extrair e consolidar dados de múltiplas fontes em uma base de dados que possa ser consultada de várias maneiras pelos usuários com ferramentas de suporte à decisão. Os metadados são, neste contexto, um instrumento essencial para a gestão do repositório e incluem informações como lista de conteúdo, origem dos dados, transformações (como filtragens ou cálculos efetuados na transferência para a localização atual), versão, modelos de dados etc.

Os metadados podem ser estruturados ou não estruturados. Exemplo de não estruturados: o índice produzido por um sistema de indexação e pesquisa em texto integral. Estruturados são, por exemplo, um sistema de classificação de arquivo ou o dicionário de dados de um SGBD. (METADADOS, 2002)

Metadados podem ser basicamente definidos como “dados que descrevem os dados”, ou seja, são informações úteis para identificar, localizar, compreender e gerenciar os dados. Quando documentamos os metadados e os disponibilizamos, estamos enriquecendo a semântica do dado produzido, agregando seu significado real, e dando suporte à atividade de Administração de Dados executada pelo produtor desse dado. No caso do IBGE, que produz dados, os metadados são fundamentais. O Sistema de Metadados do IBGE visa facilitar o acesso do público em geral às informações produzidas pelo IBGE, descrevendo seu acervo institucional. Através desse sistema é possível verificar características e documentos relacionados aos produtos do Instituto. Navegando pelos metadados, o usuário do sistema pode localizar, interpretar e acessar os dados disponíveis nos sistemas de informação do IBGE. (IBGE, 2018)

Metadados

Fonte: seekeaw rimthong/Shutterstock.

De acordo com Macedo (2011),

a limpeza dos dados é um importante aspecto da criação de um DW eficiente. Devem ser removidos certos aspectos dos dados operacionais que podem atrasar muitas consultas. O estágio de limpeza deve ser o mais dinâmico possível para acomodar todos os tipos de consulta, mesmo aquelas que requerem informações de baixo nível. Os dados devem ser extraídos de fontes de produção em intervalos regulares de tempo e concentrados de maneira centralizada, mas é importante que o processo de limpeza remova duplicações e normatize as diferenças entre os atributos dos dados.

Oliveira e Felipe (2014) afirmam que

somente após o processo de limpeza é que os dados podem ser transferidos para o DW. O DW é tipicamente um grande repositório de dados em um sistema de alta performance, do tipo SMP- Symmetric Multi-Processing ou MPP- Massively Parallel Processing, ou seja, sistemas multiprocessados ou paralelos. Somente um sistema com alto poder de computação pode garantir a eficiência do processo de implantação de um data warehousing, dada a complexidade envolvida no processamento e consultas e dada a grande quantidade de dados que geralmente a organização deseja armazenar.

Etapas de implantação de um DW

A implementação de um projeto de DW depende de ações políticas e técnicas. No campo político, é necessário que exista o suporte da alta direção da empresa e o comprometimento dos gerentes e analistas de negócios. No campo técnico existem diferentes abordagens de implementação que devem ser analisadas para que a escolha possa ajudar que os benefícios do projeto possam ser mais rapidamente visíveis e acelerar o processo de obtenção de apoio interno.

Um DW deve estar em consonância com as necessidades de negócio da empresa. Assim, a área de negócio deve ser a patrocinadora da iniciativa. Muitos projetos iniciados pela área de sistemas ou de TI fracassaram por não terem o apoio político necessário da direção da empresa ou por não terem definido um caso de negócio concreto.

Para implantar um projeto de DW, uma das primeiras atividades é a extração dos dados, que têm origem em diversas fontes com diferentes formatos. Após a extração, os dados são transformados e carregados no DW. Este processo é denominado ETL (Extract, Transformation, Load). Os dados podem ser inseridos no DW e depois transferidos para os DMs, ou os DMs podem ser criados antes do DW, com dados específicos de cada departamento da empresa, e depois transferidos para o DW. O DW é um repositório de dados multidimensional e dá suporte às ferramentas OLAP que extraem informações dos dados, permitindo que a análise dos negócios da empresa seja realizada. Essa análise apoia os tomadores de decisão, fornecendo aos gestores respostas rápidas para as questões mais importantes para os negócios.

A figura ilustra as etapas de elaboração de um DW.

Etapas e componentes do processo de implantação de um DW.

Fonte: <flavioaf.files.wordpress.com>.

De acordo com a UEM (2011),

A primeira fase do processo de data warehousing consiste em “isolar” a sua informação operacional atual, preservando a segurança e integridade de aplicações de OLTP críticas ao mesmo tempo em que permite o acesso à mais ampla possível base de dados. O banco de dados ou data warehouse resultante pode consumir centenas de gigabytes - ou mesmo terabytes - de espaço em disco. O que é necessário então são técnicas eficientes para armazenar e acessar grandes quantidades de informação. Além disso, grandes organizações analisaram que somente sistemas de processamento paralelo podem oferecer largura de banda suficiente para estas aplicações.

O DW reúne dados que são extraídos de diferentes bancos de dados, e estes dados são transformados e enviados para o DW de forma seletiva. Sempre que uma atualização nos dados do DW é requerida, é necessário que ocorra novamente o processo de transformação e movimentação de dados, portanto, é importante que isso seja feito de forma automatizada, controlada e bem gerenciada.

Um outro conceito importante ligado ao DW são os metadados. Os metadados se referem à informação que descreve o modelo e a definição dos elementos das fontes de dados, sendo os meios que permitem que o usuário final possa compreender o que representam os dados no DW.

Pessoas envolvidas no processo de data warehousing

Por sua abrangência, o processo de data warehousing envolve desde profissionais de TI até analistas de negócios que podem ser considerados usuários do ambiente.

 Equipes.

 

Fonte: Rawpixel.com/ Shutterstock.

Esse ambiente inclui administradores do projeto, administradores de dados, projetistas de banco de dados, administradores de bancos de dados e dos sistemas operacionais, que têm uma importância muito grande no processo de integração entre os ambientes transacionais e os ambientes dimensionais. Há também os programadores e os analistas de sistemas para a extração e limpeza dos dados, além dos analistas dos aplicativos, que acessarão as informações, e os usuários finais.

De acordo com Machado (2012, p. 32), essas pessoas encontram-se agrupadas por papéis da seguinte forma:

• Analistas responsáveis pela carga dos dados: representam os programadores que necessitam conhecer o mapeamento entre o DW e os sistemas transacionais, além de todos os requisitos necessários à filtragem e à integração dos dados.
• Usuários finais: são os gerentes, executivos e analistas de negócio que utilizam a informação para apoio à tomada de decisão. Esses usuários apresentam uma grande familiaridade com os termos do negócio e estão sempre em busca da solução de um problema ou de novas oportunidades. Eles podem ser divididos em dois grupos: os usuários diretos e os usuários indiretos. Os usuários diretos são aqueles que acessam livremente o DW como um todo e os usuários indiretos acessam os data marts (DMs) especializados.
• Analistas responsáveis pelo desenvolvimento e manutenção do DW e dos DMs: equivalem aos administradores de bancos de dados e administradores de dados dos SGBDs. Estabelecem o nível de preocupação com os metadados, com a arquitetura de armazenamento e com a estrutura dos dados, visando, principalmente, melhorar o desempenho das consultas. É comum o estabelecimento de equipes diferentes para os dois ambientes.
• Administradores de dados: têm um papel de fundamental importância nesse contexto novo, pois seu papel de integrador dos ambientes transacional e dimensional é fator de garantia de qualidade e da existência íntegra do DW, por meio de metodologias de acompanhamento e administração dos metadados entre os sistemas transacionais e seu processo de manutenção de extração, transformação e carga do DW.

Características de um DW

De acordo com Inmon (1997), que é considerado o criador do conceito de data warehousing, existem basicamente quatro características que descrevem um DW:

• Orientado ao assunto: os dados são organizados de acordo com o assunto ao invés da aplicação.
• Integrado: todos os atributos e convenções de tipos são unificados e integrados, de forma que signifiquem sempre a mesma coisa.
• Variação em relação ao tempo: há espaço para o armazenamento de dados que têm cinco, dez ou mais anos, de forma que possam ser utilizados em comparações, tendências e previsões.
• Não-volatilidade: os dados não são atualizados ou modificados em nenhum momento; uma vez que entram no DW, passam a ser somente acessados, nunca alterados.

Características de um Data Warehouse

 

Fonte: <ssd.areadeservico.com>

Os dados de um DW são precisos em relação ao tempo, representam resultados operacionais realizados em um determinado momento de tempo: precisamente o momento em que foram capturados. Assim, os dados do DW são um snapshot (fotografia instantânea), um conjunto estático de registros de uma ou mais tabelas. Isso implica que não podem ser atualizados. Para ficar mais claro este conceito, imagine apenas que um dado relativo às vendas de um certo produto em um determinado mês nunca mais terá seus valores modificados.

Nos DWs, a data é um elemento essencial e um componente-chave, pois faz parte de um projeto estruturado sobre janelas do tempo. Nos DWs, os espaços de tempo são significativamente maiores do que os armazenados em um sistema transacional, situando-se entre três, cinco ou dez anos, podendo até se estenderem por maiores períodos de tempo.

Outra característica de suma importância em um DW é que todos os seus dados têm um alto nível de integração. Isso significa que um mesmo atributo não pode significar coisas diferentes em dados semelhantes. As convenções de nomes, valores de variáveis, e outros atributos físicos de dados, como tipos de dados, são formalmente unificados e integrados nessa base única. Assim, ao se referir ao sexo, por exemplo, não se podem usar valores diferentes, como “f” e “m” e “feminino” e “masculino”, ou, ainda, “0” e “1”.

Em ambientes de múltiplas plataformas, a característica de integração se torna fundamental, pois é necessária a unicidade de informações. A existência de sistemas mais antigos com padrões de codificação de dados diferentes pode levar à existência de diferentes convenções entre os sistemas operacionais. Neste caso, quando forem carregados para o DW, devem ser resolvidos pelos processos de filtragem e agregação.

No DW, os dados são organizados por assunto e contém informações importantes para o suporte à decisão. O fato de estes dados estarem organizados por assunto (como vendas, produtos, clientes etc.) permite que os usuários determinem como está o desempenho da empresa em termos de lucratividade e também permite que se determinem as razões deste desempenho.

Por exemplo, uma empresa de seguros utilizando um DW poderia organizar seus dados por consumidor, prêmio e franquia, ao invés de diferentes produtos (automóvel, vida etc.). Os dados são organizados por assunto, contendo somente as informações necessárias para o processo de suporte à decisão. (TURBAN et al., 2009)

Data warehouse

Definições de data warehouse e data warehousing

Como vimos até aqui, as ferramentas de BI têm por objetivo prover a informação certa à pessoa certa na forma certa no tempo certo .

A hierarquia das informações em uma organização empresarial começa pela coleta de dados, que são transformados em informação, mas essas informações precisam ser organizadas de tal forma que ganhem componentes “inteligentes” para que possam ser usadas em favor das melhores decisões. As ferramentas de BI reúnem os processos que tornam as informações “inteligentes”.

Mas, para que isso aconteça, é necessário que os dados sejam armazenados em repositórios diferentes dos tradicionais bancos de dados transacionais: é necessária a construção de um DW ( data warehouse) .

Os bancos de dados tradicionais são transacionais, ou seja, foram projetados para inclusões, alterações, exclusões e consultas simples aos dados. Estes bancos são conhecidos como OLTP ( O n Line Transaction Processing ), ou bancos que realizam processamento online de transações. Já os DW têm a característica distinta de que são direcionados principalmente para aplicações de apoio às decisões. Eles são otimizados para a recuperação de dados, não para o processamento rotineiro de transações.

Data warehouse .

Fonte: Aa Amie/ Shutterstock.

O DW funciona como um repositório de dados, integrando e consolidando as informações de fontes internas, que em sua maioria provêm de fontes heterogêneas e fontes externas. Além disso, os dados do DW são filtrados e limpos, permitindo que análises gerenciais e estratégicas dos principais processos de negócio sejam realizadas de forma a oferecer suporte à tomada de decisão.

“O Data Warehouse (DW) representa uma grande base de dados capaz de integrar, de forma concisa e confiável, as informações de interesse para a empresa, que se encontram espalhadas pelos sistemas operacionais e em fontes externas, para posterior utilização nos sistemas de apoio à decisão. Um DW tem, normalmente, informações sobre assuntos de negócio da empresa por um período histórico de no mínimo três anos, podendo, em alguns casos, chegar até os primeiros anos de informação, pois seu objetivo é determinar padrões de comportamento, indicadores de crescimento por tempo etc.”

(Fonte: MACHADO, 2012, p. 44.)

O DW possibilita a análise de grandes volumes de dados que são coletados de sistemas transacionais. Os dados em um DW não são voláteis, ou seja, eles têm registros permanentes e não podem ser alterados. Quando é necessário fazer correções ou atualizações, os dados obsoletos são descartados e as alterações são inseridas como novos dados (TURBAN et al., 2009).

Pela sua capacidade de armazenar grandes volumes de dados e de possibilitar importantes análises sobre estes dados, os DWs são elementos fundamentais, formando o “núcleo” dos sistemas de informações gerenciais e de apoio à decisão no ambiente de BI.

Existe um termo correlato à utilização de DWs, conhecido como data warehousing . O termo data warehousing não se refere a um produto, mas a uma estratégia que reconhece a necessidade de armazenar os dados provenientes de diferentes sistemas de informação e consolidá-los, de forma a fornecer informações aos diversos profissionais de uma empresa para que possam tomar as decisões do negócio de modo rápido e eficaz.

Geralmente o DW armazena informações sobre os processos de várias atividades do negócio, de forma que possam ser realizados cruzamentos e consolidações das diferentes unidades de negócios da empresa.

Muitas empresas necessitam criar DWs, que, como vimos, são enormes repositórios de dados, para que possam melhorar o processo de tomada de decisões. Os dados são importados de várias fontes diferentes, são “limpos” e organizados de forma adequada às necessidades da empresa. A integração dos dados permite ao executivo ter uma visão corporativa dos dados. No entanto, essa integração, ou seja, a migração dos dados mantidos pelos sistemas transacionais para o DW, não é um processo fácil, nem barato e exige muito planejamento. A figura ilustra os principais componentes necessários à criação de um DW.

Criação de um data warehouse.

Fonte: < gooddata.com.br >.

Os motivos que justificam um alto investimento para a implantação de um DW em uma organização reúnem a existência, na empresa, de:

• Várias plataformas de hardware e de software não integradas;
• Constantes alterações nos sistemas transacionais corporativos;
• Dificuldade acentuada na recuperação de dados históricos em períodos superiores ao ano em que as operações são realizadas;
• Existência de sistemas e “pacotes” de fornecedores diferentes;
• Falta de uma padronização e integração dos dados existentes nos diversos sistemas;
• Carência de documentação e segurança no armazenamento dos dados.

O resultado de um projeto de DW traz grandes benefícios à organização, dos quais se destacam:

• Informações ficam disponíveis para os gestores;
• Permite uma visão das curvas de comportamento do negócio;
• Confere agilidade às ferramentas para apoio à decisão;
• Fornece segurança e confiabilidade das informações para a decisão;
• Permite uma maior abrangência da visão dos indicadores de desempenho;
• Fornece recursos mais abrangentes para a análise de negócios;
• Necessidades e expectativas executivas são atendidas por TI.

CPM e BI

Neste ponto é interessante, fazermos uma discussão sobre as fronteiras que separam e/ou unem os conceitos de CPM e BI. Como já dissemos, o CPM, de acordo com o Gartner Group, é “um termo genérico que descreve todos os processos, metodologias, métricas e sistemas necessários para medir e gerenciar a performance de uma organização”. O CPM pode ser considerado, então, uma solução mais abrangente e complementar aos tradicionais sistemas de gestão, na qual regras de negócio complexas, ligadas à administração do negócio e governança corporativa, são utilizadas de forma a se conseguir mensurar o desempenho do negócio.

De acordo com Macedo (2011), uma solução de BI de alto desempenho deve possuir no mínimo as seguintes características:

• Permitir rápido desenvolvimento e alta flexibilidade de implementação;
• Interagir com todas as fontes de dados da empresa;
• Preservar e complementar os investimentos em DW;
• Permitir ajustes aos novos requerimentos de negócio;
• Realizar análises consistentes com dados corporativos;
• Incorporar planilhas com informes corporativos;
• Realizar consultas ad hoc , ou seja, com objetivos específicos;
• Ter conectividade bidirecional com múltiplas bases de dados;
• Permitir rápida assimilação do ambiente pelos usuários;
• Ter precisão e unicidade dos dados de origem.

Ainda de acordo com Macedo (2011), para se alcançar o CPM seria necessário adicionar às características listadas anteriormente as seguintes possibilidades:

• Orçamento, planejamento e simulação flexíveis;
• Personalização de qualquer requisito de negócio;
• Controle direto do usuário na aplicação e publicação no tempo do negócio;
• Gerência dos requisitos de planejamento estratégico;
• Fluxos de trabalho e dados integrados consistentemente, com planilhas centralizadas;
• Reporting baseado em pesquisas na web de forma intuitiva;
• Acesso às informações gerenciais e estratégicas em qualquer lugar e a qualquer momento;
• Alta escalabilidade e suporte para grande volume de dados e usuários;
• Altíssima satisfação dos usuários.

Assim, de forma simplificada, um resumo sobre a diferença de BI e CPM poderia ser: BI fornece soluções para mostrar o porquê do status atual dos negócios, respondendo à pergunta: Por que estamos desta maneira? , e CPM adiciona as respostas às perguntas: Como estamos? Como deveríamos estar? , além de responder a: Quanto capacitamos, produzimos, satisfazemos ou lucramos?

Macedo (2011) afirma que outra maneira de ajudar a explicar o CPM é dizendo o que ele não é. CPM não é simplesmente uma solução de BI, não é uma ferramenta de análise de dados a ser implementada em um único departamento, não é uma tecnologia e não é um software complicado. CPM pode ser, então, definido como a integração de vários componentes em um só ambiente, capaz de agrupar de forma consistente e integrada soluções para análise, orçamento, planejamento, BI, integração de dados, previsões, simulações, scorecards e dashboards.

Aconteceu 

Alemanha e a vitória na Copa do Mundo 2014

A edição 2014 do maior evento esportivo do mundo trouxe o assunto Business Intelligence à tona em nível mundial e mostrou que a solução pode auxiliar a alcançar de objetivos nos mais diversos ramos de desempenho e busca de resultados.

Um software desenvolvido na Alemanha analisava dados extraídos numericamente, como velocidade de corrida e número de passes. Também escaneava comportamentos individuais de atletas e do time como um todo.

Os relatórios foram passados aos jogadores e à comissão técnica. Com a utilização deles, o grupo se preparou para executar jogadas mais rapidamente, envolver as outras equipes e reter a bola. O resultado? O mundo todo viu e o Brasil sentiu na pele.

(Fonte: < knowsolution.com.br >)

A FIAT Automóveis tinha o desafio de deixar o novo Uno com “a cara do consumidor”, e com as soluções de Business Intelligence e pesquisas nas ferramentas de mídias sociais e mobilidade, oferecidas pela empresa SAS, a FIAT teve ótimos resultados. A tecnologia atendeu às expectativas quanto à capacidade de processar todos os dados, ajudar em uma pesquisa inovadora, colaborar na tomada de decisão e ainda trazer uma visão de futuro para entenderem melhor as demandas do mercado. O novo Uno foi sucesso de vendas e críticas, fazendo a empresa ter a honra de receber o prêmio Carro do Ano 2011, pela Revista AutoEsporte.

(Fonte: < unisalgp.wordpress.com >)

Arquitetura e ferramentas de BI

A complexa situação que envolve a tomada de decisões pode ser apoiada com a utilização de SADs que utilizem um DW e ferramentas para o gerenciamento e tratamento dos dados e das informações, buscando vantagens competitivas para o negócio.

Há controvérsias entre especialistas sobre a arquitetura e quais ferramentas e componentes constituem um sistema de BI. A figura ilustra uma arquitetura possível, e os componentes ferramentas mais importantes são descritas a seguir.

Arquitetura e Ferramentas de BI.

Fonte: SANTOS, 2017.

• DW – Data Warehouse: um repositório de dados especial preparado para dar suporte a aplicações de tomada de decisões. O DW transforma o conjunto de dados históricos, obtido com base na estratégia de negócios da empresa, em informações unificadas que são armazenadas em um repositório central confiável, através de uma base de dados integrada.
• Ferramentas OLAP – On Line Analytical Processing : ou ferramentas de processamento analítico online. Permitem a análise dos dados por diversas dimensões, de forma que seja possível identificar com rapidez e facilidade o desempenho dos negócios. São ferramentas de análise e exploração de dados para atividades mais interativas e investigativas, possibilitando o cruzamento, detalhamento e resumo de dados de maneira mais rápida. Podem utilizar ferramentas de Query & Report ou de consulta e reporte para execução e extração periódica de informações com médio ou alto grau de detalhamento, possibilitando a construção de relatórios através de comandos simplificados.
• Ferramentas de monitoramento de performance: incluem dashboards e scorecards que fornecem uma visão dos indicadores de desempenho corporativo, gráficos e planilhas, e podem incluir sistemas mais sofisticados, como cubos tridimensionais e até ferramentas de realidade virtual.

Gerentes e executivos se beneficiam muito com as soluções de BI, pois essas ferramentas os ajudam a gerenciar melhor o seu negócio. As empresas que não conseguem implementar de forma adequada essas soluções acabam ficando em séria desvantagem competitiva.

Gartner Group.

Fonte: < iot.do >.

Os consultores do Gartner Group sugerem as seguintes questões essenciais para a análise das soluções de BI:

• Como a empresa pode maximizar seus investimentos em BI?
• De que funcionalidades do BI as empresas precisam e o que estão usando hoje?
• Quais são os custos ocultos associados ao investimento em BI?

Sendo assim, o processo de criação e implantação de inteligência nos negócios deve ser realizado de forma cuidadosa, seguindo uma metodologia para que a empresa seja bem sucedida com sua utilização.

O processo de criação de inteligência nos negócios de uma empresa começa pela identificação e priorização de projetos ligados ao BI. Nesse processo, a empresa utiliza medidas de ROI (Return on Investment – retorno sobre investimento) e TCO (Total Cost of Ownership – custo total de propriedade) para estimar a relação custo/benefício da implantação do projeto de BI. Além disso, são analisados os impactos da implantação do BI na tomada de decisões dentro da organização em cada um dos níveis de administração.

ROI.

Fonte: Wright Studio / shutterstock

De acordo com Turban et al. (2009), questões importantes ligadas ao processo de implantação e gerenciamento do BI incluem a definição de:

• Quem deve atuar como tomador de decisão na priorização dos projetos de BI;
• Como realizar a integração em nível gerencial;
• Como estabelecer parcerias entre chefes de áreas funcionais e líderes de áreas de produtos e serviços;
• Como estabelecer uma harmonia entre os clientes do BI (ligados ao negócio) e os fornecedores (ligados à TI).

De acordo com Turban et al. (2009, p. 35), definidas estas questões, a equipe responsável pela governança do BI deve partir para as ações:

1. Criar categorias de projetos (estratégicos, de investimentos, de oportunidades de negócios etc.);
2. Definir critérios de seleção de projetos;
3. Estabelecer uma estrutura para se determinar os riscos do projeto;
4. Gerenciar as interdependências do projeto;
5. Monitorar e ajustar a composição do portfólio de serviços e demandas do BI.

O sucesso do BI depende de uma boa governança, e as razões fundamentais para o investimento em seus projetos devem estar alinhadas com a estratégia de negócios da empresa. O BI deve servir como uma forma de mudar a maneira como a empresa conduz suas operações de negócio, melhorando seus processos e transformando a tomada de decisões em processos mais orientados à análise de dados.