segunda-feira, 16 de novembro de 2020

Alinhamento estratégico de TI

No mercado de TI, vivemos a “Era dos Modelos e Práticas”: para cada função ou iniciativa dentro de TI, relacionamos práticas para executar processos. Para que essas práticas tenham aderência, são aplicadas dentro de uma abordagem de processos, na qual são definidas as atividades e as etapas destas são medidas por meio de indicadores de performance.

Ao definir uma prática para gestão de TI, necessariamente alguns domínios e controles devem ser considerados para que esse processo tenha, além de eficiência, aderência às atividades da área.

O IT Governance, que, como vimos, é uma entidade que tem em seus papéis definir modelos e práticas de governança de TI, divide esta em domínios para garantir sinergia com a governança corporativa e obter um maior grau de eficiência e controle das ações de TI alinhados à estratégia corporativa. Esses domínios serão discutidos mais adiante.

TI e estratégia corporativa
Fonte: Rawpixel.com/shutterstock

De acordo com o IBGC (Instituto Brasileiro de Governança Corporativa) (2016), a governança corporativa envolve os relacionamentos entre sócios, conselho de administração, diretoria, órgãos de fiscalização e de controle e demais partes interessadas, de forma a viabilizar que as organizações possam ser mais bem dirigidas e monitoradas.

IBGC

As boas práticas de governança corporativa conseguem transformar os princípios básicos dela em recomendações objetivas, buscando o alinhamento de interesses de forma a aumentar o valor e melhorar a qualidade dos serviços e a gestão da organização. Além disso, devem atender às leis e às regulamentações e manter suas informações, seus bens e seus ativos seguros.

Para isso, a adoção de modelos de gestão e governança torna-se essencial. Dentre eles, encontram-se um modelo para controle de TI, que suporte a estratégia organizacional, um para controles internos, que suporte a governança e o gerenciamento de riscos, e o próprio COBIT, objeto de nossa disciplina.

Para cumprir todas essas responsabilidades, os executivos devem entender o estágio atual de sua arquitetura de TI e decidir que governança e controles ela deve prover.

Saiba mais     

No artigo O que é governança de TI?, o autor Douglas Novato (2014) discute por que uma empresa deve implantar métodos de governança de TI:

[...] A implementação efetiva da Governança de TI só é possível com o desenvolvimento de um modelo organizacional específico. Para tanto, devem ser utilizadas, em conjunto, as melhores práticas existentes como o BSC, PMBoK, COBIT, ITIL, CMMI e ISO 17.799, de onde devem ser extraídos os pontos que atinjam os objetivos do programa de Governança. Além disso, é imprescindível levar em conta os aspectos culturais e estruturais da empresa, devido à mudança dos paradigmas existentes. Ou seja, um modelo bem sucedido em uma empresa não obrigatoriamente será bem sucedido em outro e além disso, esse modelo será quase impossível ser utilizado em outro cenário sem nenhuma alteração significativa.

domingo, 15 de novembro de 2020

Introdução à governança de TI

O tema forte dentro das organizações nos dias atuais é a governança. Eventos marcantes, como as fraudes em resultados e balanços das empresas Enron e WorldCom, a crise financeira nos Estados Unidos, a falência do Banco Santos, a intervenção no Banco Panamericano e as ações da Polícia Federal brasileira com a Operação Lava Jato e seus desdobramentos, apurando denúncias e esquemas de desvios de recursos financeiros da estatal Petrobrás, são exemplos atuais de falta de controle e alinhamento estratégico dentro das empresas para garantir que o processo de governança esteja sendo executado de acordo com os interesses dos acionistas e das entidades de controle (como o próprio governo).

Dentro das organizações, o papel da TI é estratégico e deve ser tratado com a devida importância, definindo controles e clareando a visão do que ela pode trazer de retorno para organização, garantindo conformidade e alinhamento com seus objetivos e metas.

Governança de TI

Governança de TI
Fonte: Rawpixel.com/Shutterstock

Para servir de insumo às decisões estratégicas, a informação precisa ser tratada como um ativo essencial às organizações empresariais. Os aspectos relacionados a informação, tecnologia, análise de riscos e compliance são críticos para o sucesso dos negócios e a competitividade corporativa. Ao tratar deles, na verdade estamos falando de governança de TI. Mas o que é isso?

Para Peter Weill e Jeanne W. Ross (2005), a governança de TI reúne especificações que servem de apoio para a tomada de decisões, estimulando comportamentos e ações adequados em relação ao uso dos recursos de TI. Ou seja, os autores caracterizam governança como um modelo que define os direitos e as responsabilidades pelas decisões que encorajam comportamentos desejáveis no uso de TI.

A Governança de TI é de responsabilidade dos executivos e da alta direção, consistindo em aspectos de liderança, estrutura organizacional e processos que garantam que a área de TI suporte e aprimore os objetivos e as estratégias da organização.

Fonte: ITGI (2007, p. 8).

Ainda de acordo com o ITGI (2007, p. 8),

a governança de TI integra e institucionaliza boas práticas para garantir que a área de TI da organização suporte os objetivos de negócios. Além disso, habilita a organização a obter vantagens de sua informação, de forma a maximizar os benefícios, capitalizar as oportunidades e viabilizar o ganho de poder competitivo.

É claro que podemos encontrar muitas definições de governança de TI, que variam de autor para autor. Mas, em linhas gerais, em sua essência, ela é um conjunto de regras e melhores práticas que, adaptadas à cultura organizacional, servirá para profissionalizar a gestão da TI, visando transformá-la em instrumento de apoio às decisões de negócio.

Assim, a governança de TI garante a capacidade organizacional exercida pela alta direção, pelas gerências de negócios e pela gerência de TI para controlar a formulação e implementação da estratégia da área e, com isso, assegurar o alinhamento entre negócios e TI.

Saiba mais     

No artigo Operação Lava Jato: há limite para a ganância?, publicado no site ERA - Ética e Realidade Atual, Rachel Nigro (2014) afirma:

[...] a confiança sempre foi a moeda mais valiosa na manutenção da ética empresarial e, no fim das contas, do próprio mercado. Valores como honestidade e sinceridade são relativizados apenas em discursos que buscam justificar imoralidades. Não existe uma “ética especial” para os negócios. Existem situações peculiares nos negócios que desafiam as exigências morais, que dificultam a decisão e a ação dos agentes, situações que exigem ponderação, escolha e decisão. Mas as regras são as mesmas: não vale roubar, enganar, mentir. E cada vez mais as empresas se sentem compelidas – pelo bem ou pelas multas – a criar efetivos mecanismos de controle e transparência [...].

sábado, 14 de novembro de 2020

Business Activity Monitoring (BAM)

Business Activity Monitoring,ou monitoramento das atividades de negócios (BAM) está entre os mais efetivos conceitos de gestão de performance. Ferramentas BAM são capazes de analisar e reportar dados estratégicos em tempo real, ou seja, as informações publicadas nos dashboards e scorecards não são obtidas diaria, semanal ou mensalmente, mas no momento em que ocorrem ou são captadas.

O uso do BAM permite configurar alertas de processos para as áreas de negócios e construir painéis interativos em tempo real.

BAM.
Fonte: TechnoVectors/ Shutterstock.

Para ilustrar o uso de BAM, vamos imaginar uma grande rede de supermercados que efetua uma grande compra de ovos de páscoa. Cada loja possui seu estoque e terá um perfil de venda, ou seja, um determinado tipo de ovo de páscoa pode faltar ou sobrar. Neste caso as ferramentas de BAM poderão auxiliar o gestor, em tempo real, para redistribuir o estoque em função da demanda de cada ponto de venda. Outra aplicação típica refere-se ao monitoramento de dados de controle de tráfego em grandes cidades.

Business Activity Monitoring (BAM)

De acordo com o Gartner, o Business Activity Monitoring (BAM) descreve os processos e as tecnologias que melhoram a percepção de situação e permitem a análise de indicadores críticos de desempenho de negócios de uma empresa com base em dados em tempo real. O BAM é usado para melhorar a velocidade e a eficácia das operações de negócios, mantendo o controle [...].

O Monitoramento das Atividades de Negócios (BAM) é o termo do Gartner que define como podemos fornecer acesso em tempo real aos indicadores críticos de desempenho de negócios para aumentar a velocidade e a eficácia das operações de negócios. Ao contrário de monitoramento em tempo real tradicional, o BAM vai buscar a informação em múltiplos sistemas de aplicação e também em outras fontes internas e externas, permitindo uma visão mais ampla e mais rica das atividades empresariais. Como tal, tende a ser uma extensão natural dos investimentos que as empresas estão fazendo na integração de aplicações em termos de visualização de dados. [...]

O Gartner estima que um percentual muito pequeno do faturamento dos integradores pode ser efetivamente relacionado ao BAM, mesmo com seu crescimento acentuado nos últimos anos. Muitos deles ainda não possuem uma estratégia relacionada a isso. O cenário do BAM até o final da última década é muito parecido com o do BPM no final dos anos 90, que passou da obscuridade para se tornar um dos pilares da integração de aplicativos, fusões, aquisições e novos desenvolvimentos no processo de condução do negócio, além, é claro, do seu foco em automação de processos.

 O BAM nos próximos anos irá crescer exponencialmente para direcionar toda a integração de aplicações. Fornecedores dependerão destes sistemas para mostrar diferencial competitivo e, de acordo com o Gartner, o BAM é a próxima grande tecnologia que os fornecedores de integração de aplicações querem e precisam. Apesar do seu grande potencial na integração de aplicativos, o BAM também abrange inteligência de negócios, rede e sistemas de gestão, visualização de dados e áreas afins, fortemente apoiado no lado de negócios da empresa.

Fonte: <opservices.com.br>.

sexta-feira, 13 de novembro de 2020

Monitoramento e visualização de dados

As ferramentas que permitem a visualização de dados podem condensar milhares de números em uma única imagem e tornar as ferramentas de suporte à decisão mais atraentes, mais fáceis de usar e, principalmente, mais compreensíveis aos usuários e tomadores de decisão.

Estas ferramentas podem incluir imagens digitais, sistemas geográficos, interfaces gráficas com o usuário, gráficos, interfaces de realidade virtual, representações multidimensionais, vídeos, animações etc.

Além disso, estas ferramentas podem ajudar no monitoramento de dados, identificando de forma mais rápida tendências em dados corporativos e de mercado, representando uma enorme vantagem competitiva para a empresa. Assim, associar ferramentas de análise de big data/data mining às ferramentas de visualização pode ser uma combinação excelente para a tomada de decisão gerencial.

As ferramentas de monitoramento e visualização são mais fáceis de serem implementadas quando os dados estão armazenados em um DW. As ferramentas OLAP também podem se beneficiar do DW mostrando as informações de forma tridimensional, ou na forma de cubos.

Dentre os recursos de visualização de dados estão os dashboards e scorecards. Embora muitas vezes sejam vistos como um único conceito, é necessário fazer a distinção entre eles: suas características são apresentadas no quadro e ilustradas na figura seguinte.

Diferenças entre dashboard e scorecard.
  Dashboard Scorecard
Foco Tático – tem foco em operações e metas de curto prazo Estratégico – tem foco em metas de longo prazo
Medidas Métrica: mostra uma fotografia do desempenho do negócio em um dado momento Métrica e KPI: mostra o progresso nas atividades do negócio ao longo do tempo
Frequência Tempo real Atualizado periodicamente
Propósito Fornecer visão geral de alto nível da performance atual Ajudar na execução da estratégia de negócios
Parece-se com Painel de carro (mostra como o carro está funcionando) GPS (ajuda a entender onde a empresa está e quando atingirá o destino)
Fonte: baseado em GARETT, 2017.

Os dashboards fornecem informações imediatas sobre o desempenho dos negócios em toda a empresa. Já os scorecards apresentam uma visão consolidada sobre os objetivos estratégicos da empresa. Privilegiam informações estratégicas que são obtidas em um dado momento para análise crítica da alta direção. Scorecardsnão apresentam dados operacionais, como quantidade de chamados por clientes, avaliação de desempenho de colaboradores, dentre outros indicadores específicos. Eles demonstram graficamente o quão próximo ou distante a empresa está dos seus objetivos estratégicos.

Scorecards x dashboards.

Os KPIs (Key Performance Indicators,ou Indicadores-Chave de Desempenho) geralmente são definidos com o objetivo de medir as etapas mais relevantes de um processo, visando acompanhar seu progresso. Usando dashboards, muitas empresas desenvolvem “cockpits” (como mostra a figura acima), por meio dos quais podem acompanhar os resultados. O Balanced Scorecard (BSC)é um dos métodos mais utilizados pelas organizações para a definição dos indicadores-chave de desempenho.

Visualização de KPIs.
Fonte: NicoElNino/ shutterstock

Os dashboards e scorecardsfornecem informações imediatas sobre o desempenho dos negócios em toda a empresa. De uma maneira geral, são criados para os gestores que precisam, em dado momento, de uma visão geral do negócio ou de uma operação específica e consideram primordial dispor de uma visualização intuitiva e oportuna dos dados estratégicos, financeiros e operacionais.

Os dashboards fornecem uma representação gráfica do desempenho dos negócios de toda a organização. Os scorecards fornecem uma representação visual dos KPIs, que são cuidadosamente selecionados para ajudar as empresas a medir e gerenciar o desempenho.

As diversas ferramentas para gerenciamento de desempenho, de uma forma geral, apresentam as seguintes características:

  • Oferecem recursos para visualização dos dados-chave do desempenho em formato gráfico;
  • Mostram os resultados de desempenho rapidamente, utilizando recursos visuais;
  • Utilizam dashboards e scorecards como para análise de primeira ordem e análise avançada;
  • Monitoram zonas vermelhas e definem níveis limiares para indicadores, de forma a disparar os alertas de entregas;
  • Ligam os KPIs individuais às metas da empresa;
  • Oferecem scorecards em cascata e dashboards de toda a organização e através da cadeia de valores;
  • Enviam dashboards e scorecards via e-mail, de forma programada ou por meio de alertas;
  • Atingem todas as pessoas – dos gerentes executivos aos novos funcionários;
  • Incorporam todos os dados empresariais, financeiros e operacionais, de todo processo de negócio em todo o mundo.

As principais empresas de soluções de CPM/BI estão melhorando suas ferramentas de visualização de dados. Em 2010, a empresa QlikTech ofereceu suas ferramentas de forma gratuita ao mercado. Atualizado para Qlik, a empresa oferece produtos como o Qlik View e Qlik Sense.

Ferramentas avançadas de visualização e descoberta de dados continuam a despertar grande interesse em função da sua facilidade de uso, de seu apelo visual e de sua capacidade de acelerar o tempo de trabalho, numa época em que ocorre uma explosão de dados.

quinta-feira, 12 de novembro de 2020

Casos de sucesso com a utilização de data mining

Estes casos foram obtidos de diversas fontes em pesquisas por sites da internet.

Logotipo do Walmart.

Ao procurar eventuais relações entre o volume de vendas e os dias da semana, o software de data mining do Walmart apontou que, às sextas-feiras, as vendas de cervejas cresciam na mesma proporção que as de fraldas. Uma investigação mais detalhada revelou que, ao comprar fraldas para seus bebês, os pais aproveitavam para abastecer o estoque de cerveja para o final de semana. Assim, foi identificado que homens casados, entre 25 e 30 anos, compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa. A rede americana Walmart otimizou as suas gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas. Resultado: o consumo cresceu 30%. Este se tornou um caso clássico amplamente utilizado como exemplo de sucesso do uso de data mining, passando a ser denominado “princípio de fraldas e cerveja”. A Walmart possui um dos maiores DWs do mundo.

Logotipo do Bank of America.
Fonte: <cancer.org>.

É possível detectar fraudes, cortar gastos ou aumentar a receita da empresa com a ajuda da mineração de dados. O Bank of America usou essas técnicas para selecionar, entre seus 36 milhões de clientes, aqueles com menor risco de dar calote em um empréstimo. A partir desses relatórios, enviou cartas oferecendo linhas de crédito para os correntistas cujos filhos tivessem entre 18 e 21 anos e, portanto, precisassem de dinheiro para ajudar os filhos a comprar o próprio carro, uma casa ou arcar com os gastos da faculdade. Resultado: em três anos, o banco lucrou US$ 30 milhões com a carteira de empréstimos.

Logotipo do Itaú.

Passou a utilizar ferramentas de data miningem seu DW para gerenciar as movimentações de três milhões de clientes. O banco costumava enviar mais de um milhão de malas diretas aos correntistas, com uma taxa resposta de 2%. Após a implementação das ferramentas conseguiu uma redução de 1/5 das despesas postais e aumentou a taxa de resposta para 30%.

Dobrou lucros usando informações de cartões de “jogadores frequentes”, identificando grupos de jogadores que gastavam pouco mas geravam muito lucro, e criou promoções diferenciadas.

Logotipo da Verizon Wireless.

Empresa americana de Telecom, conseguiu redução de churn (abandono de clientes) de 2% para menos de 1,5%: de 34,6 milhões de usuários, aproximadamente 170 mil foram retidos.

 Text mining

Text mining.
Fonte: Jirsak/ Shutterstock.

De acordo com Rouse (2017), text mining pode ajudar as organizações a extrair informações valiosas para os negócios a partir de textos contidos em documentos, e-mails e postagens em mídias sociais, como Facebook, Twitter, Linkedin etc. Trata-se de fazer a mineração e extração em dados não estruturados usando processamento de linguagem natural, aplicando-se modelos estatísticos e técnicas de aprendizagem por máquinas. Como textos escritos em linguagem natural geralmente apresentam inconsistências e ambiguidades em relação à semântica (significado) e sintaxe (forma escrita), como uso de gírias, termos não técnicos, ironias, sarcasmos etc., o text mining é um processo complexo.

Os aplicativos de análise de texto podem transferir palavras e frases de dados não estruturados para valores numéricos que podem ser ligados a dados estruturados em banco de dados. Estando em bases de dados, podem ser aplicadas técnicas de data mining.

O uso de ferramentas de text mining apoia o processo de inteligência competitiva. Enquanto o data mining obtém conhecimento com os dados de dentro da empresa, o text mining obtém conhecimento a partir de dados obtidos fora da empresa, com o objetivo de conhecer os clientes, concorrentes e clientes dos concorrentes. As fontes de dados podem ser redes sociais, jornais e revistas eletrônicas, e-mails, memorandos etc.

Usando text mining é possível, dentre outros exemplos, extrair frases de um artigo ou livro e criar um resumo de seu conteúdo, analisar currículos e obter os dados de seus sujeitos, como e-mail, telefone, endereço, habilidades profissionais etc. Em aplicações que envolvem a análise semântica (de significado), é possível analisar as palavras no texto e saber se o conteúdo expressa opinião positiva ou negativa. Uma empresa poderia utilizar este recurso para saber se as pessoas estariam emitindo opiniões favoráveis ou desfavoráveis sobre seus produtos ou serviços.

Com a crescente adesão de pessoas nas redes sociais, as empresas preocupam-se em saber a opinião dos internautas e, para isso, utilizam ferramentas de web mining, que extraem informações de páginas web.

Curiosidade     

As maiores bases de dados do mundo!

  1. World Data Centre for Climate (WDCC) operado pelo Max Planck Institute for Meteorology and German Climate Computing Centre: 6 Petabytes.
  2. The National Energy Research Scientific Computing Center (NERSC): 2.8 Petabytes
  3. AT&T: entrega serviços móveis avançados, TV de última geração, internet de alta velocidade e soluções inteligentes para pessoas e negócios; banco de dados com mais de 1,9 trilhões de colunas.
  4. Google: contabiliza e armazena cada pesquisa simples em seu banco de dados, que gira em torno de 91 milhões de pesquisas por dia; coleta informações sobre usuários e armazena-as como entradas em seu banco de dados, da ordem de 33 trilhões.
  5. Sprint: banco de dados registra mais de 365 milhões de detalhes de chamadas por dia; possui mais de 2,85 trilhões de colunas; registra cerca de 70 mil chamadas por segundo.
  6. ChoicePoint / LexisNexis: seu banco de dados contém informação de 250 milhões de pessoas dos Estados Unidos, como endereços, telefones, registros criminais, DNA: 250 terabytes
  7. Youtube: cerca de 100 milhões de vídeos são vistos, 60% de todos os vídeos são vistos online; 65 mil vídeos são postados por dia; são mais de 45 terabytes de dados.
  8. Amazon: 59 milhões de clientes ativos, uma coleção de 250 mil textos completos de livros online e mais de 42 terabytes de dados.
  9. Central Intelligence Agency (CIA): coleta informação pública e privada, e parte dela é disponível para consulta pública através do Electronic Reading Room and The World Fact Book; cerca de 100 FOIA (Freedom of Information Act items) são adicionados a cada mês, com dados estatísticos de mais de 250 países.
  10. Library of Congress: biblioteca do congresso dos Estados Unidos com 130 milhões de itens de livros e jornais novos e antigos; mais de 20 terabytes de dados.

Fonte: JOBANDWORK.ASIA (2017)

1 byte = 8 bits

1 kilobyte (KB) = 1024 bytes

1 megabyte (MB) = 1024 kilobytes

1 gigabyte (GB) = 1024 megabytes

1 terabyte (TB) = 1024 gigabytes

1 petabyte (PB) = 1024 terabytes

1 exabyte (EB) = 1024 petabytes

1 zettabyte (ZB) = 1024 exabytes

1 yottabyte (YB) = 1024 zettabytes.

quarta-feira, 11 de novembro de 2020

Big data e Data mining

Nesses grandes volumes de dados, ou seja, no big data, existem informações úteis que estão invisíveis aos tomadores de decisões. Muitas delas poderiam ser aproveitadas para prever um comportamento futuro, ou seja, poderiam ir além do armazenamento explícito de dados.

Para ajudar as organizações empresariais a descobrir informações úteis das suas bases de dados são utilizadas ferramentas de data mining. No cenário atual, extremamente rápido e competitivo, as grandes organizações precisam contar com um sistema de gestão que incorpore ferramentas de mineração de dados.

De acordo com Gassenferth et al. (2015, p. 111), data mining, ou mineração de dados,

é o processo de extração de conhecimento de grandes bases de dados, convencionais ou não. Seu objetivo é encontrar, automaticamente, padrões, anomalias e regras com o propósito de transformar dados, aparentemente ocultos, em informações úteis para a tomada de decisão e/ou avaliação de resultados.

Data mining ou mineração de dados consiste em um processo analítico projetado para explorar grandes quantidades de dados na busca de padrões consistentes e/ou de relacionamentos sistemáticos entre variáveis, transformando-os em novas informações. Os dados, armazenados em grande volume, geralmente encontram-se em bancos de dados e/ou em data warehouses.

(Fonte: LAUDON; LAUDON, 2011, p. 159)

Business intelligence.
Fonte: a-image/ Shutterstock.

Milhares de informações são processadas diariamente nas organizações, provenientes de seus diversos departamentos, incluindo dados de estoques, pedidos, compras, orçamentos, operações contábeis e financeiras, relatórios jurídicos, venda, pós-venda, relacionamento com cliente, dentre tantos outros. Este grande volume é armazenado em bancos de dados convencionais e/ou no DW.

Face a este volume de dados, ferramentas de data mining podem atuar como sistemas de gerenciamento de informação, revelando estruturas de conhecimento que conseguem guiar decisões em situações que se tem certeza limitada sobre os possíveis acontecimentos.

Data mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD – descoberta de conhecimento em bancos de dados). De acordo com Kimball e Caserta (2004), KDD consiste, fundamentalmente, nas etapas:

  1. estruturação do banco de dados ou repositório de dados;
  2. seleção, preparação e pré-processamento dos dados;
  3. transformação, adequação e redução da dimensionalidade dos dados;
  4. processo de data mining;
  5. análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, por meio do processo de data mining.

O processo de data mining utiliza técnicas estatísticas, matemáticas, de inteligência artificial e de aprendizagem automática que procuram relações de similaridade ou discordância entre dados.

Uma empresa que utiliza ferramentas de mineração de dados é capaz, dentre outras possibilidades, de:

  • criar parâmetros para entender o comportamento do consumidor;
  • identificar afinidades entre as escolhas de produtos e serviços;
  • prever hábitos de compras;
  • analisar comportamentos habituais para detectar fraudes.

Um exemplo de mineração de dados pode ser visto na figura abaixo. Pela análise dos dados, pode-se concluir que “Produtos azuis geram alto lucro” e “Estado do Arizona (AZ) produz baixo lucro”.

Exemplo de mineração de dados.
Fonte: baseado em ALBUQUERQUE, 2017.

Para termos uma ideia mais precisa da aplicabilidade da mineração de dados, podemos considerar alguns cenários, como:

  • Lanchonetes fast­food, ou franquias semelhantes, apenas com 50 itens de venda, podem gerar 500 compras/dia.
  • Lojas de departamentos ou supermercados com mais de 1.000 itens, podem gerar 500 compras/dia.
  • Lojas de departamentos ou supermercados com mais de 10 mil itens, podem gerar 2.000 compras/dia.
  • Na análise de um carrinho de compras de um supermercado, pode haver 360 mil registros/mês para listar o que foi comprado por um determinado consumidor em um determinado dia.

A mineração de dados fornece maneiras de responder perguntas do tipo:

  • Quem comprou carne importada?
  • Quem comprou carne e cervejas importados e na mesma compra?
  • Qual é o gasto médio de compras para pessoas diferentes?
  • Qual loja da cadeia vendeu mais cervejas importadas?
  • Em que mês é vendido mais cervejas importadas?
  • Quais lojas vendem mais no dia dos pais?
  • Qual item é comprado com maior frequência juntamente com carne importada?
  • Quais itens são comprados juntos com maior frequência?
  • Quais itens são comprados juntos com maior frequência e em que período do ano?

Outras perguntas possíveis sobre grandes conjuntos de dados, que podem ser respondidas pelas técnicas de mineração de dados, são:

  • Como identificar hábitos ou perfis de consumo?
  • Como prever que usuários vão mudar para outro provedor de serviços?
  • Como identificar coisas semelhantes?
  • Como identificar o que é diferente de um padrão esperado (ou não)?
  • Por que o volume de compras diminuiu?

O interesse pela mineração de dados vem aumentando, pois as empresas estão coletando e armazenando, cada vez mais, maiores quantidades de dados como consequência da queda dos preços de meios de armazenamento, do armazenamento em nuvem (cloud storage) e dos computadores, e do aumento da capacidade de todos eles. A disseminação da utilização de DWs tende a aumentar ainda mais a quantidade de informações disponíveis. As tradicionais planilhas Excel não conseguem armazenar nem permitir análises de grandes volumes de dados; o máximo que conseguem é gerar relatórios informativos sobre os dados. Já as ferramentas de data mining vão muito além, conseguindo realizar operações importantes como análise preditiva e análise futura para indicar tendências.

De acordo com Goldschmidt, Bezerra e Passos (2015, p. 16), os dois objetivos de maior destaque da mineração de dados são a predição e a descrição. Os padrões preditivos são encontrados para resolver o problema de predizer o valor futuro de um ou mais atributos do banco de dados a partir do valor conhecido dos demais atributos; ou seja, a partir de um histórico de casos anteriores, prever os valores dos atributos em outras situações. Os padrões descritivos, ou informativos, têm por objetivo encontrar padrões interessantes, de forma interpretável pelo usuário, que descrevam os dados, ou seja, encontrar um modelo que descreva o conhecimento existente em um conjunto de dados.

Esses padrões e regras são utilizados para direcionar a tomada de decisões e prever as consequências das decisões. As ferramentas de data mining podem ser combinadas com planilhas e outras ferramentas similares de uso mais comum, facilitando a análise dos dados. A associação com ferramentas sofisticadas de visualização de dados pode contribuir bastante na descoberta de associações novas de dados, aumentando a competitividade da empresa.

terça-feira, 10 de novembro de 2020

Ferramentas para construção e consultas a um DW – parte II

 Big data e data mining

Big data.
Fonte: Wright Studio/ Shutterstock.

Conforme já dissemos, no mercado corporativo atual, as organizações têm se mostrado muito eficientes em capturar, organizar e armazenar grandes quantidades de dados, obtidos de suas operações diárias ou de pesquisas do mercado, mas a maior parte delas ainda não consegue usar essa gigantesca montanha de dados para transformá-los em conhecimentos que possam ser utilizados em seus negócios de forma adequada.

Big data é um termo que se refere à enorme quantidade de dados não estruturados que é produzido no mundo. De acordo com Proffitt (2017), o Grupo Gartner informou que o mundo produz mais de 15 petabytes de dados estruturados e não estruturados por dia, incluindo filmes de vídeos, textos, áudios, imagens, informações produzidas pelas redes sociais etc. O Grupo ainda afirma que, em 2018, 50% das violações de ética nos negócios ocorre por meio do uso inadequado do big data.

A analista Cas Proffitt informa que a tendência é de “everything-as-a-service”, e as maiores empresas do mundo continuarão trabalhando com volumes crescentes de dados, como a empresa CenturyLink, que anunciou o BDaaS como opção para empresas que querem aproveitar o poder do big data, mas não possuem recursos e expertise próprios disponíveis. Ou seja, podemos continuar esperando inovações vindas de tecnologias para trabalhar com big data.

Os quatro Vs do big data.
Fonte: T. L. Furrer/ Shutterstock.

De acordo com a empresa SAS (2017), Doug Laney, um analista de dados, relacionou a definição de big data com três Vs:

  • Volume (volume): organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina.
  • Velocity (velocidade): os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Tags de RFID, sensores, celulares e contadores inteligentes estão impulsionado a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real.
  • Variety (variedade): os dados são gerados em todos os tipos de formatos, desde dados estruturados, como dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, como e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras.

A estes três Vs foi acrescentado um quarto V: Veracity ou veracidade, conforme ilustra a figura abaixo.

Ainda de acordo com a SAS (2017), a importância do big data não está ligada à quantidade de dados que uma empresa possui, mas o que a empresa pode fazer com eles. É necessário que os dados sejam analisados de forma a encontrar respostas ou realizar atividades que levem a empresa a:

  • reduzir custos e reduzir tempo;
  • alavancar a criação de novos produtos e/ou ofertas;
  • permitir a tomada de decisão mais inteligente;
  • obter a causa raiz de falhas, problemas e defeitos em tempo quase real;
  • criar políticas de promoção de vendas com base em cupons baseados no gosto e hábitos dos clientes;
  • obter análises de riscos em tempos muito curtos;
  • detectar ações fraudulentas de forma a defender os negócios.

Aconteceu     

Uso do big data na análise 360º do mercado

“Hoje, praticamente tudo o que fazemos ou o que acontece ao nosso redor pode ser analisado por um software big data. Se você está dirigindo o seu carro e de repente uma luz no painel o alerta que o óleo do motor precisa ser trocado, ou quando você assiste a um jornal na TV e a “moça do tempo” diz que na próxima semana vai chover, pode ter certeza que essas conclusões só foram feitas graças ao cruzamento de uma porção de informações através de um software big data.

Na internet isso é diferente e tudo o que fazemos deixa um rastro digital. Práticas comuns do dia a dia, como enviar e-mails ou mensagens de texto, pesquisar ou comprar produtos e serviços pela internet, comentar ou avaliar um post de uma empresa no Facebook, são alguns dos poucos exemplos perto de uma infinidade de ações que podem gerar informações a serem analisadas por um Big Data System.

Essa gigantesca quantidade de informações é, na maioria das vezes, desorganizada e desestruturada. Com o auxílio da aplicação da matemática e dos insights obtidos é possível, por exemplo, melhorar o atendimento ao consumidor, identificar tendências de mercado, aumentar as vendas, prever problemas, mensurar riscos e diminuir gastos.

Grandes empresas como Amazon e Walmart foram pioneiras no uso de sistemas de análise de big data. Depois disso, o uso destes softwares tomaram uma proporção tão grande e variada que há quem diga que o atual presidente dos Estados Unidos, Barack Obama, se reelegeu para o seu segundo mandato devido à inteligência da análise de dados. E que esta mesma tecnologia foi uma das grandes aliadas para a seleção alemã ter vencido a copa do mundo de 2014.”

(Fonte: <visie.com.br>)