Para quem trabalha com tecnologia, é impossível nunca ter ouvido falar no termo Big Data. Dentre as muitas tendências tecnológicas, esta é, sem dúvidas, uma das mais, senão a mais importante. Isso porque ela vem ao encontro de um grande desafio das empresas: transformar dados aparentemente sem nenhuma correlação em informação e conhecimento.
Tanto a informação quanto o conhecimento servem para o negócio vender mais e se destacar dos concorrentes. Implicitamente, isso consiste também em rastrear, por exemplo, os fatores que levam um cliente a desistir ou postergar uma compra.
Da mesma forma, o Big Data é o pano de fundo de muitas descobertas sobre hábitos de consumo, mostrando aos gestores quando é o momento certo de abordar as pessoas e oferecer algum produto ou serviço.
Continue a leitura deste artigo completo e saiba tudo sobre o Big Data!
O que é Big Data?
O Big Data consiste em uma enorme quantidade de dados de diversos tipos. Estes são produzidos de várias formas, desde relatórios de vendas e faturamento até as interações de usuários em redes sociais. Uma vez em posse da empresa, o Big Data, mediante algumas etapas, passa a entregar informações e conhecimentos que podem ser valiosos ao negócio.
Na prática, toda essa massa de dados é armazenada em bancos, que ficam nos servidores da empresa, sejam eles locais ou na nuvem. Além disso, o Big Data não se resume a guardar dados internos de uma companhia: é possível também obter de fontes externas, ligadas ao mercado de atuação desse negócio ou aos seus concorrentes, por exemplo.
Como o Big Data surgiu?
Por meio de um artigo publicado em 2000, Douglas Laney escreveu sobre o que é o Big Data, na sua visão. Vale destacar que a ideia de armazenar informações é algo bastante antigo, mas esse escrito de Douglas é considerado um divisor de águas sobre o tema.
Talvez você esteja se perguntando qual a motivação para o surgimento de coisas como o Big Data.
Pois bem, além do crescimento exponencial dos dados gerados — especialmente pela internet — à medida que as empresas passaram a adotar a abordagem JIT (Just In Time), aumentou a necessidade de ter acesso a informações de negócio e, com isso, tomar decisões em cima delas.
Basicamente, o JIT é uma filosofia que lida com estoques enxutos e entregas sob encomenda. Significa, portanto, uma abordagem bem diferente do modelo fordista, que focava em uma produção em massa, com pouca ou nenhuma personalização dos produtos.
Em contrapartida, o Just In Time preza pela personalização na venda de produtos ao consumidor, algo que exige conhecimento sobre o público. Em outras palavras, por mais que fazer perguntas diretas ao cliente seja algo que funcione, as empresas entenderam a necessidade de ir além.
Este “além” significa identificar informações que nem mesmo os próprios clientes saberiam informar em uma pesquisa. Nem sempre o comprador sabe exatamente o que quer e precisa, cabendo à análise de dados proveniente do Big Data fornecer esse tipo de insight.
Falando de forma prática, o Big Data pode ajudar a empresa, por exemplo, a criar novos produtos e serviços com base nas interações dos usuários em redes sociais. Os comentários de uma publicação, outrora ignorados por falta de tecnologia para análise, hoje são vistos como uma mina de ouro pelas companhias.
Quais são os 5 Vs?
Em seu artigo, Douglas Laney especifica os cinco Vs do Big Data, que são: volume, velocidade, variedade, variabilidade e vínculo. Acompanhe as subseções seguintes e conheça melhor cada um deles!
Volume
O primeiro V do Big Data aponta que uma quantidade quase infinita de dados é gerada todos os dias. Vamos considerar uma empresa de médio porte, que possui departamentos de finanças, contabilidade, compras, vendas e marketing.
Cada um desses setores faz diversas operações, o que envolve, entre outras coisas, contato com fornecedores, clientes e, em alguns casos, até com a imprensa e pessoas que exercem cargos públicos de relevância.
Para se comunicar com todas essas pessoas, a empresa se utiliza de diversos canais, como o blog, site institucional e redes sociais. Por baixo, essa companhia gera diariamente alguns Gigabytes de dados, que podem conter informações relevantes ou não.
Felizmente, existe hoje a possibilidade de expandir o armazenamento de dados da empresa, por meio da computação em nuvem. Dessa forma, ela não mais precisa se prender às limitações do hardware, à medida que os servidores locais chegam ao seu limite de armazenar documentos e demais informações.
Ainda que a empresa gere dados na ordem de Terabytes, o processo de análise não fica custoso na mesma proporção. Isso porque a tecnologia já avançou o suficiente para prover ferramentas analíticas ao Big Data.
Velocidade
Para os dados servirem ao negócio, também é crucial que eles sejam processados de forma rápida. Atualizações acontecem praticamente o tempo todo, de modo que a empresa precisa ser ágil e utilizar os registros coletados da melhor forma.
Há uma tendência de aumento nas fontes de dados, exigindo uma gestão completa dessas informações, sem jamais negligenciar em um dos principais pontos, que é a segurança.
Variedade
Existem infinitas possibilidades para um dado. Além do formato de texto, eles podem aparecer como imagens, vídeos, planilhas e interações em mídias sociais. Cada um desses formatos requer modos particulares de armazenamento e análise.
Variabilidade
Qual a diferença entre variedade e variabilidade? Enquanto o primeiro consiste na diversidade dos dados, o segundo representa o quanto eles podem mudar ao longo do tempo.
Em outras palavras, podemos exemplificar esse quarto V do Big Data usando as interações das pessoas com as redes sociais: a opinião acerca de um produto específico está sujeito a sofrer mudanças ao longo do tempo.
A sazonalidade é outro fator que influencia a variabilidade. Uma área que trabalha bastante em função disso é o varejo, visto que o setor não consegue vender de maneira uniforme o ano inteiro.
Em vez disso, ele se utiliza das datas comemorativas — em que as pessoas se tornam mais propensas ao consumo — e trabalha fortemente a parte de marketing, visando auferir receita suficiente para conduzir a operação em momentos de queda nas vendas.
Vínculo
Todos os Vs do Big Data citados até aqui são importantes. No entanto, não é exagero dizer que o vínculo é o que define se a empresa terá ou não sucesso na análise dos seus dados. De fato, ninguém quer armazenar coisas que nunca serão usadas de forma estratégica, e é justamente nessa parte que entra o último V.
Tão importante quanto armazenar os dados é controlá-los, de modo que eles sirvam para a melhoria contínua de todas as atividades da empresa. O fato de a companhia ter vários canais de contato dificulta um pouco essa tarefa, mas nada que um bom planejamento não resolva.
Na prática, o que precisa ser feito é estabelecer vínculos e hierarquias entre os dados, de modo que eles passem a ter uma relação mais explícita.
Como o Big Data funciona?
Quando a empresa adota o Big Data, é porque ela almeja meios de se posicionar melhor no mercado. Em certos casos, esse posicionamento pode vir até mesmo de uma reestruturação dos processos internos, bem como o ingresso da companhia em um novo setor.
Sobre o funcionamento, podemos dizer que o Big Data é composto por integração, gerenciamento e análise. Explicaremos melhor cada um deles a seguir!
Integração
Um dos principais meios de integrar dados é o ETL. Este é responsável pela extração, transformação e carregamento dos registros, sendo considerado um mecanismo robusto para a extração de conhecimento útil à tomada de decisão.
Todavia, a variedade e variabilidade dos dados é tão alta que mesmo o ETL tem se mostrado ineficiente. Uma das razões disso é que, se a empresa tiver de armazenar e processar Terabytes ou Petabytes de registros, serão necessárias uma tecnologia e uma estratégia mais robustas.
A integração exige a formatação adequada dos dados, de modo que eles sejam melhor aproveitados. Por exemplo, em uma planilha de clientes, se um ou mais campos estiverem vazios (como RG e CPF), a recomendação é prosseguir com o processamento somente após o preenchimento de tais campos.
Gerenciamento
A parte de gerenciamento de Big Data diz respeito ao local de armazenamento dos dados. Reforçando o que já falamos, a computação em nuvem ajudou bastante as empresas, à medida que elas não mais precisam estar presas às limitações de espaço dos seus servidores físicos.
No entanto, cada empresa conhece suas necessidades tecnológicas, de modo a saber se é melhor armazenar os seus dados localmente ou na nuvem. Via de regra, se o empreendimento lida com registros críticos, a recomendação é não se desfazer de sua atual infraestrutura de TI, ou contratar um serviço de nuvem privada.
Neste caso, ela passa a delegar a uma empresa externa o fornecimento de recursos adicionais de hardware, visando fortalecer a segurança dos dados.
Por outro lado, se as aplicações do negócio são pouco críticas, pode ser interessante contratar uma nuvem pública, em que softwares diversos são adquiridos sob demanda, mediante um pagamento mensal. Este modelo de negócios também é conhecido como SaaS.
Análise
Às vezes, a empresa não obtém informações relevantes dos dados por falta de exploração, clareza e apelo visual. Sobre este, vale destacar que a representação gráfica das informações pode fazer muita diferença, sendo mais eficiente do que planilhas e textos corridos, por exemplo.
A Inteligência Artificial e o Machine Learning podem ser amplamente empregados nesta análise. Assim como os humanos, o computador tem a capacidade de aprender coisas novas mediante entradas contínuas de dados.
Dessa forma, a empresa não só consegue fazer análises precisas, mas também faz isso com rapidez, ajudando o negócio a descobrir meios de vender mais e se destacar dos concorrentes.
Dados estruturados e não estruturados
O aprendizado de Big Data passa também pelo conhecimento sobre esses três tipos de dados. O primeiro consiste em informações que os bancos de dados têm maior facilidade de reconhecer, agilizando o processamento e a análise.
Os relatórios de logs são um exemplo de dado estruturado. Quando um usuário faz login em qualquer aplicação, todo o seu histórico de ações é registrado em um documento, que pode ser bastante útil, entre outras coisas, na identificação de um padrão de consumo ou de uso de uma determinada ferramenta.
Um fato importante sobre dados estruturados é que, com o passar do tempo, uma quantidade maior de formatos passou a se inserir na categoria. Isso significa maior rapidez na análise e processamento, permitindo ao negócio obter inteligência a partir dos dados com mais agilidade.
Da mesma forma que mais formatos passaram a ser dados estruturados, surgiram também os não-estruturados. Esta denominação possui relação direta com a capacidade dos bancos de dados em interpretar certas informações. Em geral, dados não-estruturados encontram-se sem uma organização definida, sendo que alguns exemplos disso são:
- publicações em redes sociais como Facebook e Twitter;
- imagens;
- metadados de blogs.
Qual é a relação com Data Analytics?
O Data Analytics se relaciona mais diretamente com o quinto V do Big Data, que é o vínculo. Uma empresa só consegue se consolidar no mercado à medida que consegue fazer uma análise consistente e eficiente dos seus dados. Existem inúmeras coisas a serem exploradas, sendo que as principais delas se referem aos consumidores e aos concorrentes.
Por si só, a análise dos clientes já é capaz de fornecer muitos insights. Muito mais do que saber a idade e classe social das pessoas, o Big Data pode auxiliar a captar até mesmo aspectos mais subjetivos. Isso se dá pelo cruzamento de informações, que podem ser oriundas das interações das pessoas com os canais de contato da empresa.
Lembra de quando falamos sobre usar Inteligência Artificial e Machine Learning? Ambos podem ser bastante úteis, no sentido de ir além do conceito de buyer persona. Este consiste em um cliente fictício, cujas dores e necessidades se aproximam do produto ou serviço oferecido por uma empresa.
Tanto a IA quanto o ML, se bem empregados, são capazes de praticamente esquadrinhar a mente humana, de modo a identificar o que faria ela comprar certo item.
O Data Analytics tem a capacidade de melhorar uma empresa de ponta a ponta. Em alguns casos, todos ou grande parte dos processos internos em um negócio são deficitários, trazendo, como uma das principais consequências, um desempenho em vendas abaixo do esperado.
Falando agora dos concorrentes, a análise destes dá uma boa ideia se a empresa está ou não em um nível plausível de competitividade. Tudo aquilo que está dando certo ou errado pode ser estudado em profundidade, de modo a encontrar um denominador comum em termos de relação com os clientes.
Analisar concorrentes é também saber o que faz o cliente escolher empresa x no lugar de y. Portanto, tão importante quanto estudar a concorrência e os consumidores separadamente é unir as informações e obter insights relevantes com base neles.
Como o Big Data é aplicado em diferentes setores?
Os mais variados setores podem se beneficiar do Big Data. A seguir, falaremos de algumas aplicações, mas que são suficientes no entendimento sobre o potencial do Big Data na melhoria de processos de negócio. Acompanhe!
Varejo
Especialmente no varejo online, o Big Data é empregado em sistemas de recomendação. Funciona basicamente assim: com base na navegação dos usuários, são ofertados a eles os produtos que melhor atendem seus gostos e necessidades.
Se você tem conta no site da Amazon, por exemplo, é bem provável que a empresa já conheça suas preferências. A intenção é bastante clara: aumentar as chances não só de o consumidor adicionar um item ao carrinho, mas também de elevar o ticket da compra.
A venda casada é uma estratégia bastante empregada no varejo físico e online. Com o Big Data, é possível combinar no site uma relação de produtos similares, prezando por um preço final que seja atrativo ao consumidor.
Saúde
Uma das formas de usar o Big Data na saúde é na jornada do paciente. Assim como o cliente passa por etapas antes de finalizar uma compra online, pessoas que demandam serviços médicos são acompanhadas desde o primeiro contato com uma clínica, por exemplo.
O objetivo é praticamente o mesmo do varejo: proporcionar uma experiência cada vez mais personalizada. Para isso, o Big Data é empregado na análise de dados das interações dos pacientes com os canais de contato do empreendimento da área médica.
O Big Data pode auxiliar na prevenção de doenças. Isso significa que é possível fazer uma análise preditiva precisa, visando identificar problemas de saúde futuros com antecedência. Isso implica em tratamentos mais efetivos, aumentando, assim, a relação de confiança entre o paciente e a clínica ou consultório.
Quais são os desafios da implantação do Big Data?
O principal desafio do Big Data está no seu próprio nome. Atualmente, os dados estão dobrando de volume no intervalo de dois anos, algo muito difícil de as empresas conseguirem acompanhar.
Outro desafio diz respeito à qualidade dos dados. Para isso, é preciso contar com bons cientistas de dados para unir Big Data e inteligência analítica, uma profissão com bastante oportunidade, mas ainda com poucas pessoas, de fato, qualificadas.
Esses profissionais aplicam técnicas de limpeza de dados, usando linguagens de programação como o Python. Nesse sentido, cientistas gastam um tempo considerável na limpeza de tais registros, para que sejam úteis no negócio.
Como implementar em sua empresa?
Via de regra, a primeira coisa a ser feita é identificar os propósitos da empresa em usar o Big Data. Deve-se saber qual a natureza dos processos que se deseja aprimorar, se são os estratégicos (ligados ao core business do negócio) ou os operacionais. Cada um destes costumam apresentar abordagens diferentes no uso de Big Data e tecnologias subjacentes.
Em seguida, deve-se organizar os processos a serem melhorados na empresa por nível de prioridade. A ideia é fazer implementações de uma a uma e medir o impacto no desempenho do negócio. Se a resposta for boa, pode-se adotar esse processo em larga escala.
O terceiro passo é a escolha das fontes para os dados. Com tantas opções disponíveis, é fundamental selecionar se os registros serão oriundos, por exemplo, de relatórios, websites e redes sociais.
A quarta etapa consiste na escolha de boas ferramentas para o Big Data. Um exemplo de solução que pode agregar bastante valor ao negócio é a plataforma All-in-One da Semantix. Uma das principais propostas dessa ferramenta é a simplificação da jornada de dados, bem como a criação de algoritmos robustos de Inteligência Artificial.
Existem boas práticas na utilização?
Sobre boas práticas de Big Data, a primeira que podemos citar é o alinhamento com os objetivos específicos do negócio. Uma tendência dos dias atuais é a integração entre TI e aspectos estratégicos, proporcionando melhor aproveitamento dos dados e, por consequência, maior eficiência operacional. Boas práticas nesse sentido incluem, por exemplo:
- fazer a filtragem de registros na web para entender o comportamento do varejo eletrônico;
- obter insights oriundos das interações em redes sociais e demais canais de contato da empresa;
- compreender os métodos estatísticos de correlação, bem como a sua relevância para dados de clientes, manufatura, produtos e engenharia.
No programa de governança de TI, podem ser incluídas tecnologias, considerações e decisões de Big Data. O objetivo dessa prática é minimizar problemas relacionados com a escassez de habilidades, visto que isso requer uma análise prévia.
Fazer esse levantamento ajuda o negócio a identificar deficiências, podendo solucioná-las com o auxílio de empresas de consultoria, contratação de novos recursos e treinamento cruzado dos recursos já existentes na companhia.
Outra boa prática importante do Big Data é a otimização da transferência de conhecimento com um centro de excelência. Explicando melhor, trata-se do compartilhamento de conhecimentos, controle de supervisão e gerenciamento de comunicações em um projeto.
Com isso, os recursos de Big Data podem ser expandidos, aumentando a maturidade geral da chamada Information Architecture, de um modo sistemático e mais estruturado.
O Big Data, como vimos neste texto, é um conjunto formado por muitos dados, tanto estruturados quanto não-estruturados. Uma vez adotada na empresa, pode ajudá-la a obter inteligência e conhecimento relevante ao negócio, aumentando, assim, o potencial de vendas, crescimento e competitividade.
Gostou deste conteúdo completo sobre o Big Data? Aproveite a visita ao blog da Semantix e aproveite para entender por que a sua empresa deve usar a estratégia de storytelling!
