Engenharia de Dados

Inflação médica: saiba o que é, cálculo e como reduzir!

Neste post, separamos dicas e exemplos de como calcular o VCMH e reduzir a inflação médica. Confira!

Engenharia de Dados

min read

Clean Code aplicado ao Pyspark

Esse artigo não tem a pretensão de tornar ninguém um bom programador, o objetivo real é deixar o código mais limpo, seja através da aplicação de nomes significativos ou da formatação adequada, melhorando sua legibilidade. Através de técnicas e exemplos veremos como simples alterações podem melhorar o código e consequentemente o projeto como um todo.

Engenharia de Dados

min read

Melhores práticas para otimizar desempenho de aplicações Spark

O presente artigo traz orientações a respeito de formas de otimizar processos Spark desde a forma de armazenamento dos dados, passando por particionamento e formas eficientes de leitura dos dados,até otimização da execução de queries

Engenharia de Dados

min read

Uma breve introdução ao Apache NiFi

NiFi é uma estrutura de fluxo de dados de código aberto. Funciona como um transportador de dados entre o produtor e o consumidor de dados. Produtor significa o sistema que gera dados e consumidor significa o outro sistema que consome dados.

Engenharia de Dados

min read

Engenharia de dados com Nifi,AWS S3 ePython

Veja como realizar a ingestão de dados disponibilizados na API usando Nifi, S3 e Python.

Engenharia de Dados

min read

Proposta simplificada para construção sustentável de catálogo dados

Resumo Com o surgimento de meios para armazenar de grandes volumes de dados, de diversas fontes e a todo momento, as organizações vêm enfrentando cada vez mais dificuldades para fazer a gestão e entender o valor desses recursos. Esse fato tem impacto direto na qualidade da informação que é gerada, prejudicando a eficiência de processos, tomada de decisões e finalmente o sucesso do negócio.

Engenharia de Dados

min read

Os novos padrões de segurança no Windows 11

O Windows 11 vem com novos pré-requisitos para sua instalação, sendo eles o TPM 2.0(Trusted Platform Module) e o Securete Boot, o que pode influenciar no uso cotidiano e na segurança do consumidor.

Engenharia de Dados

min read

Automatização de Testes em Projetos de Business Intelligence e Big Data

O processo de testes em projetos de Business Intelligence e Big Data é bastante trabalhoso e moroso. A grande quantidade de dados envolvida na avaliação dos dados envolvidos na carga torna a verificação através de testes manuais uma tarefa quase impossível de ser bem sucedida. Este artigo apresenta uma alternativa aos testes manuais com a demonstração da eficácia de testes automatizados em um projeto de Business Intelligence.

Engenharia de Dados

min read

Conceitos da Modelagem Datavault

O datavault é uma técnica de modelagem de dados para o desenvolvimento de Enterprise Data Warehouses (EDW). Inclui modelos de dados simples e processos de ETL com o objetivo de armazenar dados ao longo do tempo e dispor um repositório central que receba e organize os dados de diversas fontes..

Engenharia de Dados

min read

Tutorial React Admin

O React Admin é um framework criado para auxiliar na criação de dashboards e tabelas para gerenciamento de negócios tendo várias funções prontas para auxiliar no tempo de desenvolvimento e criar uma plataforma extremamente amigável ao usuário e de simples desenvolvimento.

Engenharia de Dados

min read

Por que é importante integrar seu e-commerce a um ERP e quais suas vantagens?

Integrar a plataforma de e-commerce a um ERP é fundamental para otimizar a gestão do negócio como um todo, incluindo a automação de preços, pedidos, faturas, estoque e muito mais.

Engenharia de Dados

min read