Engenharia de Dados

Engenharia de Dados

 Artigos

Clean Code aplicado ao Pyspark

Clean Code aplicado ao Pyspark

Esse artigo não tem a pretensão de tornar ninguém um bom programador, o objetivo real é deixar o código mais limpo, seja através da aplicação de nomes significativos ou da formatação adequada, melhorando sua legibilidade. Através de técnicas e exemplos veremos como simples alterações podem melhorar o código e consequentemente o projeto como um todo.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
28
 min read
Melhores práticas para otimizar desempenho de aplicações Spark

Melhores práticas para otimizar desempenho de aplicações Spark

O presente artigo traz orientações a respeito de formas de otimizar processos Spark desde a forma de armazenamento dos dados, passando por particionamento e formas eficientes de leitura dos dados,até otimização da execução de queries

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
10
 min read
Uma breve introdução ao Apache NiFi

Uma breve introdução ao Apache NiFi

NiFi é uma estrutura de fluxo de dados de código aberto. Funciona como um transportador de dados entre o produtor e o consumidor de dados. Produtor significa o sistema que gera dados e consumidor significa o outro sistema que consome dados.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
10
 min read
Engenharia de dados com Nifi,AWS S3 ePython

Engenharia de dados com Nifi,AWS S3 ePython

Veja como realizar a ingestão de dados disponibilizados na API usando Nifi, S3 e Python.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
21
 min read
Proposta simplificada para construção sustentável de catálogo dados

Proposta simplificada para construção sustentável de catálogo dados

Resumo Com o surgimento de meios para armazenar de grandes volumes de dados, de diversas fontes e a todo momento, as organizações vêm enfrentando cada vez mais dificuldades para fazer a gestão e entender o valor desses recursos. Esse fato tem impacto direto na qualidade da informação que é gerada, prejudicando a eficiência de processos, tomada de decisões e finalmente o sucesso do negócio.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
30
 min read
Os novos padrões de segurança no Windows 11

Os novos padrões de segurança no Windows 11

O Windows 11 vem com novos pré-requisitos para sua instalação, sendo eles o TPM 2.0(Trusted Platform Module) e o Securete Boot, o que pode influenciar no uso cotidiano e na segurança do consumidor.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
3
 min read
Automatização de Testes em Projetos de Business Intelligence e Big Data

Automatização de Testes em Projetos de Business Intelligence e Big Data

O processo de testes em projetos de Business Intelligence e Big Data é bastante trabalhoso e moroso. A grande quantidade de dados envolvida na avaliação dos dados envolvidos na carga torna a verificação através de testes manuais uma tarefa quase impossível de ser bem sucedida. Este artigo apresenta uma alternativa aos testes manuais com a demonstração da eficácia de testes automatizados em um projeto de Business Intelligence.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read
Conceitos da Modelagem Datavault

Conceitos da Modelagem Datavault

O datavault é uma técnica de modelagem de dados para o desenvolvimento de Enterprise Data Warehouses (EDW). Inclui modelos de dados simples e processos de ETL com o objetivo de armazenar dados ao longo do tempo e dispor um repositório central que receba e organize os dados de diversas fontes..

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
7
 min read
Tutorial React Admin

Tutorial React Admin

O React Admin é um framework criado para auxiliar na criação de dashboards e tabelas para gerenciamento de negócios tendo várias funções prontas para auxiliar no tempo de desenvolvimento e criar uma plataforma extremamente amigável ao usuário e de simples desenvolvimento.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
5
 min read
Por que é importante integrar seu e-commerce a um ERP e quais suas vantagens?

Por que é importante integrar seu e-commerce a um ERP e quais suas vantagens?

Integrar a plataforma de e-commerce a um ERP é fundamental para otimizar a gestão do negócio como um todo, incluindo a automação de preços, pedidos, faturas, estoque e muito mais.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
17
 min read
O que são funções de ordem superior em Javascript?

O que são funções de ordem superior em Javascript?

Entenda como utilizar funções de ordem superior em JavaScript e entenda como isso pode te ajudar em seu processo

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
6
 min read
O que realmente é um algoritmo recursivo?

O que realmente é um algoritmo recursivo?

Indo direto ao ponto, um algoritmo recursivo, é aquele que invoca à ele mesmo durante o processo de execução. Mas, será que é só isso?Neste artigo quero te mostrar, de uma maneira simples, como este tipo de algoritmo realmente se comporta.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read