Dados “crus” são uma fonte muito rica de informações sobre a sua empresa, mas na hora de analisá-los provavelmente será necessário transformá-los para que esses dados virem informação e possibilitem insights e planos de ação.
Transformação de dados é o processo de converter a estrutura ou o formato dos seus dados em outro formato ou estrutura em que seja possível analisá-los. Esse processo pode ser feito de duas formas:
- ETL (extract, transform, load) – No ETL a transformação de dados é o segundo passo do processo, onde os dados são primeiramente extraídos de sua fonte original, são transformados em seu novo formato ou estrutura e por fim são carregados no seu destino final, que será provavelmente o seu banco de dados analítico.
- ELT (extract, load, transform) – Já no ELT o primeiro passo permanece o mesmo, onde os dados são extraídos, e então são carregados no seu destino final para após isso serem transformados.
Em resumo, a diferença entre os dois processos de transformação é o momento em que os dados são transformados. O processo de transformar os dados antes de enviá-los ao seu destino final (ETL) muitas vezes é bastante complexo e moroso, o que faz com que muitas empresas optem pelo ELT, também porque hoje em dia a maioria delas contam com uma estrutura de dados baseada em nuvem, o que faz com que o processamento de grandes volumes de dados crus seja rápido e sem muita diferença de custo. Falamos um pouco mais detalhadamente sobre isso nesse artigo aqui.
Mas por quê transformar dados é um passo crucial para a análise das informações da sua empresa?
- Organização: Dados transformados são mais fáceis de serem consultados em seu data warehouse, tanto por você quanto por computadores.
- Estruturação: Ao extrair dados não estruturados, transformá-los irá possibilitar a junção com outras fontes de dados e enriquecer a sua análise.
- Validação: Pré validar os seus dados no processo de transformação fará com que você não se depare com valores nulos, duplicatas, formatos incompatíveis, entre outros.
- Preparação e modelagem: Possibilitará executar operações como agregações, lookups, joins, filtros… enriquecendo assim os seus dados para a tomada assertiva de decisões sobre o seu negócio.
Como a Kondado pode ajudar nesse processo?
A nossa plataforma foi criada para facilitar todos os passos do processo de dados da sua empresa, por isso implementamos o ELT em escala.
Com a Kondado, extrair os dados das suas fontes de forma integral é simples e rápido, e você não precisará deslocar um engenheiro de seu time para criar o código para tal. Com apenas alguns cliques, suas fontes serão integradas no seu data warehouse.
Agora que estão no destino, os seus dados poderão ser transformados usando nossa funcionalidade de modelos.
Os modelos são acionados por integrações (ou outros modelos) e materializam as transformações em tabelas no destino de dados (garantindo a performance da consulta final) e fazendo com que, sempre que novos dados chegarem ao seu destino, eles já passem pela sua transformação.
Para ler mais sobre a nossa funcionalidade de modelos, clique aqui.
Publicado em 2020-08-17