{"id":2041,"date":"2022-07-26T09:37:05","date_gmt":"2022-07-26T12:37:05","guid":{"rendered":"https:\/\/kondado.com.br\/blog\/?p=2041"},"modified":"2022-11-22T15:05:37","modified_gmt":"2022-11-22T18:05:37","slug":"o-que-e-etl-conheca-as-etapas-do-processo-de-integracao-de-dados","status":"publish","type":"post","link":"https:\/\/kondado.com.br\/blog\/blog\/2022\/07\/26\/o-que-e-etl-conheca-as-etapas-do-processo-de-integracao-de-dados\/","title":{"rendered":"O que \u00e9 ETL? Conhe\u00e7a as etapas do processo de integra\u00e7\u00e3o de dados!<\/strong>"},"content":{"rendered":"\n

O ETL (extract, transform, loading) \u00e9 um um processo de integra\u00e7\u00e3o de dados que compila informa\u00e7\u00f5es origin\u00e1rias de diversos silos em um \u00fanico banco de dados, onde ser\u00e1 poss\u00edvel cruzar essas informa\u00e7\u00f5es e guardar o hist\u00f3rico completo das diversas \u00e1reas de uma empresa em um \u00fanico lugar. <\/p>\n\n\n\n

Conhe\u00e7a o processo de ETL e descubra se \u00e9 uma boa op\u00e7\u00e3o para sua empresa.<\/p>\n\n\n\n

O conceito e significado de ETL<\/strong><\/h2>\n\n\n\n

Durante os anos 70 as organiza\u00e7\u00f5es passaram a utilizar diversos bancos de dados, ferramentas, softwares e reposit\u00f3rios, a fim de armazenar diferentes informa\u00e7\u00f5es sobre seu neg\u00f3cio, entretanto, a falta de comunica\u00e7\u00e3o entre esses silos dificultava a tarefa de an\u00e1lise de dados de forma simples e organizada.<\/p>\n\n\n\n

A partir dessa problem\u00e1tica, o ETL ganhou for\u00e7a, transformando-se em um m\u00e9todo conhecido de integra\u00e7\u00e3o de dados, j\u00e1 que possibilita a extra\u00e7\u00e3o, transforma\u00e7\u00e3o e o carregamento dessas informa\u00e7\u00f5es origin\u00e1rias de diversas fontes em um \u00fanico reposit\u00f3rio pr\u00e9-selecionado.<\/p>\n\n\n\n

A utiliza\u00e7\u00e3o do ETL junto a um data warehouse fornece o acesso ao contexto hist\u00f3rico completo \u00e0 empresa, essa vis\u00e3o consolidada facilita para que os usu\u00e1rios de diversos n\u00edveis de conhecimento em dados analisem e criem relat\u00f3rios relevantes de forma otimizada.<\/p>\n\n\n\n

<\/div>\n\n\n\n

Como funciona o processo de ETL?<\/strong><\/h2>\n\n\n\n

Original da l\u00edngua inglesa, a sigla ETL significa: extract, transform, load, conhecida em portugu\u00eas como: extrair, transformar e carregar, popular at\u00e9 os dias atuais por ser um dos m\u00e9todos mais utilizados para integra\u00e7\u00e3o de dados. <\/p>\n\n\n\n

O funcionamento do processo ETL \u00e9 definido por essas tr\u00eas etapas, sendo elas:<\/p>\n\n\n\n

1\u00b0 Passo: Extra\u00e7\u00e3o<\/em><\/strong><\/h4>\n\n\n\n

A primeira parte desse processo \u00e9 voltada para extra\u00e7\u00e3o de dados de diversos locais como:<\/p>\n\n\n\n

  • CRMs (Gest\u00e3o de relacionamento com o cliente);<\/li>
  • ERPs (Sistema integrado de gest\u00e3o empresarial);<\/li>
  • Ferramentas de Marketing;<\/li>
  • Softwares de RH;<\/li>
  • Ferramentas de finan\u00e7as; <\/li>
  • Bancos de dados. <\/li><\/ul>\n\n\n\n

    2\u00b0 Passo: Transforma\u00e7\u00e3o<\/em><\/strong><\/h4>\n\n\n\n

    A segunda etapa do processo ETL \u00e9 a transforma\u00e7\u00e3o, que pode ser realizada de diversas formas, como: <\/p>\n\n\n\n

    Cria\u00e7\u00e3o de filtros – As informa\u00e7\u00f5es s\u00e3o separadas por crit\u00e9rios personalizados; <\/p>\n\n\n\n

    Remo\u00e7\u00e3o de dados –  Dados irrelevantes ser\u00e3o removidos.<\/p>\n\n\n\n

    Encriptar dados – Os dados ser\u00e3o protegidos de forma que apenas alguns usu\u00e1rios possuam acesso \u00e0quelas informa\u00e7\u00f5es.<\/p>\n\n\n\n

    Realizar c\u00e1lculos ou agrega\u00e7\u00f5es; <\/p>\n\n\n\n

    Validar dados;<\/p>\n\n\n\n

    3\u00b0 Passo: Carregamento<\/em><\/strong><\/h4>\n\n\n\n

    Ap\u00f3s a transforma\u00e7\u00e3o, \u00e9 necess\u00e1rio realizar o carregamento dos dados em um novo reposit\u00f3rio, dando in\u00edcio na terceira e \u00faltima fase do processo ETL.<\/p>\n\n\n\n

    O carregamento dos dados pode ter um data warehouse ou data mart, por exemplo, como destino. Uma vez que os dados estejam centralizados e organizados, o hist\u00f3rico de informa\u00e7\u00f5es da organiza\u00e7\u00e3o ficar\u00e1 muito mais acess\u00edvel e estar\u00e1 dispon\u00edvel para ser aproveitado para as mais diversas finalidades.<\/p>\n\n\n\n

    \"\"<\/figure><\/div>\n\n\n\n

    Diferen\u00e7as entre ETL e ELT<\/strong><\/h2>\n\n\n\n

    As diferen\u00e7as entre o processo de ETL e do ELT v\u00e3o bem al\u00e9m da invers\u00e3o de suas letras.<\/p>\n\n\n\n

    O ETL carrega os dados j\u00e1 tratados no destino final, enquanto, o ELT inverte essa parte do processo, fazendo com que todos os dados sejam carregados em um banco de dados, para ent\u00e3o passarem pela transforma\u00e7\u00e3o.<\/p>\n\n\n\n

    O processo de ETL \u00e9 mais complexo de ser realizado, j\u00e1 que \u00e9 importante a participa\u00e7\u00e3o de um profissional n\u00e3o s\u00f3 com conhecimento em integra\u00e7\u00e3o de dados, como tamb\u00e9m com conhecimento do neg\u00f3cio para realizar a transforma\u00e7\u00e3o dos dados brutos antes da chegada deles ao destino final. Dito isso, se a inten\u00e7\u00e3o \u00e9 simplificar o processo de integra\u00e7\u00e3o de dados, o ELT \u00e9 a melhor op\u00e7\u00e3o, visto que com a ajuda de ferramentas como a Kondado, ele pode ser feito com alguns cliques, dispensando a necessidade de conhecimento pr\u00e9vio em programa\u00e7\u00e3o, para que o foco das equipes de dados fique inteiramente no valor que eles poder\u00e3o gerar para o neg\u00f3cio atrav\u00e9s de an\u00e1lises e cria\u00e7\u00e3o de indicadores e dashboards.<\/p>\n\n\n\n

    A Kondado foi criada para tornar o processo de integra\u00e7\u00e3o de dados simples e intuitivo, atrav\u00e9s do ELT em escala, possibilitando a cria\u00e7\u00e3o de novas integra\u00e7\u00f5es de forma simples e efetiva. Ap\u00f3s a chegada dos dados no banco de destino, \u00e9 poss\u00edvel que eles sejam transformados com a funcionalidade de \u201cModelos\u201d (conhe\u00e7a mais sobre modelos aqui) que ser\u00e3o acionados por outras integra\u00e7\u00f5es ou modelos e materializam as transforma\u00e7\u00f5es em tabelas no destino, garantindo sempre que novos dados cheguem ao banco, os modelos sejam automaticamente atualizados, trazendo ainda mais praticidade para os esfor\u00e7os de business intelligence e analytics das empresas.<\/p>\n\n\n\n

    <\/div>\n","protected":false},"excerpt":{"rendered":"

    ETL \u00e9 um processo de integra\u00e7\u00e3o de dados de 3 etapas com o objetivo de centralizar os dados em um Data Warehouse ou Data Lake. Conhe\u00e7a o passo a passo do processo ETL!<\/p>\n","protected":false},"author":4,"featured_media":2042,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[46,273,42,441,277,41,240,43,27,275,213],"_links":{"self":[{"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/posts\/2041"}],"collection":[{"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/comments?post=2041"}],"version-history":[{"count":2,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/posts\/2041\/revisions"}],"predecessor-version":[{"id":2141,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/posts\/2041\/revisions\/2141"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/media\/2042"}],"wp:attachment":[{"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/media?parent=2041"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/categories?post=2041"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/kondado.com.br\/blog\/wp-json\/wp\/v2\/tags?post=2041"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}