A eficiência de projetos de dados está profundamente ligada à qualidade da gestão do conhecimento. À medida que a sua empresa lida com um número crescente de fontes de dados e objetos, torna-se fundamental estabelecer uma organização eficaz e garantir a rastreabilidade das informações.
Um componente fundamental da rastreabilidade dos dados são os metadados que, de forma simples, são um componente essencial para a rastreabilidade dos dados. Eles não são meramente “dados sobre dados”; em vez disso, oferecem descrições sucintas que ajudam a compreender o significado dos dados sem a necessidade de acessar diretamente os próprios dados.
Ao utilizar a plataforma Kondado para centralizar e modelar informações de múltiplas fontes, garantimos que os dados processados sejam removidos dos nossos servidores após o cumprimento de sua função. Isso assegura que você mantenha a única cópia dessas informações.
Para gerenciar esse fluxo de dados de forma eficiente, nossa plataforma adota um conceito próprio, denominado “Common Metadata Schema” (CMS). O CMS nos permite padronizar e estruturar informações provenientes de diversas fontes de maneira escalável e ágil. Graças a ele, podemos desenvolver novos conectores rapidamente e estabelecer uma comunicação segura entre nossa interface gráfica e nossos servidores de integração e modelagem.
Recentemente, avançamos ainda mais ao introduzir na nossa plataforma uma funcionalidade de pesquisa de metadados. Agora, você pode procurar por nomes de tabelas, colunas e queries, facilitando o rastreamento completo do fluxo de seus dados. Para utilizar essa funcionalidade, basta acessar a nossa plataforma, digitar o termo desejado na barra superior e pressionar enter:
Você verá os resultados completos da sua busca. No exemplo abaixo, o termo “yourls_yourls_log” foi pesquisado em todos os metadados das suas integrações e modelos. Neste caso, nenhum resultado foi encontrado nos modelos. A busca abrangeu nomes, tabelas, colunas e queries. Na coluna “Hits”, você verá onde o termo procurado foi encontrado:
Agora, imagine que você está manuseando seu destino de dados e encontra uma tabela chamada “bitnami_mautic_ma_email_stats_full”. Você, então, decide saber de onde ela vem, qual é sua frequência e como está configurada. Como já sabe que se trata de uma tabela, você não está interessado em colunas que possuam esse nome.
Você pode aplicar esses filtros clicando em “FILTROS” logo abaixo da caixa de busca:
Basta selecionar os campos que você gostaria que fossem pesquisados e apertar em “BUSCAR”:
Nesse caso, nós buscamos pelo termo e incluímos as “Tabelas Full” e as “Tabelas Deltas” em “Integrações”, tal como o “Nome da tabela” em “Modelos”. Agora você conseguiu localizar qual integração ou modelo controla a tabela:
