A eficiência de projetos de dados está profundamente ligada à qualidade da gestão do conhecimento. À medida que a sua empresa lida com um número crescente de fontes de dados e objetos, torna-se fundamental estabelecer uma organização eficaz e garantir a rastreabilidade das informações.
Um componente fundamental da rastreabilidade dos dados são os metadados que, de forma simples, são um componente essencial para a rastreabilidade dos dados. Eles não são meramente "dados sobre dados"; em vez disso, oferecem descrições sucintas que ajudam a compreender o significado dos dados sem a necessidade de acessar diretamente os próprios dados.
Ao utilizar a plataforma Kondado para centralizar e modelar informações de múltiplas fontes, garantimos que os dados processados sejam removidos dos nossos servidores após o cumprimento de sua função. Isso assegura que você mantenha a única cópia dessas informações.
Para gerenciar esse fluxo de dados de forma eficiente, nossa plataforma adota um conceito próprio, denominado "Common Metadata Schema" (CMS). O CMS nos permite padronizar e estruturar informações provenientes de diversas fontes de maneira escalável e ágil. Graças a ele, podemos desenvolver novos conectores rapidamente e estabelecer uma comunicação segura entre nossa interface gráfica e nossos servidores de integração e modelagem.
Recentemente, avançamos ainda mais ao introduzir na nossa plataforma uma funcionalidade de pesquisa de metadados. Agora, você pode procurar por nomes de tabelas, colunas e queries, facilitando o rastreamento completo do fluxo de seus dados. Para utilizar essa funcionalidade, basta acessar a nossa plataforma, digitar o termo desejado na barra superior e pressionar enter:
Você verá os resultados completos da sua busca. No exemplo abaixo, o termo "yourls_yourls_log" foi pesquisado em todos os metadados das suas integrações e modelos. Neste caso, nenhum resultado foi encontrado nos modelos. A busca abrangeu nomes, tabelas, colunas e queries. Na coluna "Hits", você verá onde o termo procurado foi encontrado:
Agora, imagine que você está manuseando seu destino de dados e encontra uma tabela chamada "bitnami_mautic_ma_email_stats_full". Você, então, decide saber de onde ela vem, qual é sua frequência e como está configurada. Como já sabe que se trata de uma tabela, você não está interessado em colunas que possuam esse nome.
Você pode aplicar esses filtros clicando em “FILTROS” logo abaixo da caixa de busca:
Basta selecionar os campos que você gostaria que fossem pesquisados e apertar em “BUSCAR”:
Nesse caso, nós buscamos pelo termo e incluímos as "Tabelas Full" e as "Tabelas Deltas" em "Integrações", tal como o "Nome da tabela" em "Modelos". Agora você conseguiu localizar qual integração ou modelo controla a tabela:
Como usar metadados na Kondado para rastrear dados
Aprenda a utilizar o Common Metadata Schema (CMS) e a pesquisa de metadados da Kondado para documentar, organizar e rastrear suas integrações e modelos de dados.
Entenda o conceito de metadados na plataforma
Familiarize-se com o Common Metadata Schema (CMS) da Kondado, que padroniza informações de diversas fontes de dados de forma escalável, permitindo desenvolver conectores rapidamente.
Acesse a funcionalidade de pesquisa de metadados
Entre na plataforma Kondado e utilize a barra de pesquisa superior para buscar por nomes de tabelas, colunas e queries em suas integrações e modelos.
Aplique filtros para refinar sua busca
Clique em "FILTROS" abaixo da caixa de busca e selecione os campos desejados — como "Tabelas Full", "Tabelas Deltas" em Integrações ou "Nome da tabela" em Modelos — para encontrar exatamente o que procura.
Analise os resultados e rastreie a origem dos dados
Verifique a coluna "Hits" para identificar onde o termo foi encontrado, localizando qual integração ou modelo controla uma tabela específica e entendendo sua frequência e configuração.
Mantenha a governança dos seus destinos de dados
Utilize os metadados para documentar suas tabelas em destinos de dados, garantindo rastreabilidade completa do fluxo de informações e facilitando a gestão do conhecimento da sua empresa.
