O FTP é um protocolo para transferência de arquivos pela internet. A integração de dados do FTP para o Data Warehouse criada pela Kondado possibilita que você tenha acesso aos dados dos seus arquivos na sua nuvem analítica.
Adicionando o conector
Para automatizar o ETL do FTP com a Kondado para o seu banco de dados, siga os passos abaixo:
1) Tenha em mãos os dados de endereço, porta, usuário e senha do seu serviço de FTP
2) Libere no seu servidor FTP os IPs da Kondado
4) Na plataforma da Kondado, vá para a página de adicionar conectores e selecione o conector do FTP
5) Dê um nome para o seu conector e insira as informações do passo (1)
Ao informar o parâmetro "Endereço", utilize apenas o host, conforme imagem - sem incluir "ftp://" ou mesmo "/" ao final
Agora basta salvar o conector e começar a integrar os seus dados do FTP no Data Lake ou Data Warehouse.
Integrações
Gráfico de relacionamento entre tabelas
CSV
Você poderá indicar o nome de um arquivo ou mesmo o início do nome do arquivo e iremos integrar todos eles.
Uma vez executada, a integração irá guardar a maior data de alteração dos arquivos que leu e, na próxima execução, buscar apenas arquivos que possuem data de alteração posterior.
Para poder absorver arquivos com colunas diferentes, os dados serão pivotados no destino e seguirão o seguinte padrão:
| Campo | Tipo | |
|---|---|---|
row_number |
int |
|
column_number |
int |
|
first_column_value |
text |
|
value |
text |
|
__file_basename |
text |
|
__file_path |
text |
|
__file_name |
text |
|
__kdd_insert_time |
timestamp |
Integrar dados do FTP ao Data Warehouse com a Kondado
Configure o conector FTP na Kondado para automatizar o ETL dos seus arquivos para um Data Lake ou Data Warehouse.
Obtenha as credenciais do servidor FTP
Reúna o endereço (host), porta, usuário e senha do seu serviço de FTP. Você precisará dessas informações para configurar o conector na plataforma.
Libere os IPs da Kondado no servidor FTP
Configure as permissões de firewall no seu servidor FTP para aceitar as conexões provenientes dos IPs da Kondado, garantindo a segurança da integração de dados.
Adicione o conector de FTP na plataforma
Acesse a página de adicionar conectores na Kondado, selecione o conector do FTP, dê um nome e insira as credenciais coletadas no passo 1. No campo "Endereço", informe apenas o host, sem "ftp://" ou "/" no final.
Configure a integração de arquivos CSV
Defina o nome do arquivo ou o prefixo desejado. A integração rastreia a data de alteração e, nas execuções seguintes, processa apenas arquivos mais recentes, enviando os dados para o seu destino.
Valide os dados pivotados no destino
Verifique no Data Warehouse as colunas row_number, column_number, first_column_value, value e os metadados de arquivo (__file_basename, __file_path, __file_name, __kdd_insert_time) para garantir que a estrutura atende às suas necessidades analíticas.
