O FTP é um protocolo para transferência de arquivos pela internet. A integração de dados do FTP para o Data Warehouse criada pela Kondado possibilita que você tenha acesso aos dados dos seus arquivos na sua nuvem analítica.
Adicionando o conector
Para automatizar o ETL do FTP com a Kondado para o seu banco de dados, siga os passos abaixo:
1) Tenha em mãos os dados de endereço, porta, usuário e senha do seu serviço de FTP
2) Libere no seu servidor FTP os IPs da Kondado
4) Na plataforma da Kondado, vá para a página de adicionar conectores e selecione o conector do FTP
5) Dê um nome para o seu conector e insira as informações do passo (1)
Ao informar o parâmetro “Endereço”, utilize apenas o host, conforme imagem – sem incluir “ftp://” ou mesmo “/” ao final
Agora basta salvar o conector e começar a integrar os seus dados do FTP no Data Lake ou Data Warehouse.
Integrações
Gráfico de relacionamento entre tabelas
CSV
Você poderá indicar o nome de um arquivo ou mesmo o início do nome do arquivo e iremos integrar todos eles.
Uma vez executada, a integração irá guardar a maior data de alteração dos arquivos que leu e, na próxima execução, buscar apenas arquivos que possuem data de alteração posterior.
Para poder absorver arquivos com colunas diferentes, os dados serão pivotados no destino e seguirão o seguinte padrão:
| Campo | Tipo | |
|---|---|---|
row_number |
int |
|
column_number |
int |
|
first_column_value |
text |
|
value |
text |
|
__file_basename |
text |
|
__file_path |
text |
|
__file_name |
text |
|
__kdd_insert_time |
timestamp |