O S3 (Simple Storage Service) é um serviço da AWS feito para armazenamento de arquivos de forma escalável. A integração de dados do S3 para o Data Warehouse criada pela Kondado possibilita que você tenha acesso a arquivos CSV na sua nuvem analítica.
Adicionando o conector
Para automatizar o ETL do S3 com a Kondado para o seu banco de dados, siga os passos abaixo.
1) Na sua conta AWS, clique na parte superior direita e selecione “My Security Credentials”
2) Na nova página, selecione “Access Keys (access key ID and secret access key)”
3) Clique em “Create New Access Key”
4) Clique em “Show Access Key” e copie os valores exibidos
5) Na plataforma da Kondado, vá para a página de adicionar conectores e selecione o conector do S3
6) Dê um nome para o seu conector, preencha os valores obtidos no passo (4) e o nome do bucket onde os seus arquivos estão.
Agora basta salvar o conector e começar a integrar os seus CSVs do S3 no seu Data Lake ou Data Warehouse
Integrações
Gráfico de relacionamento entre tabelas
CSV
Você poderá indicar o nome de um arquivo ou mesmo o início do nome do arquivo e iremos integrar todos eles.
Uma vez executada, a integração irá guardar a maior data de alteração dos arquivos que leu e, na próxima execução, buscar apenas arquivos que possuem data de alteração posterior.
Para poder absorver arquivos com colunas diferentes, os dados serão pivotados no destino e seguirão o seguinte padrão:
| Campo | Tipo | |
|---|---|---|
row_number |
int |
|
column_number |
int |
|
first_column_value |
text |
|
value |
text |
|
__file_basename |
text |
|
__file_path |
text |
|
__file_name |
text |
|
__kdd_insert_time |
timestamp |