O BigQuery é uma solução de Bigdata criada pelo Google que permite o armazenamento e análise de dados em grande escala. A integração de dados do BigQuery para o Data Warehouse criada pela Kondado possibilita que você tenha acesso aos seus dados do BigQuery na sua nuvem analítica.
Adicionando o conector
Para automatizar o ETL do BigQuery com a Kondado para o seu banco de dados, siga os passos abaixo:
1) Faça login na plataforma da Kondado, vá para a página de adicionar conectores e selecione o conector do Google BigQuery
2) Clique em AUTORIZAR
3) Selecione a conta que irá utilizar
4) Na próxima tela, marque TODAS as permissões que são requisitadas e clique em Continue
5) Você será redirecionado para a página da Kondado com o acesso já autorizado. Siga o restante do passo a passo para encontrar o restante das informações necessárias
6) Acesse o seu console do BigQuery na GCP e copie os IDs do projeto (em vermelho na figura abaixo) e o dataset (em verde)
7) Novamente na página do passo (5), cole os valores de projeto e dataset obtidos no passo (6) e dê um nome ao seu conector
ATENÇÃO: Certifique-se que o ID do Dataset NÃO contém o ID do projeto separado por “:”. Por exemplo, “id_projeto:id_dataset” está errado. O correto é que o ID do projeto e ID do Dataset estejam cada um separadamente em seus respectivos campos
Agora basta salvar o conector e começar a integrar os seus dados do BigQuery no Data Lake ou Data Warehouse.
Não se esqueça de clicar em “TESTAR CONEXÃO” para conferir se está tudo certo!
Integrações
Gráfico de relacionamento entre tabelas
Tabelas e Views
- Com a nossa integração, você poderá integrar tabelas e também views
- Caso a sua tabela possua uma coluna do tipo datetime/timestamp que marque quando um registro foi alterado/inserido, sua integração poderá ser incremental
- Será necessário definir a chave primária, que pode ser definida por várias colunas e se refere à coluna (ou conjunto de colunas) que definem um registro como sendo único