Adicionando a fonte de dados
O BigQuery é uma solução de Bigdata criada pelo Google que permite o armazenamento e análise de dados em grande escala. Neste artigo, iremos mostrar como cadastrar um banco BigQuery como destino na plataforma da Kondado, para que você possa centralizar os dados de todas as ferramentas da sua empresa.
Não possui um banco de dados? Veja este tutorial de como criar um banco BigQuery
Adicionando o conector
Neste tutorial mostramos como autenticar o BigQuery com sua conta de email. Essa autenticação pode expirar caso existam políticas de expiração de sessão, revalidação periódica de login ou mudanças nas credenciais de acesso. Se quiser garantir que o seu BigQuery permaneça sempre autenticado, evitando falhas por expiração de sessão, recomendamos utilizar a autenticação via Service Account, utilize esse tutorial.
1) Faça login na plataforma da Kondado, vá para a página de adicionar destinos e selecione o destino do Google BigQuery
2) Clique em AUTORIZAR

3) Selecione a conta que irá utilizar

4) Na próxima tela, marque TODAS as permissões que são requisitadas e clique em Continue

ATENÇÃO: Antes de prosseguir, assegure-se que o seu projeto do Google Cloud está com o faturamento/billing ativo
5) Você será redirecionado para a página da Kondado com o acesso já autorizado. Siga o restante do passo a passo para encontrar o restante das informações necessárias

6) Acesse o seu console do BigQuery na GCP e copie os IDs do projeto (em vermelho na figura abaixo) e o dataset (em verde)

7) Novamente na página do passo (5), cole os valores de projeto e dataset obtidos no passo (6) e dê um nome ao seu destino

ATENÇÃO: Certifique-se que o ID do Dataset NÃO contém o ID do projeto separado por ":". Por exemplo, "id_projeto:id_dataset" está errado. O correto é que o ID do projeto e ID do Dataset estejam cada um separadamente em seus respectivos campos
Agora basta salvar para que seu destino esteja apto para receber as primeiras integrações! Não se esqueça de clicar em "TESTAR CONEXÃO" para conferir se está tudo certo!
Pipelines
Resumo
Diagrama de relacionamento
Clique para expandir
Tabela
Tipo de replicacao: Incremental ou Integral (configuravel pelo usuario)
Notas
Tabelas e Views
Com a nossa integração, você poderá integrar tabelas e também views.
Se a sua tabela possui uma coluna do tipo datetime/timestamp que marca quando um registro foi alterado/inserido, a sua integração pode ser incremental.
Será necessário definir a chave primária, que pode ser definida por várias colunas e se refere à coluna (ou conjunto de colunas) que definem um registro como sendo único.
- Parte desta documentacao foi gerada automaticamente por IA e pode conter erros. Recomendamos verificar informacoes críticas
Integrar dados do BigQuery via Kondado
Configure o conector do Google BigQuery na Kondado para enviar seus dados a um Data Warehouse ou Data Lake.
Acesse a plataforma e selecione o conector
Faça login na plataforma da Kondado, vá para a página de adicionar conectores e escolha o conector do Google BigQuery. Veja também outros conectores disponíveis.
Autorize o acesso à conta Google
Clique em AUTORIZAR, selecione a conta que irá utilizar e marque TODAS as permissões requisitadas na tela seguinte. Clique em Continue para prosseguir.
Copie os IDs do projeto e dataset no GCP
Acesse o console do BigQuery na Google Cloud Platform e copie o ID do projeto e o nome do dataset que deseja integrar.
Configure o conector na Kondado
Cole os valores de projeto e dataset nos respectivos campos, dê um nome ao conector e salve. Certifique-se de que o ID do dataset NÃO contenha o ID do projeto separado por ":".
Teste a conexão e inicie a integração
Clique em "TESTAR CONEXÃO" para validar a configuração. Após confirmar, comece a integrar tabelas e views do BigQuery ao seu destino de dados.