Jhon tu chegou a fazer o fork do Google com a mudança no catalog?

To atualizando a versão do airbyte... pois tentei substituir o fivetran por ele, mas não tive sucesso por pequenos motivos. Vamos ver se agora vai.

Legal, atualmente nós deixamso isso ou no BigQuery Transfer Service ou no airflow, mas em ambos os casos as limitações são complicadas e empacam o processo

Galera, tô passando por um problema aqui com conectores do face ads e google ads, eles começam a fazer o sync, mas ai de repente cancela. Estranho que antes o sync tava rolando tranquilo. Alguém chegou a passar por isso?

Dae @[DEPRECATED] Marcos Marx assisti o community call da semana passada com o Robert do Preset, sucesso Man, mandou muito bem

Fala pessoal, estou com uma situação aqui com o Google Ads. Eu preciso extrair os dados a cada hora, até aí tudo bem. O problema começa porque o Google pode fazer ajustes nas métricas após um ou mais dias, por n motivos, como pode ser visto aqui. Hoje com o conector não é possível, porque ele usa o state do singer pra guardar o último dia processado. Após a meia noite, ele só vai processar os dados do dia atual, e o ajuste do dia anterior pode ocorrer ao longo do dia. Alguém já conseguiu resolver isso de uma forma simples? Uma forma que vejo hoje talvez seria ter duas connections, uma pra ser usada na extração a cada hora, e outra pra reprocessar os dados a cada x dias.

Estou tentando usar o conector de Jira com destination BigQuery e to tomando uns erros de

Suppressed: io.airbyte.workers.WorkerException: Normalization process wasn't successful,

alguém ja passou por isso?

seja bem-vindo @Afonso Rodrigues 👋

Galera, tava usando o Airbyte normalmente aqui e de repente não consegui mais acessar a UI dele. Verificando os logs vi os seguintes erros:

airbyte-server      |2021-06-30 18:11:59 ERROR i.a.s.RequestLogger(filter):105 - {workspace_app_root=/tmp/workspace/server/logs} - REQ 192.168.32.3 POST 500 /api/v1/source_definitions/list_latest - {"workspaceId":"5ae6b09b-fdec-41af-aaf7-7d94cfc33ef6"}

airbyte-server      | 2021-06-30 18:11:59 ERROR i.a.s.e.UncaughtExceptionMapper(toResponse):42 - {workspace_app_root=/tmp/workspace/server/logs} - Uncaught exception

Alguém passou pela mesma situação?

Opa, boa tarde a todos. Obrigado @[DEPRECATED] Marcos Marx

Bom dia, pessoal! Alguém ai usando o airbyte pra extrair dados do Mix Panel? Tá rolando uma situação aqui um tanto estranha, a gente fez a configuração da conexão com o MixPanel e tava rolando ok, ficou basicamente 1 mês executando normalmente, e ai há uns dois dias o sync não tá funcionando, ele começa e não finaliza nunca, alguém passou por isso tbém?

Fala pessoal, tudo bem? Galera, estamos trabalhando na aquisição de dados do Google Ads usando o Airbyte e estamos sempre com um delay de 2 dias de dados, sabem me dizer se isso é algo do Airbyte ou se é uma limitação da própria API? Tentei achar algo na doc do Google Ads, porém não encontrei nada sobre

Os erros que são tratados pelo CDK podem ser passados pra frente? Pelo visto o conector de Google Analytics está dando vários erros tentando pegar dados dos streams mas não conseguimos ver qual erro da API do google que foi, somente um erro genérico do CDK

Olá Pessoal! Alguém aqui a utilizar Airbyte (in production) para replicar dados de Postgres (Logical Replication-CDC) para Snowflake?

Olá pessoal! Abrimos uma nova vaga no Veezoo para Product Expert (Semantic Data Engineer). Somos uma startup da Suíça 🇨🇭, fundada por dois brasileiros, na área de self-service analytics, que permite que você faça perguntas em linguagem natural pra obter respostas dos seus dados. A nossa missão é democratizar o acesso aos dados, usando o que há de mais avançado em tecnologias de AI e NLP. 🤖 Estamos expandindo para o mercado brasileiro 🇧🇷, depois do nosso sucesso na Europa 🇪🇺 com clientes como AXA, Zurich Insurance e outros grandes clientes nas áreas de varejo, linhas aéreas, entre outros. Nessa vaga, você vai entender a fundo como o Veezoo e o nosso Semantic Layer funcionam para: - modelar os dados para clientes no Veezoo de maneira semântica, dando suporte e garantindo o sucesso de projetos; - preparar demos com dados no Veezoo e apresentá-los para possíveis clientes; - criar materiais de treinamento online e trabalhar com Marketing para criar conteúdo relacionado a tópicos como self-service analytics, data engineering, modern data stack, etc. 🎯 Para isso, procuramos profissionais com vasta experiência em: - SQL e data warehouses como Snowflake ❄️, BigQuery, etc; - ferramentas de BI como Power BI, Tableau, Qlik etc. Looker seria um diferencial; - conhecimento de ETL/ELT como Airbyte, Fivetran, dbt; - excelente comunicação (incl. escrita) em Português 🇧🇷 e Inglês 🇺🇸 avançado; - experiência lidando com clientes e gerenciando projetos. 💪 O que oferecemos: - Oportunidade de trabalhar com uma equipe internacional em uma startup de grande potencial em fase de crescimento com tecnologias de ponta! - Salário competitivo - Tipo de contrato: PJ - Modelo de trabalho: 100% remoto Se você tiver interesse em fazer parte da nossa equipe e mudar a maneira como as pessoas usam dados, envie o seu CV para: join+brasil@veezoo.com (Estou postando aqui pq a vaga é exclusivamente para brasileiros, mas posso movê-la, se fizer mais sentido)

Bom dia galera ! Alguém aqui já usou o conector do notion ? Estou tendo alguns problemas com o retorno dos dados dele e mudanca de schema e qualquer ajuda seria bem vinda haha

Fala pessoal, boa tarde ! Estou usando o conector do postgres para fazer o load de algumas big tables para o s3 e gostaria de saber se só consigo fazer o load de uma tabela por vez em cada conexao ou se existe um parametro que eu configure para habilitar a sincronizacao de mais de uma tabela por vez em uma conexao ?

Everyone from Airbyte Team was removed from this channel because @[DEPRECATED] Marcos Marx archived the channel.

archived the channel