@kapa.ai como posso aumentar recursos de uma connection no airbyte v1.4?

Para aumentar os recursos de uma connection no Airbyte, existem quatro níveis de configuração, do menor para o maior precedência: Hierarquia de Configuração | Nível | Escopo | Precedência | | - | - | - | | Instance-wide | Todos os containers | Mais baixa | | Connector definition | Todos os conectores do mesmo tipo | Segunda mais baixa | | Connector-specific | Um conector específico | Segunda mais alta | | Connection-specific | Uma connection específica | Mais alta | ------------------------- 1. Configuração Instance-Wide (via

values.yaml

) Afeta todos os containers. Configure as seguintes variáveis no seu `values.yaml`: •

JOB_MAIN_CONTAINER_CPU_REQUEST

•

JOB_MAIN_CONTAINER_CPU_LIMIT

•

JOB_MAIN_CONTAINER_MEMORY_REQUEST

•

JOB_MAIN_CONTAINER_MEMORY_LIMIT

Ou use o bloco `global.jobs.resources`:

global:
  edition: "enterprise"
  # ...
  jobs:
    resources:
      limits:
        cpu: ## e.g. 250m
        memory: ## e.g. 500m
      requests:
        cpu: ## e.g. 75m
        memory: ## e.g. 150m

[Scaling Airbyte] ------------------------- 2. Configuração por Connector Definition (via SQL) Afeta todos os conectores do mesmo tipo (ex: todos os sources Stripe):

-- Passo 1: encontrar o ID da definição do conector
select * from actor_definition where actor_definition.docker_repository like '%<image-name>';

-- Passo 2: atualizar os recursos
update actor_definition set resource_requirements = '{"jobSpecific": [{"jobType": "sync", "resourceRequirements": {"cpu_limit": "2", "cpu_request": "2", "memory_limit": "2048Mi", "memory_request": "2048Mi"}}]}' where id = '<id-from-step-1>';

------------------------- 3. Configuração por Connection Específica (via SQL) Afeta apenas uma connection específica:

update connection set resource_requirements = '{"cpu_limit": "0.5", "cpu_request": "0.5", "memory_limit": "500Mi", "memory_request": "500Mi"}' where id = '<connection-id>';

[Configuring Connector Resources] ------------------------- > Recomendação: Comece com as configurações padrão do Airbyte. Se suspeitar de problemas de recursos, confirme via logs/observabilidade e aumente os recursos apenas para os conectores que precisam, usando o nível mais específico necessário. [Configuring Connector Resources] 👍 0 button 👎 0 button ℹ️ Tip: Mention @kapa.ai in the thread for follow-ups or DM the app for 1-to-1 help.

@kapa.ai para ajustar os recursos de uma connection, n é mais via API?

Com base nas fontes de conhecimento disponíveis, a documentação menciona que clientes Self-Managed Enterprise podem configurar a alocação de recursos via API para conectores específicos (connector-specific), através do dropdown "Connector resource allocation" na aba Settings de cada conector. [Configuring Connector Resources] No entanto, para a configuração connection-specific (nível mais alto de precedência), a documentação apresenta apenas o método via SQL direto no banco de dados:

update connection set resource_requirements = '{"cpu_limit": "2", "cpu_request": "2", "memory_limit": "2048Mi", "memory_request": "2048Mi"}' where id = '<connection-id>';

[Configuring Connector Resources] As fontes disponíveis não detalham um endpoint de API específico para ajustar recursos a nível de connection. Se precisar de mais detalhes sobre a API, recomendo consultar diretamente a documentação da API do Airbyte. 👍 0 button 👎 0 button ℹ️ Tip: Mention @kapa.ai in the thread for follow-ups or DM the app for 1-to-1 help.