<@U04S8PLJWMT> j'ai un probleme avec airbyte 0.63....
# ask-ai
k
@kapa.ai j'ai un probleme avec airbyte 0.63.5 et le connector builder 2.3.0, explique moi les problemes de cette version
k
D’après les informations disponibles dans les sources, il n’y a pas de mention explicite de problèmes connus spécifiques entre Airbyte v0.63.5 et le Connector Builder v2.3.0. Les notes de version de juillet 2024 (qui couvrent Airbyte v0.63.5 à v0.63.13) mettent en avant plusieurs nouveautés et améliorations, notamment l’authentification native, le reporting de la progression des synchronisations toutes les 10 secondes, et des améliorations sur la gestion des connecteurs dans l’interface. Concernant le Connector Builder, il est mentionné que des fonctionnalités comme l’Undo/Redo et une expérience plein écran ont été ajoutées, mais aucun problème majeur n’est signalé pour la version 2.3.0 dans ces notes de version. Cependant, il est important de noter que certaines versions récentes de connecteurs (par exemple, Postgres v2.3.0) nécessitent une version minimale de la plateforme Airbyte (v0.63.7) pour fonctionner correctement. Si tu utilises un connecteur qui requiert une version supérieure à ta plateforme (ici 0.63.5), tu pourrais rencontrer des erreurs du type : « You must upgrade your platform version to use this connector version. Either downgrade your connector or upgrade platform to 0.63.7 » Ce problème a été observé avec d’autres destinations comme BigQuery ou Postgres, et il est probable qu’il puisse aussi concerner le Connector Builder si tu utilises des connecteurs générés ou mis à jour récemment [Voir exemple d’erreur](https://github.com/airbytehq/airbyte/issues/59702). En résumé : - Aucun problème spécifique n’est documenté entre Airbyte 0.63.5 et Connector Builder 2.3.0 dans les sources. - Attention : certains connecteurs récents nécessitent Airbyte ≥ 0.63.7. Si tu utilises des connecteurs générés avec le Builder en version récente, il est possible que tu rencontres des incompatibilités si ta plateforme est en 0.63.5 [Voir notes de version août 2024](https://docs.airbyte.com/release_notes/aug_2024). Si tu rencontres une erreur précise, n’hésite pas à la partager pour une analyse plus détaillée.
k
@kapa.ai voici mon connecteur cloudflare "version: 2.3.0 type: DeclarativeSource check: type: CheckStream stream_names: - videos definitions: streams: videos: type: DeclarativeStream name: videos retriever: type: SimpleRetriever requester: $ref: '#/definitions/base_requester' path: /client/v4/accounts/{{ config['account_id'] | trim }}/stream http_method: GET error_handler: type: CompositeErrorHandler error_handlers: - type: DefaultErrorHandler response_filters: - type: HttpResponseFilter action: FAIL http_codes: - 400 - 401 - 403 - 404 - 405 - 429 - 500 error_message: >- ERREUR CLOUDFLARE: {{ response.status_code }} - {{ response.text }} request_headers: User-Agent: curl/7.68.0 Content-Type: application/json Authorization: Bearer {{ config['api_token'] | trim }} record_selector: type: RecordSelector extractor: type: DpathExtractor field_path: - result primary_key: - uid schema_loader: type: InlineSchemaLoader schema: $ref: '#/schemas/videos' base_requester: type: HttpRequester url_base: https://api.cloudflare.com authenticator: {} streams: - $ref: '#/definitions/streams/videos' spec: type: Spec connection_specification: type: object $schema: http://json-schema.org/draft-07/schema# required: - account_id - api_token properties: api_token: type: string order: 1 title: API Token description: Token API Cloudflare. airbyte_secret: true account_id: type: string order: 0 title: Account ID description: Votre ID de compte Cloudflare. additionalProperties: true metadata: autoImportSchema: videos: false schemas: videos: type: object $schema: http://json-schema.org/draft-07/schema# properties: uid: type: string meta: type: object size: type: number status: type: object created: type: string duration: type: number modified: type: string thumbnail: type: string readyToStream: type: boolean additionalProperties: true" il ne fonctionne pas sur ma version d'airbyte "
Copy code
Traceback (most recent call last):
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/sources/declarative/manifest_declarative_source.py", line 194, in _validate_source
    validate(self._source_config, declarative_component_schema)
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/jsonschema/validators.py", line 934, in validate
    raise error
jsonschema.exceptions.ValidationError: 'type' is a required property

Failed validating 'required' in schema[0]:
    {'description': 'Authenticator for requests authenticated with an API '
                    'token injected as an HTTP request header.',
     'properties': {'$parameters': {'additionalProperties': True,
                                    'type': 'object'},
                    'api_token': {'description': 'The API key to inject in '
                                                 'the request. Fill it in '
                                                 'the user inputs.',
                                  'examples': ["{{ config['api_key'] }}",
                                               'Token token={{ '
                                               "config['api_key'] }}"],
                                  'interpolation_context': ['config'],
                                  'title': 'API Key',
                                  'type': 'string'},
                    'header': {'description': 'The name of the HTTP header '
                                              'that will be set to the API '
                                              'key. This setting is '
                                              'deprecated, use inject_into '
                                              'instead. Header and '
                                              'inject_into can not be '
                                              'defined at the same time.',
                               'examples': ['Authorization',
                                            'Api-Token',
                                            'X-Auth-Token'],
                               'interpolation_context': ['config'],
                               'title': 'Header Name',
                               'type': 'string'},
                    'inject_into': {'$ref': '#/definitions/RequestOption',
                                    'description': 'Configure how the API '
                                                   'Key will be sent in '
                                                   'requests to the source '
                                                   'API. Either '
                                                   'inject_into or header '
                                                   'has to be defined.',
                                    'examples': [{'field_name': 'Authorization',
                                                  'inject_into': 'header'},
                                                 {'field_name': 'authKey',
                                                  'inject_into': 'request_parameter'}],
                                    'title': 'Inject API Key Into Outgoing '
                                             'HTTP Request'},
                    'type': {'enum': ['ApiKeyAuthenticator'],
                             'type': 'string'}},
     'required': ['type'],
     'title': 'API Key Authenticator',
     'type': 'object'}

On instance:
    {}

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/connector_builder/main.py", line 75, in <module>
    print(handle_request(sys.argv[1:]))
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/connector_builder/main.py", line 69, in handle_request
    source = create_source(config, limits)
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/connector_builder/connector_builder_handler.py", line 45, in create_source
    return ManifestDeclarativeSource(
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/sources/declarative/manifest_declarative_source.py", line 70, in __init__
    self._validate_source()
  File "/home/airbyte/.pyenv/versions/3.9.19/lib/python3.9/site-packages/airbyte_cdk/sources/declarative/manifest_declarative_source.py", line 196, in _validate_source
    raise ValidationError("Validation against json schema defined in declarative_component_schema.yaml schema failed") from e
jsonschema.exceptions.ValidationError: Validation against json schema defined in declarative_component_schema.yaml schema failed
"
k
A message from kapa.ai
Le problème principal dans ton connecteur Cloudflare vient de la configuration de l’authentificateur dans la définition
base_requester
. Tu as :
Copy code
yaml authenticator: {}
Or, d’après la documentation officielle Airbyte, l’authentificateur doit obligatoirement spécifier le champ
type
(par exemple
ApiKeyAuthenticator
) et les propriétés associées, comme
header
et
api_token
 :
Copy code
yaml authenticator:   type: ApiKeyAuthenticator   header: Authorization   api_token: "{{ config['api_token'] | trim }}"
L’erreur que tu obtiens :
Copy code
jsonschema.exceptions.ValidationError: 'type' is a required property
indique précisément que le champ
type
est manquant dans l’objet
authenticator
. Airbyte attend un objet conforme au schéma de l’authentificateur, et
{}
ne respecte pas ce schéma : il manque au minimum le champ
type
et les autres propriétés requises selon le type d’authentificateur choisi [source documentation](https://docs.airbyte.com/platform/connector-development/config-based/understanding-the-yaml-file/authentication). Comment corriger ? Remplace la section :
Copy code
yaml authenticator: {}
par :
Copy code
yaml authenticator:   type: ApiKeyAuthenticator   header: Authorization   api_token: "{{ config['api_token'] | trim }}"
Cela devrait résoudre l’erreur de validation du schéma. Résumé - Le champ
type
est obligatoire dans la définition de l’authentificateur. - La configuration
{}
n’est pas valide. - Utilise la structure recommandée pour
ApiKeyAuthenticator
ou un autre authentificateur selon ton besoin. Pour plus de détails, consulte la documentation officielle sur les authentificateurs Airbyte : [Authentication - Config-based YAML](https://docs.airbyte.com/platform/connector-development/config-based/understanding-the-yaml-file/authentication).
k
@kapa.ai corrige le
k
A message from kapa.ai
Voici la version corrigée de ton connecteur Cloudflare : il faut spécifier un authentificateur valide dans la définition
base_requester
, en utilisant le type
ApiKeyAuthenticator
avec les champs requis
header
et
api_token
 :
Copy code
yaml version: 2.3.0  type: DeclarativeSource  check:   type: CheckStream   stream_names:     - videos  definitions:   streams:     videos:       type: DeclarativeStream       name: videos       retriever:         type: SimpleRetriever         requester:           $ref: '#/definitions/base_requester'           path: /client/v4/accounts/{{ config['account_id'] | trim }}/stream           http_method: GET           error_handler:             type: CompositeErrorHandler             error_handlers:               - type: DefaultErrorHandler                 response_filters:                   - type: HttpResponseFilter                     action: FAIL                     http_codes:                       - 400                       - 401                       - 403                       - 404                       - 405                       - 429                       - 500                     error_message: >-                       ERREUR CLOUDFLARE: {{ response.status_code }} - {{                       response.text }}           request_headers:             User-Agent: curl/7.68.0             Content-Type: application/json         record_selector:           type: RecordSelector           extractor:             type: DpathExtractor             field_path:               - result       primary_key:         - uid       schema_loader:         type: InlineSchemaLoader         schema:           $ref: '#/schemas/videos'   base_requester:     type: HttpRequester     url_base: https://api.cloudflare.com     authenticator:       type: ApiKeyAuthenticator       header: Authorization       api_token: "{{ config['api_token'] | trim }}"  streams:   - $ref: '#/definitions/streams/videos'  spec:   type: Spec   connection_specification:     type: object     $schema: http://json-schema.org/draft-07/schema#     required:       - account_id       - api_token     properties:       api_token:         type: string         order: 1         title: API Token         description: Token API Cloudflare.         airbyte_secret: true       account_id:         type: string         order: 0         title: Account ID         description: Votre ID de compte Cloudflare.     additionalProperties: true  metadata:   autoImportSchema:     videos: false  schemas:   videos:     type: object     $schema: http://json-schema.org/draft-07/schema#     properties:       uid:         type: string       meta:         type: object       size:         type: number       status:         type: object       created:         type: string       duration:         type: number       modified:         type: string       thumbnail:         type: string       readyToStream:         type: boolean     additionalProperties: true
Explication : L’objet
authenticator
doit obligatoirement contenir le champ
type
et les propriétés attendues par le schéma, ici pour
ApiKeyAuthenticator
 :
header
et
api_token
 [source](https://docs.airbyte.com/platform/connector-development/config-based/understanding-the-yaml-file/authentication). Cela corrigera l’erreur :
'type' is a required property
.
k
@kapa.ai voici l'erreur quand je teste la source aprés avoir publié le connecteur en localc "2025-11-25 163746 [46mplatform[0m > Docker volume job log path: /tmp/workspace/b0fadbae-2389-4db2-9b0c-5f4300221caa/0/logs.log 2025-11-25 163746 [46mplatform[0m > Executing worker wrapper. Airbyte version: 0.63.5 2025-11-25 163746 [46mplatform[0m > 2025-11-25 163746 [46mplatform[0m > Using default value for environment variable SIDECAR_KUBE_CPU_LIMIT: '2.0' 2025-11-25 163746 [46mplatform[0m > ----- START CHECK ----- 2025-11-25 163746 [46mplatform[0m > 2025-11-25 163746 [46mplatform[0m > Using default value for environment variable SOCAT_KUBE_CPU_LIMIT: '2.0' 2025-11-25 163746 [46mplatform[0m > Using default value for environment variable SIDECAR_KUBE_CPU_REQUEST: '0.1' 2025-11-25 163746 [46mplatform[0m > Using default value for environment variable SOCAT_KUBE_CPU_REQUEST: '0.1' 2025-11-25 163746 [46mplatform[0m > Checking if airbyte/source-declarative-manifest:2.0.0 exists... 2025-11-25 163746 [46mplatform[0m > airbyte/source-declarative-manifest:2.0.0 was found locally. 2025-11-25 163746 [46mplatform[0m > Creating docker container = source-declarative-manifest-check-b0fadbae-2389-4db2-9b0c-5f4300221caa-0-yduhl with resources io.airbyte.config.ResourceRequirements@e6f4c6c[cpuRequest=,cpuLimit=,memoryRequest=,memoryLimit=,additionalProperties={}] and allowedHosts null 2025-11-25 163746 [46mplatform[0m > Preparing command: docker run --rm --init -i -w /data/b0fadbae-2389-4db2-9b0c-5f4300221caa/0 --log-driver none --name source-declarative-manifest-check-b0fadbae-2389-4db2-9b0c-5f4300221caa-0-yduhl --network host -v airbyte_workspace:/data -v oss_local_root:/local -e DEPLOYMENT_MODE=OSS -e WORKER_CONNECTOR_IMAGE=airbyte/source-declarative-manifest:2.0.0 -e AUTO_DETECT_SCHEMA=true -e LAUNCHDARKLY_KEY= -e SOCAT_KUBE_CPU_REQUEST=0.1 -e SOCAT_KUBE_CPU_LIMIT=2.0 -e FIELD_SELECTION_WORKSPACES= -e USE_STREAM_CAPABLE_STATE=true -e AIRBYTE_ROLE=dev -e WORKER_ENVIRONMENT=DOCKER -e APPLY_FIELD_SELECTION=false -e WORKER_JOB_ATTEMPT=0 -e OTEL_COLLECTOR_ENDPOINT=http://host.docker.internal:4317 -e FEATURE_FLAG_CLIENT=config -e AIRBYTE_VERSION=0.63.5 -e WORKER_JOB_ID=b0fadbae-2389-4db2-9b0c-5f4300221caa airbyte/source-declarative-manifest:2.0.0 check --config source_config.json 2025-11-25 163746 [46mplatform[0m > Reading messages from protocol version 0.2.0 2025-11-25 163749 [46mplatform[0m > Traceback (most recent call last): 2025-11-25 163749 [46mplatform[0m > File "/airbyte/integration_code/main.py", line 8, in <module> 2025-11-25 163749 [46mplatform[0m > run() 2025-11-25 163749 [46mplatform[0m > File "/airbyte/integration_code/source_declarative_manifest/run.py", line 53, in run 2025-11-25 163749 [46mplatform[0m > handle_command(args) 2025-11-25 163749 [46mplatform[0m > File "/airbyte/integration_code/source_declarative_manifest/run.py", line 31, in handle_command 2025-11-25 163749 [46mplatform[0m > source = create_manifest(args) 2025-11-25 163749 [46mplatform[0m > File "/airbyte/integration_code/source_declarative_manifest/run.py", line 48, in create_manifest 2025-11-25 163749 [46mplatform[0m > return ManifestDeclarativeSource(config.get("__injected_declarative_manifest")) 2025-11-25 163749 [46mplatform[0m > File "/usr/local/lib/python3.9/site-packages/airbyte_cdk/sources/declarative/manifest_declarative_source.py", line 70, in init 2025-11-25 163749 [46mplatform[0m > self._validate_source() 2025-11-25 163749 [46mplatform[0m > File "/usr/local/lib/python3.9/site-packages/airbyte_cdk/sources/declarative/manifest_declarative_source.py", line 208, in _validate_source 2025-11-25 163749 [46mplatform[0m > raise ValidationError( 2025-11-25 163749 [46mplatform[0m > jsonschema.exceptions.ValidationError: The manifest version 2.3.0 is greater than the airbyte-cdk package version (2.0.0). Your manifest may contain features that are not in the current CDK version. 2025-11-25 163749 [46mplatform[0m > Check connection job subprocess finished with exit code 1 2025-11-25 163749 [46mplatform[0m > Unexpected error while checking connection: io.airbyte.workers.exception.WorkerException: Error checking connection status: no status nor failure reason were outputted at io.airbyte.workers.WorkerUtils.throwWorkerException(WorkerUtils.java:269) ~[io.airbyte-airbyte-commons-worker-0.63.5.jar:?] at io.airbyte.workers.general.DefaultCheckConnectionWorker.run(DefaultCheckConnectionWorker.java:120) ~[io.airbyte-airbyte-commons-worker-0.63.5.jar:?] at io.airbyte.workers.general.DefaultCheckConnectionWorker.run(DefaultCheckConnectionWorker.java:44) ~[io.airbyte-airbyte-commons-worker-0.63.5.jar:?] at io.airbyte.workers.temporal.TemporalAttemptExecution.get(TemporalAttemptExecution.java:138) ~[io.airbyte-airbyte-workers-0.63.5.jar:?] at io.airbyte.workers.temporal.check.connection.CheckConnectionActivityImpl.lambda$runWithJobOutput$1(CheckConnectionActivityImpl.java:227) ~[io.airbyte-airbyte-workers-0.63.5.jar:?] at io.airbyte.commons.temporal.HeartbeatUtils.withBackgroundHeartbeat(HeartbeatUtils.java:57) ~[io.airbyte-airbyte-commons-temporal-core-0.63.5.jar:?] at io.airbyte.workers.temporal.check.connection.CheckConnectionActivityImpl.runWithJobOutput(CheckConnectionActivityImpl.java:212) ~[io.airbyte-airbyte-workers-0.63.5.jar:?] at java.base/jdk.internal.reflect.DirectMethodHandleAccessor.invoke(DirectMethodHandleAccessor.java:103) ~[?:?] at java.base/java.lang.reflect.Method.invoke(Method.java:580) ~[?:?] at io.temporal.internal.activity.RootActivityInboundCallsInterceptor$POJOActivityInboundCallsInterceptor.executeActivity(RootActivityInboundCallsInterceptor.java:64) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.activity.RootActivityInboundCallsInterceptor.execute(RootActivityInboundCallsInterceptor.java:43) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.activity.ActivityTaskExecutors$BaseActivityTaskExecutor.execute(ActivityTaskExecutors.java:107) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.activity.ActivityTaskHandlerImpl.handle(ActivityTaskHandlerImpl.java:124) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.worker.ActivityWorker$TaskHandlerImpl.handleActivity(ActivityWorker.java:278) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.worker.ActivityWorker$TaskHandlerImpl.handle(ActivityWorker.java:243) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.worker.ActivityWorker$TaskHandlerImpl.handle(ActivityWorker.java:216) ~[temporal-sdk-1.22.3.jar:?] at io.temporal.internal.worker.PollTaskExecutor.lambda$process$0(PollTaskExecutor.java:105) ~[temporal-sdk-1.22.3.jar:?] at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144) ~[?:?] at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642) ~[?:?] at java.base/java.lang.Thread.run(Thread.java:1583) [?:?] 2025-11-25 163749 [46mplatform[0m > 2025-11-25 163749 [46mplatform[0m > ----- END CHECK ----- 2025-11-25 163749 [46mplatform[0m > "
k
A message from kapa.ai
L’erreur que tu rencontres :
Copy code
jsonschema.exceptions.ValidationError: The manifest version 2.3.0 is greater than the airbyte-cdk package version (2.0.0). Your manifest may contain features that are not in the current CDK version.
signifie que la version de ton manifest (2.3.0) est supérieure à la version du package airbyte-cdk (2.0.0) utilisée par ta plateforme Airbyte (ici 0.63.5). Cela provoque une incompatibilité : certaines fonctionnalités du manifest ne sont pas supportées par la version du CDK embarquée dans ta plateforme. Ce problème est bien documenté dans les issues Airbyte : il est nécessaire de faire correspondre la version du manifest (et donc du Connector Builder) avec la version du CDK supportée par ta plateforme. Si tu utilises un manifest généré avec une version plus récente du Connector Builder, il peut contenir des champs ou des fonctionnalités non reconnues par ta version d’Airbyte, ce qui provoque ce type d’erreur : > "You must upgrade your platform version to use this connector version. Either downgrade your connector or upgrade platform to 0.63.7" [source](https://github.com/airbytehq/airbyte/issues/59702) Solution : - Soit tu rétrogrades la version de ton manifest (et du Connector Builder) à une version compatible avec Airbyte 0.63.5 (par exemple manifest 2.0.0). - Soit tu mets à jour ta plateforme Airbyte vers une version plus récente (≥ 0.63.7) qui supporte les manifests générés par le Connector Builder 2.3.0. Tant que la version du manifest est supérieure à celle du CDK embarqué, tu ne pourras pas utiliser ce connecteur sur ta plateforme actuelle. C’est une limitation connue et documentée dans la communauté Airbyte : il faut toujours vérifier la compatibilité entre la version du manifest, du Connector Builder et de la plateforme Airbyte utilisée [source](https://github.com/airbytehq/airbyte/issues/59702). Résumé : - Incompatibilité de version manifest/CDK. - Downgrade le manifest ou upgrade la plateforme pour résoudre le problème.