Bonjour,
Je rencontre un problème de facturation/routage de modèle que je n'arrive pas à résoudre malgré une configuration qui me semble correcte.
Ma configuration (Bot Settings > LLM options) :
Tous les modèles sont réglés sur Gemini 2.5 Flash-Lite :
Default Fast LLM : Gemini 2.5 Flash-Lite
Default Best LLM : Gemini 2.5 Flash-Lite
Autonomous Language Model : Gemini 2.5 Flash-Lite
RAG Language Model : Gemini 2.5 Flash-Lite
Fallback LLM : Gemini 2.5 Flash-Lite
Mon Autonomous Node a aussi "Override default model" et "Override default RAG model" activés sur Gemini 2.5 Flash-Lite.
Le problème :
Malgré ça, mes logs de production montrent à chaque message :
Model: Openai:openai • tokens in/out=8537/165 • spend $0.0172
Le bot facture systématiquement en OpenAI, jamais en Gemini, avec un coût d'environ 0,017-0,02 $ par message qui correspond au tarif d'un modèle premium OpenAI, pas à Flash-Lite.
Ce que j'ai déjà testé :
Republié plusieurs fois après chaque changement
Testé en nouvelles conversations à chaque fois
Désactivé/réactivé les overrides du node : aucun effet, toujours OpenAI
Désactivé "Use Cognitive V2" : le bot ne répond plus du tout (timeout 108s, 0 token facturé), donc je l'ai réactivé
Mes questions :
Pourquoi le bot facture-t-il en OpenAI alors qu'aucun de mes réglages ne pointe vers OpenAI ?
Est-ce lié à Cognitive V2 ? Comment forcer l'utilisation de Gemini 2.5 Flash-Lite tout en gardant Cognitive V2 actif (puisqu'il est nécessaire au fonctionnement) ?
J'observe aussi des temps de réponse parfois très longs (jusqu'à 58s). Est-ce lié ?
Merci d'avance pour votre aide.