https://retellai.com/?utm_source=discord&utm_medium=seo logo
je veux utiliser un custom llm
# ❓・ai-evy-support
s
@AI Evy je veux utiliser un custom llm. Quels sont les principaux risque et chose a prendre en compte ?
a
Thanks for tagging me @so16. I'll look through relevant sources and get back to you shortly.
### Answer Lorsque vous utilisez un Custom LLM avec Retell AI, voici les principaux éléments à prendre en compte : ## Intégration du Function Calling Vous devrez gérer manuellement le function calling (appel de fonctions) dans votre LLM personnalisé [(1) ]() . Cela signifie que vous devez définir les fonctions disponibles et gérer leur exécution . Par exemple, pour terminer un appel, vous devez définir une fonction comme celle-ci et gérer sa logique . ## Gestion des Événements WebSocket Avec un Custom LLM, vous devez gérer plusieurs événements via WebSocket, notamment : - L'événement de début d'appel qui arrive avant que l'utilisateur ne décroche [(2) ]() - Les événements de métadonnées pour passer des données entre votre backend et le frontend pendant l'appel [(3) ]() - Les événements d'invocation et de résultat des appels de fonction pour suivre quand vos fonctions sont déclenchées ## Considérations de Performance Contrairement au Retell LLM qui bénéficie du Fast Tier pour une latence réduite et des performances optimisées [(4) ]() , avec un Custom LLM, vous êtes responsable de l'optimisation de la latence . Il est fortement recommandé de mettre à niveau vers les dernières versions des SDK pour améliorer les performances asynchrones et la stabilité [(3) ]() . ## Coûts Le Custom LLM n'entraîne aucun frais supplémentaire de la part de Retell AI (contrairement au Retell LLM qui coûte entre $0.02/min et $0.2/min selon le modèle) . ## Sécurité des Webhooks Pour garantir l'authenticité des requêtes, utilisez la fonction de
vérification de signature disponible dans les nouveaux SDK . Retell AI fournit également une liste d'adresses IP autorisées pour la vérification : 13.248.202.14 et 3.33.169.178 .
​ To learn more, see the sources I considered: [[1] Integrate Function Calling](https://docs.retellai.com/integrate-llm/integrate-function-calling) [[2] How to know when the user pick up with Custom LLM and not with event call started as it comes before the user pick up](https://community.retellai.com/t/how-to-know-when-the-user-pick-up-with-custom-llm-and-not-with-event-call-started-as-it-comes-before-the-user-pick-up/742) [[3] Platform Changelogs | Retell AI](https://www.retellai.com/changelog) [[4] Configure LLM Options](https://docs.retellai.com/build/llm-options) ​
Feel free to tag @AI Evy with additional questions. I also appreciate feedback, it helps me improve.