Comment nous avons construit notre moteur d'IA conversationnelle

Quand on a commencé à faire des chatbots pour nos clients en 2022, on a fait comme tout le monde. On a pris un framework existant, on a branché l'API d'OpenAI, et on a livré. Ça marchait, à peu près. Mais plus on prenait de projets, plus on tombait sur les mêmes problèmes.

Le premier souci, c'est que tous les chatbots se ressemblaient. Des clients différents, des secteurs différents, mais ils sonnaient tous comme le même assistant générique. Le deuxième problème, c'était le monitoring. On n'avait pas vraiment moyen de savoir si le bot aidait les gens ou s'il les agaçait. Et le troisième, et celui-là était un vrai sujet pour certains clients, c'est que des plateformes comme WhatsApp devenaient très bonnes pour détecter les comptes automatisés et les bannir.

Alors vers mi-2023, on a décidé de construire notre propre solution.

La couche d'orchestration

La première chose qu'on a construite, c'est ce qu'on appelle en interne le ConvoEngine. C'est une couche d'abstraction entre nos chatbots et les modèles d'IA. Au lieu de coder en dur quel modèle utiliser, le moteur évalue chaque conversation et choisit le meilleur modèle pour la situation. Certaines conversations ont besoin de la puissance d'un gros modèle. D'autres ont juste besoin d'une réponse rapide pour une FAQ simple. Le moteur gère ça automatiquement.

On a aussi construit un système de mémoire par-dessus. La plupart des frameworks traitent chaque message comme indépendant. Notre système maintient le contexte entre les conversations. Si un client a parlé au bot la semaine dernière, le bot se souvient de ce qu'il a demandé. Ça paraît simple mais ça a fait une différence énorme.

Le problème du stealth

Celui-là était compliqué, et honnêtement on a fait plusieurs itérations avant d'y arriver. Les plateformes de messagerie utilisent l'analyse comportementale pour détecter les bots. Elles regardent la vitesse de frappe, le temps de réponse, les patterns de messages. Si votre bot répond en 200ms à chaque fois avec des messages parfaitement formatés, il se fait repérer assez vite.

Notre StealthLayer introduit de la variabilité contrôlée dans tout ce que fait le bot. Indicateurs de frappe, pauses réalistes, fautes de frappe occasionnelles qui se "corrigent," longueurs de réponse variables. On a même modélisé des courbes de temps de réponse basées sur des données de conversations humaines réelles. Le résultat: nos bots sont, pour ce que la plateforme peut détecter, impossibles à distinguer d'un opérateur humain.

On fait tourner ça en production depuis plus d'un an avec zéro détections.

Des analytics qui comptent vraiment

La dernière pièce, c'était le dashboard. La plupart des analytics de chatbots sont assez basiques. Nous, on avait besoin de plus.

Notre système suit le funnel complet: comment le client est arrivé, ce qu'il a demandé, si le bot a bien répondu, si la conversation a mené à une vente ou un rendez-vous. On a aussi construit du tracking de sentiment qui signale les conversations où le client commence à être frustré.

Pour nos clients, c'est la partie la plus précieuse. Ils voient exactement quelles questions le bot gère bien, lesquelles posent problème, et ils mesurent l'impact business réel.

Où on en est

La plateforme tourne en production dans plusieurs secteurs, des cliniques médicales aux concessionnaires auto en passant par les marques de mode. Chaque déploiement est customisé, mais ils tournent tous sur la même infrastructure. Ce qui veut dire que les améliorations qu'on fait pour un client profitent à tout le monde.

On continue d'itérer. L'IA bouge vite et on intègre constamment de nouveaux modèles. Mais la base est solide, et les résultats parlent d'eux-mêmes.

Si vous pensez à mettre en place de l'IA conversationnelle et que vous voulez quelque chose de plus solide qu'un chatbot basique, on devrait en parler.