Cómo construimos nuestro motor de IA conversacional

Cuando empezamos a hacer chatbots para clientes allá por 2022, hicimos lo que hacen todos. Agarramos un framework ya hecho, le conectamos la API de OpenAI, y lo mandamos a producción. Funcionaba, más o menos. Pero cuantos más proyectos tomábamos, más nos topábamos con los mismos problemas.

El primer problema era que todos los chatbots se sentían iguales. Clientes diferentes, industrias diferentes, pero todos sonaban como el mismo asistente genérico. El segundo problema era el monitoreo. No teníamos manera real de saber si el bot estaba ayudando o simplemente molestando a la gente. Y el tercer problema, que para algunos clientes era un tema crítico, era que plataformas como WhatsApp se estaban poniendo muy buenas para detectar cuentas automatizadas y banearlas.

Así que a mediados de 2023 tomamos la decisión de construir lo nuestro.

Empezando por la capa de orquestación

Lo primero que armamos fue lo que internamente llamamos ConvoEngine. Es básicamente una capa de abstracción que se sienta entre nuestros chatbots y los modelos de IA. En vez de hardcodear qué modelo usar, el engine evalúa cada conversación y elige el mejor modelo para la situación. Algunas conversaciones necesitan la potencia de razonamiento de un modelo grande. Otras solo necesitan una respuesta rápida y barata para un FAQ simple. El engine maneja eso automáticamente.

También construimos un sistema de memoria encima. La mayoría de los frameworks de chatbots tratan cada mensaje como independiente. Nuestro sistema mantiene contexto entre conversaciones, así que si un cliente habló con el bot la semana pasada, el bot se acuerda de qué preguntó. Suena simple pero hizo una diferencia enorme en lo natural que se sienten las conversaciones.

El problema del stealth

Este fue complicado y honestamente, pasamos por varias iteraciones antes de que nos quedara bien. Las plataformas de mensajería usan análisis de comportamiento para detectar bots. Miran la velocidad de tipeo, el tiempo de respuesta, patrones de mensajes, y un montón de otras señales. Si tu bot responde en 200ms cada vez con mensajes perfectamente formateados, lo detectan bastante rápido.

Nuestro StealthLayer introduce variabilidad controlada en todo lo que el bot hace. Indicadores de tipeo, pausas realistas entre mensajes, errores de tipeo ocasionales que se "corrigen," longitudes de respuesta variables. Incluso modelamos curvas de tiempo de respuesta basadas en datos de conversaciones humanas reales. El resultado es que nuestros bots son, hasta donde la plataforma puede saber, indistinguibles de un operador humano.

Llevamos esto corriendo en producción por más de un año con cero detecciones.

Analytics que importan de verdad

La última pieza fue el dashboard. La mayoría de los analytics de chatbots son bastante básicos, te dicen cuántos mensajes se mandaron y capaz un score de satisfacción. Nosotros necesitábamos más que eso.

Nuestro sistema de analytics trackea el funnel completo de la conversación: cómo llegó el cliente, qué preguntó, si el bot respondió bien, si la conversación terminó en una venta o un turno. También construimos tracking de sentimiento que flaggea conversaciones donde el cliente se está frustrando, para que un humano pueda intervenir si hace falta.

Para nuestros clientes esta ha sido la parte más valiosa. Pueden ver exactamente qué preguntas el bot maneja bien y cuáles necesitan trabajo, y pueden medir el impacto real en el negocio.

Dónde estamos ahora

La plataforma está en producción en múltiples industrias, desde clínicas médicas hasta concesionarios de autos y marcas de moda. Cada despliegue está customizado a los flujos de trabajo de la industria, pero todos corren sobre la misma infraestructura core. Eso significa que las mejoras que hacemos para un cliente benefician a todos.

Seguimos iterando. El espacio de IA se mueve rápido y constantemente estamos integrando nuevos modelos, testeando nuevos enfoques, y refinando los algoritmos de stealth. Pero la base es sólida y los resultados hablan por sí solos.

Si estás pensando en implementar IA conversacional y querés algo más robusto que un chatbot básico, deberíamos hablar.