De 4 Horas de Respuesta a Instantáneo: Cómo Nuestros Agentes de Voz IA Hacen Llamadas Reales

La primera vez que dejamos que una IA llamase a una persona real, contuvimos la respiración. El agente se presentó, confirmó los detalles de la cita, preguntó si la hora seguía bien y gestionó una reprogramación — todo en 47 segundos. Nuestro equipo dedicaba 15 minutos por llamada haciendo exactamente lo mismo. Seis meses y 1.200+ llamadas/mes después, la mayoría de gente al otro lado no se da cuenta de que habla con IA.

Por Qué Agentes de Voz, No Solo Chatbots

En España y Latinoamérica — nuestros mercados principales — las llamadas telefónicas todavía dominan la comunicación empresarial. Especialmente en salud, viajes e inmobiliaria:

• Clínicas médicas: Los pacientes prefieren llamar para confirmar o reprogramar citas. No revisan el email.
• Agencias de viajes: Los leads esperan una llamada en horas tras una consulta. 24h de retraso = reservan en otro sitio.
• Inmobiliaria: Programación de visitas, recordatorios de documentos y seguimientos pasan por teléfono.

Los chatbots son geniales para autoservicio. Pero cuando la persona espera hablar, necesitas algo que responda — naturalmente, en su idioma, a velocidad de conversación.

El Stack Técnico: Tres Tecnologías, Una Conversación

Nuestro sistema de agentes de voz combina tres tecnologías core sobre Cloudflare Workers:

1. Twilio — La Infraestructura Telefónica

Twilio gestiona la capa de telefonía: hacer llamadas salientes, recibir entrantes, gestionar números de teléfono entre países. Usamos la API Media Streams de Twilio para obtener audio en tiempo real bidireccional como streams WebSocket — esto es lo que hace posible la conversación IA en tiempo real.

2. Gemini 2.5 Flash — El Cerebro

La lógica de conversación corre en Gemini 2.5 Flash específicamente. ¿Por qué no GPT-4o o Claude? Latencia. En conversaciones de voz, cualquier cosa por encima de 500ms se siente como que la otra persona "no escucha." Gemini Flash entrega consistentemente menos de 200ms por respuesta, lo que crea la ilusión de flujo natural de conversación.

Cada llamada recibe un system prompt adaptado al contexto del negocio: nombre de la clínica, detalles de la cita, historial del paciente, horarios disponibles para reprogramación, reglas de escalado y la "personalidad" del agente (profesional pero cercano, nunca insistente).

3. ElevenLabs — La Voz

ElevenLabs proporciona 15+ voces realistas en español (castellano y variantes latinoamericanas), inglés, catalán y francés. Usamos el modelo Turbo v2.5 para TTS en tiempo real con streaming — la voz empieza a hablar antes de que la frase completa se haya generado, reduciendo la latencia percibida a casi cero.

La selección de voz importa más de lo que piensas. Testamos extensivamente: una voz femenina con tono medio y ritmo moderado puntuó un 23% más alto en encuestas de satisfacción que una voz masculina "estándar". Cada cliente puede elegir y personalizar la voz de su agente.

Anatomía de una Llamada IA: Paso a Paso

Esto es lo que pasa cuando el sistema hace una llamada saliente de confirmación de cita:

Trigger del workflow: "Cita en 48h"
  │
  ├── Worker obtiene contexto de D1:
  │     Nombre paciente, hora cita, doctor, dirección
  │
  ├── Twilio realiza llamada saliente
  │     └── Twilio Media Streams → WebSocket audio stream
  │
  ├── Paciente contesta (o buzón de voz detectado)
  │     ├── Buzón → Dejar mensaje pre-grabado → Fin
  │     └── Humano detectado → Iniciar conversación
  │
  ├── Agente IA habla:
  │     "Hola María, llamo del Centre Mèdic per confirmar
  │      la seva cita de dimarts a les 10h amb el Dr. Martí.
  │      Li va bé l'horari?"
  │
  ├── Paciente responde → Groq Whisper STT → Texto
  │     └── Gemini Flash procesa → Genera respuesta
  │           └── ElevenLabs TTS → Audio de vuelta a la llamada
  │
  ├── Conversación continúa (media 35 segundos)
  │     ├── Confirmada → Log en D1 + enviar confirmación WhatsApp
  │     ├── Reprogramar → Mostrar slots disponibles, reservar
  │     └── Petición compleja → Transferir a humano
  │
  └── Llamada termina → Transcripción completa guardada en D1
        → Workflow continúa con resultado

Lo Que Realmente Funciona en Producción

Después de 6+ meses de despliegue real en clínicas médicas, agencias de viajes y un grupo inmobiliario, esto es lo que los agentes de voz IA manejan bien:

• ✅ Confirmaciones de cita: 89% de tasa de resolución, llamada media de 35 segundos. El agente confirma hora, doctor, ubicación y gestiona reprogramaciones simples.
• ✅ Cualificación de leads: Hace 3-4 preguntas de screening (presupuesto, timing, preferencias), puntúa el lead 0-100 con IA, enruta al agente humano correcto — o agenda una llamada detallada.
• ✅ Soporte fuera de horario: Disponibilidad 24/7 para consultas básicas: horarios de la clínica, cómo llegar, servicios disponibles, información de precios.
• ✅ Soporte multilingüe: Cambia entre español, inglés y catalán a mitad de conversación sin interrupciones. El agente detecta el idioma desde la primera respuesta y se adapta.
• ✅ Llamadas de seguimiento: "No confirmó su cita — ¿le gustaría reprogramar?" Estas llamadas de recuperación salvan ~15% de citas que serían no-shows.

Lo Que No Funciona (Todavía) — Honestidad Ante Todo

No todo es perfecto. Esto es donde los agentes de voz IA todavía fallan:

• ❌ Negociaciones complejas: Cualquier cosa que implique ida y vuelta sobre precios, paquetes personalizados o excepciones. La IA puede presentar opciones pero no puede negociar creativamente. Siempre transfiere a humano.
• ❌ Situaciones emocionales: Quejas, preocupaciones de salud, clientes frustrados. La IA detecta sentimiento negativo y escala inmediatamente — intentar "resolver" situaciones emocionales con voz robótica empeora todo.
• ❌ Conversaciones largas: Más allá de 3 minutos, la calidad de conversación se degrada. La ventana de contexto se llena, las respuestas son menos contextuales y el efecto uncanny valley se activa. Nuestro límite duro son 4 minutos — después, transferencia a humano.
• ❌ Ruido de fondo: Obras, coches, multitudes. La precisión de Whisper STT cae significativamente. Detectamos transcripciones de baja confianza y pedimos al interlocutor que repita u ofrecemos devolver la llamada.

God Mode: Supervisión Humana en Tiempo Real

Esta es nuestra arma secreta, y es lo que hace viable el despliegue para clientes nerviosos por "dejar que la IA hable con clientes." God Mode es un dashboard de supervisión en tiempo real en Cadences Nexus:

Monitoreo en Vivo

Un supervisor ve todas las llamadas IA activas en un dashboard. Cada llamada muestra: transcripción en vivo de ambas partes, el "pensamiento" de la IA (lo que va a decir), indicadores de sentimiento y un score de confianza.

Modo Whisper

El supervisor puede "susurrar" instrucciones al agente IA que el interlocutor no oye. Ejemplo: la IA va a decir "no tenemos disponibilidad esta semana" — el supervisor susurra "ofrece jueves 16h, el Dr. García acaba de tener una cancelación." La IA integra esta instrucción naturalmente en su siguiente respuesta. El interlocutor no tiene ni idea de que un humano intervino.

Modo Takeover

Si las cosas se complican, el supervisor pulsa "Tomar Control" y su voz reemplaza a la de la IA. La transición es limpia — el interlocutor oye una voz ligeramente diferente pero la conversación continúa sin interrupción. La IA pasa a modo solo-transcripción, registrando el resto de la llamada.

Historial y Analytics de Llamadas

Cada llamada se graba, transcribe y puntúa. Los supervisores pueden revisar llamadas después, marcar incidencias, y la IA aprende de las correcciones. Las métricas de rendimiento incluyen: tasa de resolución, duración media, score de sentimiento y tasa de transferencia (más baja = mejor).

El Desafío de la Latencia: Por Qué 200ms lo Cambia Todo

La conversación natural tiene un ritmo. Los humanos toleran ~500ms de silencio entre turnos de diálogo. Si superas eso, el interlocutor dice "¿hola? ¿estás ahí?" — la señal universal de que la conversación se siente robótica.

Nuestro presupuesto total de latencia por turno:

• Groq Whisper STT: ~80ms para speech-to-text (el Whisper acelerado por hardware de Groq es la opción más rápida)
• Respuesta Gemini Flash: ~120-180ms para generar el texto de respuesta
• ElevenLabs TTS: Modo streaming — primer chunk de audio disponible en ~90ms, reproduce mientras el resto se genera
• Latencia total percibida: ~200ms desde fin del habla humana hasta inicio del habla IA

Probamos GPT-4o (350-500ms de tiempo de respuesta) y Claude Haiku (280-400ms). Ambos demasiado lentos para conversación natural. Gemini Flash a 120-180ms es el sweet spot — suficientemente rápido para sentirse natural, suficientemente inteligente para manejar diálogos complejos.

Selección de Voz: Más Importante de lo que Piensas

Ofrecemos 15+ voces vía ElevenLabs, y aprendimos que la selección de voz impacta drásticamente los resultados:

• Salud: Voz femenina, ritmo tranquilo, tono medio — máxima puntuación en confianza y cumplimiento
• Ventas/Viajes: Voz masculina, ligeramente animada, entusiasmo natural — mejor para cualificación de leads
• Recordatorios/Seguimientos: Género neutro, profesional, breve — la gente no quiere una llamada de recordatorio charlatana

Cada cliente configura su voz preferida, estilo de saludo y ritmo de comunicación. La voz se convierte en parte de su identidad de marca — algunos clientes tienen clientes que se refieren a la IA por el nombre que le pusimos ("Ana de la clínica me ha llamado para confirmar").

Integración con Cadences Workflows

Las llamadas de voz no son independientes — son nodos en el motor de workflows. Esto permite automatizaciones potentes:

• Nodo AI Voice Call: Realizar llamada saliente con guión dinámico, recibir resultado estructurado (confirmada/reprogramada/transferida/sin-respuesta)
• Trigger de Llamada Entrante: Cuando un cliente llama a un número Twilio, la IA contesta y enruta según intención
• Acciones post-llamada: Según resultado → actualizar CRM, enviar confirmación WhatsApp, programar seguimiento, notificar al equipo de ventas
• Workflows de escalación: Si la IA transfiere a humano y el humano no está disponible → buzón de voz → email → cascada SMS

Desglose de Costes: €0.10 vs €2.50 Por Llamada

A 1.200+ llamadas/mes, eso son ~€120/mes para IA vs ~€3.000/mes para un operador telefónico dedicado. La IA gestiona llamadas rutinarias 24/7 — el equipo humano se enfoca en casos complejos y ventas.

Números de Producción Tras 6 Meses

Lo Que Hemos Aprendido

• La velocidad supera a la perfección: Una respuesta de 200ms "suficientemente buena" se siente más natural que una respuesta "perfecta" de 2 segundos. Optimiza latencia primero, calidad después.
• Saber cuándo callarse: Los agentes de IA que mejor funcionan son los que tienen límites estrictos. No intentes gestionar todo — detecta complejidad y transfiere rápido.
• La voz es marca: Los clientes se encariñan con la voz de su IA. Cambiarla a mitad de despliegue generó quejas. Trata la selección de voz como una decisión de branding.
• God Mode es el closer: Sin capacidad de supervisión en vivo, ningún cliente habría desplegado. La red de seguridad de "siempre puedo tomar el control" es lo que consigue el sí inicial.
• Las llamadas fuera de horario son oro puro: La IA gestiona llamadas a las 11 de la noche un domingo. Esa confirmación de cita que habría esperado al lunes por la mañana se confirma al instante. Los clientes valoran esto más que cualquier otra cosa.