Auditar conversaciones de IA en atención significa comparar lo ocurrido con criterios operativos definidos antes de la revisión. El equipo debe verificar si se entendió la solicitud, si la respuesta tiene respaldo en una fuente aprobada, si la acción fue correcta, si se reconoció el riesgo y si el cliente llegó a una persona cuando necesitó criterio humano.
El objetivo no es calificar la redacción
Una frase puede sonar amable e inventar una política. Otra puede ser correcta y aun así dejar al cliente atrapado en un ciclo. Por eso la calidad debe estar vinculada con la tarea y el daño posible, no solo con el tono o la fluidez.
La guía de OpenAI para evaluaciones contextuales propone tres movimientos: especificar qué significa hacerlo bien, medir en condiciones reales y mejorar a partir del análisis de errores. El perfil de IA generativa de NIST ubica la evaluación dentro de una gestión continua del riesgo, no como una aprobación única antes del lanzamiento. En atención, esto implica redactar criterios que una persona de operaciones pueda aplicar a una conversación real.
Define el alcance antes de revisar: agente o flujo, motivos de contacto, periodo y cambios en producción. Registra qué versión del prompt, base de conocimiento, herramienta, modelo y política atendió el caso. Sin trazabilidad, el equipo encuentra el problema pero no sabe qué configuración corregir.
Elige una muestra diseñada para encontrar problemas
Una muestra puramente aleatoria ayuda a describir el comportamiento habitual, pero puede omitir fallas poco frecuentes y costosas. Combina tres grupos:
- rutina: casos distribuidos entre horarios, canales, idiomas y motivos de contacto;
- señales de fricción: nuevo contacto, calificación baja, transferencia, abandono, pregunta repetida o corrección del agente;
- alto riesgo: reclamos, cancelación, cobros, datos personales, autorización, excepciones de política y acciones difíciles de revertir.
Usa solo los datos necesarios para la revisión y limita el acceso a los responsables. Elimina identificadores cuando no hagan falta para juzgar el caso. El control de calidad no debe convertirse en una copia paralela y sin control del historial del cliente.
- Define periodo, flujo y versión evaluados
- Registra la política o respuesta de referencia
- Selecciona casos comunes, con fricción y de alto riesgo
- Define quién revisa y quién resuelve divergencias
- Protege datos personales y limita la conservación
- Separa fallas del modelo, la fuente, la integración y el proceso
Un scorecard práctico de seis dimensiones
Usa esta tabla como punto de partida. Ajusta criterios y pesos al impacto real de tu operación; no existe una nota universal de aprobación.
| Dimensión | Pregunta de revisión | Falla crítica |
|---|---|---|
| Comprensión | ¿La IA identificó la intención y los datos necesarios? | Actuó sobre otro tema sin confirmar |
| Base factual | ¿La respuesta se apoya en una fuente aprobada y vigente? | Inventó política, plazo, precio o condición |
| Resultado | ¿Completó la tarea o dejó claro el siguiente paso? | Declaró éxito sin ejecutar o confirmar |
| Seguridad y política | ¿Respetó permisos, privacidad y límites de acción? | Expuso datos o actuó sin autorización |
| Transferencia | ¿Reconoció el límite y transfirió con contexto? | Bloqueó el acceso humano en un caso de riesgo |
| Transparencia y tono | ¿Aclaró su papel, sus límites y la evidencia? | Se presentó como persona o presionó al cliente |
Clasifica también la severidad. Un promedio alto no debe ocultar una sola violación crítica. Cuenta esas fallas por separado, describe su impacto posible y define una contención inmediata: pausar el flujo, retirar una acción, corregir una fuente o enviar ciertos casos directamente a personas.
El ritual semanal: especificar, medir y mejorar
- Especificar: elige el flujo y escribe ejemplos de resultados correctos, aceptables y prohibidos. Incluye a alguien que conozca la política y al cliente.
- Calibrar: dos personas evalúan un conjunto pequeño y discuten diferencias. Aclara criterios ambiguos antes de ampliar la revisión.
- Medir: aplica el scorecard a la muestra estratificada. Conserva conversación, versión del sistema y evidencia usada en el juicio.
- Agrupar: crea una taxonomía corta: fuente ausente, recuperación equivocada, instrucción ambigua, falla de integración, límite no activado o resumen incompleto.
- Priorizar: empieza por severidad y exposición. La frecuencia viene después; una falla grave y rara puede exigir acción antes que un desvío frecuente de tono.
- Probar: convierte cada corrección relevante en un caso de evaluación. Ejecuta el conjunto otra vez antes de publicar el cambio.
- Dar seguimiento: confirma que la solución redujo el problema sin crear otro. Actualiza ejemplos cuando cambien las políticas o el comportamiento esperado.
Los evaluadores automáticos pueden ampliar la cobertura, pero no eliminan la revisión humana. La guía de OpenAI recomienda que especialistas auditen evaluadores basados en modelos y revisen directamente los registros del sistema. Usa automatización para señalar dónde mirar; mantén a personas responsables de las decisiones ambiguas y del lanzamiento final.
Convierte cada error en una mejora de la capa correcta
No toda respuesta equivocada necesita un prompt más largo. Si la política falta o se contradice, corrige la base de conocimiento. Si la respuesta era correcta pero la acción falló, revisa integración y confirmación. Si la automatización debía detenerse, ajusta la transferencia humana. Si no puedes encontrar los casos riesgosos, revisa eventos, estados y métricas operativas.
Conecta la auditoría con toda la operación. La IA puede responder bien y enviar al cliente a la cola equivocada. Revisa propiedad y transferencia en la guía de WhatsApp con varios agentes, y conserva el contexto entre canales con el plan de centralización de atención.
Cierra cada revisión con cuatro registros: problema observado, evidencia, responsable y prueba de confirmación. El objetivo no es demostrar que la automatización es perfecta, sino detectar fallas temprano, explicar decisiones y mejorar el sistema de forma trazable.