Playground y pruebas
Prueba asistentes con preguntas reales antes de que usuarios o sistemas dependan de ellos.
El área de pruebas es donde descubres si el asistente es realmente útil.
No pruebes solo con preguntas de demostración cómodas. Prueba con las preguntas que los usuarios ya hacen.
Crea un conjunto de pruebas
Crea de 10 a 30 preguntas que representen la tarea:
- preguntas comunes
- preguntas difíciles
- preguntas con información faltante
- preguntas que requieren escalamiento
- preguntas que no deberían responderse
Lee cada respuesta débil
Cuando una respuesta sea mala, clasifica el fallo:
| Fallo | Corrección probable |
|---|---|
| Hecho faltante o incorrecto | Añadir, actualizar o quitar una fuente de conocimiento |
| Hechos correctos, tono incorrecto | Añadir mejores ejemplos de entrenamiento |
| Hechos correctos, formato incorrecto | Ajustar el resumen del asistente o los ejemplos |
| Detalles inventados | Acotar la tarea, mejorar fuentes o exigir citas |
| Respuestas inconsistentes | Dividir el proyecto o añadir ejemplos más claros |
Vuelve a probar las mismas preguntas
No cambies la prueba después de cada arreglo. Reutiliza las mismas preguntas para ver si la calidad mejora.
Listo para desplegar
Un asistente está listo cuando da respuestas útiles y predecibles para la tarea que elegiste. No necesita responderlo todo.
Vuelve a probar las mismas preguntas después de cada cambio en fuentes, brief o entrenamiento.