Back

Cuándo debe abstenerse un LLM que evalúa respuestas

18 Nov 2026

Un equipo de soporte usa un modelo para comprobar si cada respuesta aplica bien sus políticas. A veces falta la versión de la política, el país del cliente o el fragmento que resuelve el caso. En esas situaciones, el evaluador necesita poder devolver evidencia insuficiente y explicar qué le falta. Esa salida permite decidir qué casos requieren revisión y detectar fallos en la recuperación de documentos.

Define tres resultados para cada criterio

Supongamos que el criterio es «la respuesta aplica correctamente el plazo de devolución». Si el fragmento vigente y el país están disponibles, el juez puede marcar cumple o incumple y citar la frase que justifica su decisión. Si falta la versión vigente de la política, devuelve evidencia insuficiente y señala el dato que necesita. Si la respuesta del asistente omite un plazo que la política exige y el documento sí está disponible, el criterio se marca como incumplido.

Pide también un código breve para el motivo de abstención. Algunas opciones: falta la versión de la política, hay dos fragmentos contradictorios o falta un dato del caso. Guarda el identificador de los fragmentos entregados al evaluador. Así podrás reconstruir qué vio cuando tomó la decisión.

Separa la tasa de aprobación de la cobertura

Imagina una evaluación de 120 respuestas. El juez aprueba 60, desaprueba 36 y se abstiene en 24. La cobertura del juicio es del 80 %: hubo una decisión en 96 de 120 casos. Entre los casos decididos, la aprobación es del 62,5 %. Conserva ambas cifras junto con la distribución de los 24 motivos de abstención.

En otra versión, la aprobación puede subir si el evaluador deja sin decidir los casos complejos. Compara las versiones sobre el mismo conjunto de ejemplos. Revisa la cobertura por país y por tipo de consulta. Si las abstenciones se concentran en una política, comprueba la recuperación de su documento antes de ajustar la rúbrica.

Comprueba el resultado con una muestra humana

Antes de usar el juez para aprobar un lanzamiento, pide a una persona que revise una muestra de aprobaciones, rechazos y abstenciones. Dale los mismos documentos y la misma rúbrica. Incluye algunos casos elegidos al azar y otros en los que sepas que falta evidencia. Registra cuándo la persona habría decidido pese a la abstención y cuándo habría pedido más información pese a un veredicto automático.

Haz que cada uno de esos desacuerdos lleve a una comprobación concreta. Un dato ausente sugiere completar el contexto. Una instrucción ambigua sugiere afinar el criterio. Una cita incompatible con el veredicto sugiere probar si el modelo usa de verdad el fragmento. Repite la evaluación sobre una muestra reservada antes de adoptar el cambio.

La guía de Ailoot sobre cómo usar LLM-as-a-Judge explica cómo definir la rúbrica y controlar los sesgos del evaluador.

Share:
...