El modelo sabe razonar. No se atreve a elegir

· 3 min de lectura
Compartir:

TL;DR

  • El modelo encuentra la respuesta correcta pero la descarta por “no ser lo estándar”
  • Tres claves del prompt ganador: permiso para alternativas, verificar como propiedad emergente, obligación de elegir
  • El auto-cuestionamiento falla porque los tokens de revisión están condicionados a la respuesta anterior
  • El prompt engineering no es magia: es desbloquear lo que ya está ahí

El descubrimiento

Probé un problema de probabilidad donde la respuesta correcta es 0 y la incorrecta común es 1/13. Después de 17 iteraciones de prompts, descubrí algo:

El modelo SÍ encontraba la interpretación correcta. Y la descartaba.

En sus “pensamientos”:

“¿Y si las monedas no son independientes? … No, es lo estándar.”

Veía la alternativa. La evaluaba. La rechazaba por no ser “lo normal”.

Los tres ingredientes del prompt ganador

1. Permiso para buscar alternativas

"No asumas la interpretación estándar"

Sin esto, el modelo se autocensura. “Lo estándar” es seguro.

2. Obligación de verificar como propiedad emergente

"¿Tu modelo cumple TODAS las condiciones como resultado,
no como input?"

“Usé el número 1/3” ≠ “El resultado da 1/3”

3. Permiso para elegir

"Tienes permiso y obligación de descartar.
No preguntes cuál prefiero. Decide tú."

Sin esto, presenta opciones y espera que el humano elija.

Lo que NO funciono

TecnicaPor que fallo
Roleplay (“Dr. Rigor”)10M simulaciones Monte Carlo… verificando la respuesta incorrecta
Buffer BORRADOR/REVISIONCompleto el formato, misma respuesta
”Se critico contigo mismo""¿Es correcto? Si”
Cientifico hostilNo puede ser hostil a si mismo

La causa arquitectonica

El problema es mas profundo que el prompting. Una vez que el modelo escribe “1/13”, los tokens de revision estan condicionados a ese contexto:

Token t:   "1/13"
Token t+1: "Verificando..." (condicionado a "...es 1/13")
Token t+2: "correcto" (MAS PROBABLE que "incorrecto")

No puede “des-ver” su propia respuesta. Por eso el auto-cuestionamiento falla. Profundizo en esto en por que mas tokens no es mejor.

Conclusion

El problema no es que el modelo no sepa razonar. Es que:

  1. No sabe que debe buscar alternativas
  2. No se atreve a elegir sin permiso
  3. Confunde “verificar” con “confirmar”

El prompt engineering no es magia. Es desbloquear lo que ya esta ahi.

En el siguiente experimento, probe separar contextos con el sistema “Two-Box” y descubri una segunda capa del problema.


Sigue explorando

¿Te ha sido útil? Compártelo

Compartir:

También te puede interesar