El valor de una prueba real y ruidosa (EVSI)

La bola de cristal era una fantasía. Las pruebas reales — encuestas, escáneres, pilotos, referencias — son ruidosas: aciertan la mayoría de las veces y fallan algunas. Así que la pregunta de verdad no es “¿cuánto vale una respuesta perfecta?” (eso es el EVPI, el techo que encontramos en la lección anterior: 160 en la decisión de lanzar). Es “¿cuánto vale esta prueba imperfecta, y es más que su precio?” Ese número tiene nombre — EVSI, el valor de la información muestral (Expected Value of Sample Information) — y calcularlo es donde la actualización bayesiana por fin se gana el sueldo.

Una prueba no es más que dos probabilidades condicionadas

Nuestra encuesta de mercado no es una bola de cristal; enciende una de dos señales — una luz verde (“el mercado pinta bien”) o una bandera roja (“el mercado pinta mal”) — y a veces se equivoca. Fija ese “a veces” con dos números:

• Sensibilidad (sensitivity) — cuando el mercado es realmente bueno, ¿con qué frecuencia enciende correctamente la luz verde? Digamos 80 %.
• Especificidad (specificity) — cuando el mercado es realmente malo, ¿con qué frecuencia enciende correctamente la bandera roja? Digamos 80 % también.

Así que la encuesta acierta el 80 % de las veces en cada estado y falla el otro 20 %. Es informativa, pero no es un oráculo. Ahora — exactamente como en la actualización bayesiana — damos la vuelta a esos números de “probabilidad de la señal dado el estado” para obtener lo que de verdad queremos: la probabilidad del estado dada la señal.

Paso 1 — ¿con qué frecuencia se enciende cada señal, y qué significa?

Parte de 100 lanzamientos imaginados. 40 son realmente buenos, 60 realmente malos (la probabilidad a priori). La encuesta acierta el 80 % en cada sentido:

Lee las probabilidades a posteriori directamente de la tabla:

• Tras una luz verde (44 de ellas), el mercado es realmente bueno en 32: $32/44 \approx$ 73 %. Tu probabilidad a priori del 40 % saltó al 73 %.
• Tras una bandera roja (56 de ellas), el mercado es realmente bueno en solo 8: $8/56 \approx$ 14 %. Tu probabilidad a priori cayó del 40 % al 14 %.

Paso 2 — ¿cambiaría la respuesta tu acción? (Sí — la voltea)

Ahora la comprobación decisiva de la primera lección, aplicada a cada señal. Introduce cada probabilidad a posteriori en los resultados del lanzamiento (+400 bueno, −300 malo):

Tras una luz verde (73 % bueno): $EV(\text{Lanzar}) = 0.73 \times 400 - 0.27 \times 300 \approx 209$ Está muy por encima de 0, así que una luz verde dice lanzar.

Tras una bandera roja (14 % bueno): $EV(\text{Lanzar}) = 0.14 \times 400 - 0.86 \times 300 \approx -200$ Por debajo de 0, así que una bandera roja dice retirarse.

Las dos señales llevan a acciones distintas — verde→lanzar, roja→retirarse. Ese es el quid de la cuestión: esta prueba puede voltear tu decisión, así que supera el listón del ¿cambiaría-mi-acción? y se gana un valor positivo. (Si ambas señales hubieran dicho “retirarse”, la prueba no valdría nada, exactamente igual que el escáner del cirujano.)

Paso 3 — súmalo todo: el valor esperado pre-posterior

Aquí está el movimiento sutil que hace tropezar a la gente. Debes valorar la prueba antes de saber qué señal vas a obtener — porque ese es el momento en que decides si comprarla. Así que promedia el valor de actuar-según-cada-señal, ponderado por la frecuencia con que se enciende cada señal:

$EV(\text{con encuesta}) = \underbrace{0.44 \times 209}_{\text{verde} \to \text{lanzar}} + \underbrace{0.56 \times 0}_{\text{roja} \to \text{retirarse, embolsa }0} \approx 92$

Con la encuesta esperas 92. Sin ella, actuando según tu probabilidad a priori, te retiraste y embolsaste 0 ($V_0 = 0$ de la lección anterior). Así que:

$\text{EVSI} = 92 - 0 = \mathbf{92}$

Paso 4 — el único número que lo decide: el neto

El EVSI es lo que vale la prueba. La decisión de comprarla es ella misma una decisión de valor esperado: compara lo que vale con el precio. Si la encuesta cuesta 30:

$\text{Valor neto} = \text{EVSI} - \text{precio} = 92 - 30 = \mathbf{62}$

Positivo, así que compra la encuesta: vale 92 en errores evitados y solo cuesta 30. Pero fíjate en lo frágil que es. Si la misma encuesta costara 100, el neto es $92 - 100 = -8$ — ahora es una prueba informativa que aun así no deberías comprar, porque cuesta más de lo que vale la decisión que mejora. Valer y valer la pena comprar son preguntas distintas, y solo el neto responde a la segunda.

Míralo moverse: el laboratorio del valor de la información

Todo lo de arriba es un solo fotograma congelado. Arrastra los diales y observa cómo respira el valor. Empieza donde se sitúa nuestro ejemplo (prior 40 % bueno, fiabilidad 80 %, precio 30, resultados +400 / −300) y fíjate en las tres barras: actuar ya según la probabilidad a priori, comprar la prueba (su ganancia de información teñida encima, su precio sombreado aparte) y el techo de la bola de cristal. Luego intenta romperlo:

• Desliza la probabilidad a priori hacia el 5 % o el 95 % y observa cómo el valor de la prueba se desploma a cero — el indicador cambia a “esta prueba no puede cambiar tu decisión” porque ahora ambas señales apuntan en el mismo sentido.
• Sube y baja la fiabilidad: más precisión eleva el EVSI hacia el techo, pero nunca puede atravesarlo.
• Empuja el precio hacia arriba hasta que el neto se ponga en rojo: una prueba que valía la pena se convierte en un desperdicio.

Por qué el EVSI siempre está por debajo del techo

Merece la pena ver por qué la desigualdad EVSI ≤ EVPI nunca puede romperse. La información perfecta te dice el estado verdadero cada vez, así que actúas bien cada vez. Una prueba ruidosa a veces miente — una falsa luz verde te lanza a un mercado malo, una falsa bandera roja te espanta de uno bueno. Esos errores son exactamente el valor que una respuesta perfecta habría ahorrado y una ruidosa no. Así que una prueba real recupera solo parte del techo, y cuanto más ruidosa sea, más pequeña será esa parte. Sube la prueba al 100 % de acierto y el EVSI se eleva hasta encontrarse exactamente con el EVPI; bájala a un 50 % de cara-o-cruz y el EVSI cae a 0 — una prueba que acierta la mitad de las veces no te dice nada.

Ya sabes valorar una prueba real e imperfecta de principio a fin: convierte su tasa de error en probabilidades a posteriori, comprueba si la respuesta voltea tu acción, promedia a lo largo de las señales para obtener el EVSI y resta el precio para el neto. A continuación damos un paso atrás desde la aritmética y hacemos la pregunta estratégica a la que todo apunta: ¿cuándo vale la pena recopilar información siquiera? La respuesta son tres condiciones — y cargarse cualquiera de ellas manda el valor a cero.