Donde el modelo miente

Todo buen modelo tiene su sombra: las situaciones en las que seguirlo fielmente te lleva directo al precipicio. El valor de la información es una de las herramientas más afiladas del análisis de decisiones, pero las herramientas afiladas cortan la mano que las sostiene mal. A lo largo de cinco lecciones aprendiste a ponerle precio a una pregunta: a preguntarte cuánto valdría una respuesta antes de pagar por ella, a comparar el EVSI con el precio de una prueba y a recordar que una prueba vale exactamente $0 si no puede cambiar lo que vas a hacer.

Esta lección de cierre trata de la otra dirección: las formas en que el modelo te miente sin hacer ruido o, mejor dicho, las formas en que te mientes a ti mismo mientras agitas el modelo como coartada. Empecemos con una prueba de instinto.

El modelo asume un mundo sin fricciones. La realidad tiene fricción.

La limpia fórmula del valor de la información imagina un universo ordenado: tienes una decisión, un pago, una prueba que llega al instante por un precio conocido y una versión de ti que obedientemente hace lo que la respuesta recomiende. Cada uno de esos supuestos puede romperse. Cuando lo hace, el número de tu hoja de cálculo es rotundamente erróneo, que es el tipo de error más peligroso. Recorramos las seis maneras en que ocurre.

Trampa 1 — La información nunca es gratis, y la demora es la factura oculta

Pregúntale a alguien cuánto cuesta una prueba y te dirá el precio de etiqueta: la encuesta de $30, el panel de laboratorio de $5.000, el piloto de dos semanas. Ese es el coste visible. El que arruina las decisiones es la demora: el precio del tiempo que la prueba consume mientras el mundo sigue en marcha.

Piensa en un surfista esperando la ola “perfecta”. Cada ola que deja pasar para reunir más información es una ola que no surfea. Mientras corres el piloto de dos semanas, la competencia lanza, el candidato al puesto acepta otra oferta, la ventana de mercado se estrecha, la empresa que querías adquirir consigue un segundo postor. Una buena decisión ahora con frecuencia gana a una decisión mejor informada más tarde, porque “más tarde” tiene sus propias bajas.

Volvamos a nuestro ejemplo recurrente del lanzamiento: probabilidad previa del 40% de que el producto sea bueno, pagos de +$400k si es bueno y −$300k si es malo (en miles). La encuesta con un 80% de precisión tiene un EVSI de 92 y cuesta 30, para un neto pulcro de +62. Pero supón que correrla quema un mes, y en ese mes un rival lanza algo parecido y te recorta $150k del potencial de ganancia tanto si el producto es bueno como si es malo. Ahora el precio real de la encuesta no es 30: es 30 más la erosión del mismísimo pago que intentas proteger. La prueba puede ser positiva en el papel y negativa en el mundo.

Trampa 2 — Parálisis por análisis: datos más allá del umbral de decisión son procrastinación con notas al pie

Una vez que tienes información suficiente para elegir una acción, cualquier información adicional que no pueda invertir esa acción es puro desperdicio. Recuerda la prueba de cambiar-mi-acción: si todo resultado plausible siguiente apunta al mismo movimiento, ya has decidido; solo te niegas a admitirlo. La parálisis por análisis es reunir más información pasado el punto en que podría cambiar tu decisión: desperdicio disfrazado de diligencia.

Ya has visto la especie. El “asegurémonos” que ya estaba seguro. El cuarto grupo focal después de que los tres primeros coincidieran. El estudio de vanidad encargado para confirmar lo que el jefe ya quiere oír. Cada semana extra de “rigor” se siente responsable, pero si ningún hallazgo realista cambiaría la decisión, el rigor es teatro, y va cargando todo el tiempo con los costes de demora de la Trampa 1.

Aquí está la pista: antes de encargar el próximo estudio, escribe lo que harías con cada resultado posible. Si la respuesta es “lo mismo en todos los casos”, para. No estás siendo cuidadoso. Estás siendo lento.

Trampa 3 — Una prueba impecable de la pregunta equivocada

Una prueba puede ser exquisitamente precisa y aun así valer cero, porque la precisión sobre la variable equivocada vale exactamente lo mismo que la precisión sobre cualquier otro hecho irrelevante: nada. El valor de la información se define frente a tu decisión: el pago de tu mejor elección con la información menos el de tu mejor elección sin ella. Si la variable medida no mueve esa diferencia, la diferencia se queda en cero por muchos decimales que informe tu instrumento.

Este es el efecto farola: buscar las llaves bajo la lámpara porque ahí hay luz, no porque sea donde se te cayeron. Los equipos miden lo que es barato y limpio —tasas de clic, NPS con dos decimales, latencia del servidor— mientras la decisión en realidad depende de algo incómodo y sin medir, como si los compradores empresariales confían en la marca. Una lectura hiperprecisa de la variable fácil es una respuesta bellamente calibrada a una pregunta que nadie hizo.

En concreto: estás decidiendo si dar luz verde a un producto, y la decisión depende de la demanda. Encargas un estudio que mide las tasas de defectos de fabricación con ±0,1%. Impecable. Inútil, porque dentro del rango que verías de verdad, la tasa de defectos no cambia la luz verde. La solución: parte de la decisión y trabaja hacia atrás. Nombra la una o dos variables cuyos valores realmente invertirían tu acción, y prueba esas, aceptando una respuesta más ruidosa sobre la pregunta correcta antes que una respuesta afiladísima a la pregunta equivocada.

Trampa 4 — Tasas base: cómo un objetivo raro convierte una prueba precisa en un cara o cruz

Esta es la sutil, y es donde la gente sobrevalora las pruebas salvajemente. Cuando aquello que buscas es raro, incluso una prueba muy precisa produce una avalancha de falsos positivos, así que un resultado “positivo” mueve tu creencia mucho menos de lo que la precisión de titular sugiere. Te encontraste con esto en la lección de actualización bayesiana como dilución por falsos positivos; aquí se convierte en un error de tarificación.

Supón que cribas startups en busca de un rasgo que solo 1 de cada 100 tiene de verdad, usando una prueba 90% precisa en ambos sentidos. Criba 1.000 empresas: 10 tienen el rasgo de verdad, y la prueba marca alrededor de 9 de ellas. Pero de las 990 que no lo tienen, marca falsamente el 10%: unas 99. Así que un “positivo” apunta a aproximadamente 9 señales reales enterradas en 99 falsas alarmas: tu probabilidad posterior es de unos 9 entre 108, o ~8%. La prueba parecía 90% fiable y entregó una confianza del 8%. Si tarificaste esta prueba como si un positivo casi zanjara la cuestión, pagaste de más en un orden de magnitud.

La lección más profunda: el EVSI depende de la tasa base, no solo de la precisión de la prueba. Una prueba del 90% sobre una pregunta a cara o cruz vale muchísimo; la misma prueba del 90% sobre una pregunta de uno-entre-cien vale una fracción de eso. La gente olvida la probabilidad previa, se ancla en la precisión y paga por una señal que no está recibiendo.

Trampa 5 — El valor de la información asume que actuarás de verdad según la respuesta

Todo el modelo descansa sobre una premisa callada: que respuestas distintas conducen a acciones distintas por tu parte, en la realidad. La información que racionalizarás para descartar no vale nada. La información que llega después de que ya comprometieras el presupuesto, firmaras el contrato de alquiler o anunciaras el plan no vale nada. Si, en el fondo, sabes que vas a lanzar diga lo que diga la encuesta, entonces el valor de la encuesta no es 92 ni 30: es $0, y lo honesto es saltártela y asumir la decisión.

Somos excelentes encargando información como coartada y luego descartándola cuando disiente. El consejo que ordena una diligencia debida sobre un trato que ya ha cerrado emocionalmente. El fundador que hace pruebas A/B pero lanza la versión que le gustaba de todas formas. Eso no es tomar decisiones; es ir de compras de pruebas. Y es peor que gratis, porque cuesta dinero y tiempo (hola de nuevo, Trampa 1) fabricar un permiso.

Trampa 6 — El borde del propio modelo: números limpios, mundo desordenado

Incluso usado a la perfección, el valor de la información tal como suele enseñarse asume una única decisión bien definida con una distribución de pagos conocida. Empuja más allá de eso y el número limpio se dobla. Bajo incertidumbre profunda —donde ni siquiera puedes enumerar los resultados, y mucho menos sus probabilidades— un EVPI de “160” es falsa precisión disfrazada de rigor. Y a veces el acto de probar cambia el resultado: lanzar un precio para calibrar la demanda alerta a los competidores; encuestar a los empleados sobre una reorganización inicia el rumor que remodela la respuesta; medir un sistema lo perturba. En esos casos, lo que mediste no es aquello sobre lo que decidirás.

Así que sostén el valor de la información como una disciplina, no como un decimal. Su regalo duradero no es la cifra exacta: es el hábito de preguntar “¿cuánto valdría esta respuesta, y cambiaría lo que hago?” antes de echar mano de la cartera.

Clasifica las pruebas: ¿cuáles podrían ganarse el pan?

Es hora de hacer refleja la prueba de cambiar-mi-acción. Para cada escenario, decide si la información podría realmente cambiar la acción —Merece la prueba— o si aterriza en el mismo sitio en cualquier caso, lo que la hace No vale nada por mucha precisión o precio que tenga.

Fija el vocabulario

Antes del examen, asegúrate de que los cinco términos centrales están nítidos. Empareja cada uno con su definición precisa.

Cuestionario de repaso: detecta la trampa

Una comprobación más

La postura sana

Quita las trampas y queda una disciplina simple. Merece la pena echar mano del valor de la información cuando una decisión está reñida (las opciones son genuinamente competitivas), es de mucho en juego (equivocarse sale caro), es genuinamente incierta (no conoces ya la respuesta) y es accionable (el resultado cambiará lo que haces, a tiempo de hacerlo). Falla cualquiera de esas y lo inteligente suele ser decidir ahora y saltarse el estudio.

Cuando esas condiciones sí se cumplen, aún haz dos cosas antes de comprar: tarifica la prueba con honestidad —precio de etiqueta más el coste de la demora y cualquier efecto secundario de probar— y recuerda que valer ≠ merecer-comprarse. Una respuesta puede valer genuinamente 92 y aun así ser una mala compra a un precio de 100, o con una demora de un mes, o cuando habrías actuado igual de todos modos.

Ese es el modelo entero en dos frases: la información solo vale lo que cambia sobre tu mejor decisión, y deberías pagar por ella solo cuando ese cambio, neto de todo coste incluido el tiempo, vale más que el precio. Todo lo demás —el EVPI como techo, el EVSI como valor realista, la prueba de cambiar-mi-acción como filtro rápido— es contabilidad en torno a esa única idea.