Cómo calibrarse

Habéis pasado cuatro lecciones aprendiendo qué es la calibración (calibration): confianza que coincide con la tasa de aciertos, leída en una curva de fiabilidad, socavada por el exceso de confianza y el exceso de precisión, puntuada con el índice de Brier (Brier score) y hecha honesta con rangos en vez de puntos. Todo eso era diagnóstico. Esta lección es la cura. Responde a la única pregunta que de verdad importa al final: cómo te calibras de verdad — y por qué resulta ser una habilidad que se aprende y no una personalidad con la que naciste (o no).

Y al final espera un giro. Volverse humilde respecto a la incertidumbre es solo la mitad del trabajo. Un meteorólogo que dice “50 % de probabilidad de lluvia” todos los días es perfectamente honesto y completamente inútil. La jugada experta consiste en estar calibrado y ser decidido a la vez — y esa tensión es hacia donde se ha dirigido todo este curso.

La calibración se puede entrenar

Esta es la afirmación genuinamente esperanzadora en el corazón de este curso: la calibración es una habilidad que puedes entrenar, no un rasgo con el que estás atrapado. No es fácil entrenar “sé más listo” o “ten mejor gusto”. Pero sí puedes entrenar “haz que tu 80 % signifique 80 %”, porque — de forma única entre las virtudes del pensamiento — es medible. Puedes ver la brecha entre tu confianza y tu acierto como un número, y todo lo que puedes medir, lo puedes practicar para cerrarlo.

La evidencia es sólida y procede de los predictores más medidos que existen. Los meteorólogos están famosamente bien calibrados: cuando dicen “70 % de probabilidad de lluvia”, llueve en cerca del 70 % de esos días. También lo están los jugadores expertos de bridge y los corredores de apuestas curtidos. ¿Qué comparten estos grupos? Ni humildad ni genialidad — un bucle de retroalimentación estrecho: muchas predicciones, cada una con una probabilidad explícita, cada una puntuada con prontitud por la realidad. Quien consigue ese bucle se calibra. Quien no, sigue siendo demasiado confiado toda su vida, porque nada le obliga jamás a sacar la brecha a la luz.

Eso nos da el bucle de entrenamiento básico, la columna vertebral de todo lo que sigue:

1. Predice — comprométete con una probabilidad explícita antes del resultado.
2. Registra — apúntalo para que la memoria no pueda editarlo a escondidas luego.
3. Puntúa — cuando llegue el resultado, califícalo (índice de Brier, curva de fiabilidad).
4. Revisa — mira el patrón, sobre todo tus fallos seguros.
5. Ajusta — acerca tu confianza futura a tu tasa real de aciertos, y repite.

Práctica 1 — Registra tus predicciones

La memoria es una mentirosa, y miente en una dirección concreta. Después de conocer un resultado, tu cerebro reescribe en silencio lo seguro que estabas — “lo sabía desde el principio”. Eso es el sesgo retrospectivo (hindsight bias), y es veneno para la calibración: si recuerdas tus difusas corazonadas del 60 % como rotundas predicciones del 90 % (o tus predicciones erróneas del 90 % como prudentes “quizás”), nunca puedes ver tu historial real, así que nunca puedes arreglarlo.

El remedio es casi insultantemente simple: apunta tus predicciones, con una probabilidad y una fecha, antes de conocer el resultado. Lleva un diario de predicciones (prediction journal) (o registro de pronósticos) — una lista en marcha que el futuro no puede editar. Una vez sobre el papel, el sesgo retrospectivo no tiene de dónde agarrarse. El número que escribiste es el número que escribiste.

Unas cuantas entradas de un registro con pinta real:

Una lectura trabajada de ese registro: de las predicciones hechas con “alta confianza” (80-90 %), una de dos se ha resuelto correctamente hasta ahora. Demasiado pocas para juzgar nada todavía — y ese es el sentido del diario. No confías en cuatro predicciones; acumulas docenas, y entonces el patrón (que tus 80 % solo se cumplen el 65 % de las veces, pongamos) se vuelve innegable de una forma que ninguna cantidad de cháchara del tipo “yo suelo tener razón” puede fingir.

Cuándo usarlo

Empieza un diario para cualquier ámbito donde hagas predicciones repetidas y verificables: plazos de proyectos, contrataciones, previsiones de ventas, deportes, tus propias estimaciones de “esto me llevará una hora”. Las predicciones mundanas y de alto volumen son los mejores datos de entrenamiento, porque se resuelven rápido y a menudo — la retroalimentación rápida le gana a la importante-pero-rara.

Práctica 2 — Da rangos y probabilidades explícitas

Dos reflejos hacen un trabajo enorme, y ya conoces ambos. De Pensar en rangos: da rangos, no puntos. Una estimación puntual (“los ingresos serán $2M”) no se puede seguir y casi siempre es demasiado precisa. Un rango del 90 % (“$1,4M a $2,7M”) declara tu incertidumbre real y se puede puntuar honestamente — ¿cayó la verdad dentro o no? A lo largo de muchos rangos así, alrededor del 90 % deberían contener la respuesta. Si lo hacen muchos menos, tus barras son demasiado estrechas (exceso de precisión); si lo hacen casi todos, te estás quedando corto a propósito.

De Puntúa tus creencias: adjunta una probabilidad explícita a toda predicción de sí/no, para que se vuelva puntuable. “Probablemente” no es un pronóstico — el “probablemente” de una persona es 55 %, el de otra es 90 %. Un número es inequívoco y calificable. Las palabras vagas son cómodas exactamente porque nunca se pueden demostrar falsas; esa comodidad es la enemiga de mejorar.

Cuándo usarlo

Recurre por defecto a rangos para cualquier cantidad (tiempo, dinero, recuentos) y a porcentajes explícitos para cualquier suceso de sí/no. La fricción que sientes al escribir “90 % seguro de que está entre X e Y” en lugar de un único número confiado es la calibración ocurriendo — te obliga a enfrentarte a cuánto no sabes en realidad.

Práctica 3 — Entrenamiento de calibración y retroalimentación

Un diario de predicciones sin puntuar es un diario íntimo, no un gimnasio. La repetición que de verdad construye el músculo es puntuar un lote y mirar el resultado. Esto es el entrenamiento de calibración (calibration training): responde a un conjunto de preguntas con probabilidades explícitas, califícalas y representa dónde divergen tu confianza y tu acierto.

El ejercicio, en concreto:

1. Toma un lote de afirmaciones de verdadero/falso (o predicciones ya resueltas de tu diario).
2. Para cada una, declara tu probabilidad de que sea verdadera.
3. Puntúa el lote con el índice de Brier (Brier score) de Puntúa tus creencias — la distancia cuadrática media entre tus probabilidades y lo que de verdad pasó. Más bajo es mejor; las probabilidades honestas lo minimizan.
4. Representa tu curva de fiabilidad de Qué significa la calibración: agrupa tus respuestas por confianza declarada, y para cada grupo compara “qué seguro dijiste que estabas” con “con qué frecuencia acertaste de verdad”. Los puntos por encima de la diagonal significan que estabas poco confiado en ese grupo; los puntos por debajo, demasiado confiado.
5. Lee la brecha y ajusta la próxima vez.

Si tu grupo de “90 % seguro” solo se cumple el 70 % de las veces, la curva lo muestra al instante — tus puntos de alta confianza se hunden por debajo de la diagonal — y la solución se escribe sola: cuando sientas “90 % seguro”, di 75 % hasta que la curva se enderece.

Cuándo usarlo

Ejecuta un lote puntuado periódicamente — con una vez al mes basta — en lugar de obsesionarte con predicciones sueltas. Los resultados aislados son ruidosos (una predicción del 90 % que falla no prueba nada por sí sola); el patrón a lo largo de un lote es la señal. Trátalo como pesarte: la tendencia a lo largo de muchas lecturas, no la de un día cualquiera.

Práctica 4 — Haz la autopsia de tus puntuaciones

La puntuación te dice que estás desviado. Una autopsia (post-mortem) te dice por qué — y es donde vive el aprendizaje más profundo. Lleva un diario de decisiones (decision journal): junto a cada predicción, anota el razonamiento que hay detrás. Luego, cuando lleguen los resultados, revísalos — aciertos y fallos ambos, pero sobre todo tus fallos seguros, las veces que dijiste 90 % y la realidad dijo no. Ahí es donde tu modelo mental está más equivocado y tiene más que enseñarte.

La trampa que acecha aquí es el sesgo de resultado (outcome bias) — juzgar una decisión por cómo salió en lugar de por si era sólida dado lo que sabías. Como aprendiste en Pensar en probabilidades: una buena decisión puede tener un mal resultado, y una mala decisión puede tener suerte. Si apuestas por un favorito del 90 % y pierde, fue una buena decisión con un resultado desafortunado — castigarte a ti mismo te reconfigura hacia la timidez, no hacia la precisión. El verdadero trabajo de la autopsia es separar la calidad de la decisión de la suerte del resultado: ¿era honesta la probabilidad dada la información del momento, o de verdad te equivocaste al juzgar?

Ejemplo trabajado. Dijiste “85 % de que esta contratación funcione”, y seis meses después no funcionó. Dos autopsias muy distintas:

• La calidad de la decisión fue buena, el resultado fue desafortunado: el candidato parecía fuerte en todas las señales que podías ver; una emergencia familiar imprevisible le apartó. Lección: ninguna — las predicciones del 85 % fallan el 15 % de las veces, y esta fue una. No bajes tu confianza con el próximo candidato fuerte.
• La calidad de la decisión fue mala, el resultado solo la expuso: ignoraste dos referencias tibias porque ya te habías enamorado del currículum. Lección: el 85 % era exceso de confianza; descartaste evidencia que te contradecía. Eso lo arreglas.

Solo la segunda es un error de calibración. Confúndelas y “aprenderás” la lección equivocada del ruido.

Cuándo usarlo

Haz la autopsia tras resolverse cualquier predicción donde lo que estaba en juego o la sorpresa fueran altos — y siempre tras un fallo seguro. El hábito más valioso de todos es la pregunta “¿era mi probabilidad honesta dado lo que sabía entonces?”, formulada con el resultado deliberadamente apartado.

Práctica 5 — Parte de las tasas base (la visión exterior)

Antes de echar mano de una historia de visión interior sobre por qué este caso es especial, ánclate en la tasa base (base rate): ¿con qué frecuencia ocurre este tipo de cosa en general? Esto es la visión exterior (outside view) (o pronóstico por clase de referencia, reference-class forecasting) — encuentra la clase de referencia a la que pertenece tu situación, parte de su tasa base, luego ajusta por los detalles.

Un ejemplo trabajado. “¿Qué probabilidad hay de que nuestro proyecto de software se lance en su plazo de 3 meses?” La visión interior hila un cuento optimista: el equipo es brillante, el plan está apretado, 85 %. La visión exterior hace una pregunta más fría: de proyectos comparables, ¿cuántos cumplieron su plazo original? Históricamente, la mayoría de los proyectos de software se lanzan tarde — así que la clase de referencia podría decir más bien un 30 %. El pronosticador calibrado empieza cerca del 30 % y sube solo por razones genuinas por las que este equipo sea excepcional, aterrizando en algo honesto como el 45 % — no el ilusorio 85 %.

Esta es la misma maquinaria que la actualización bayesiana (Bayesian updating): la tasa base es tu prior, y partir de ella te da un prior calibrado antes de que cualquier evidencia específica te mueva. Sáltate la tasa base y estarás actualizando desde un número que te inventaste — basura entra, basura sale. Ánclate en ella, y tu evidencia hace un trabajo honesto sobre un punto de partida honesto.

Cuándo usarlo

Echa mano de la visión exterior primero siempre que pronostiques un tipo de suceso que ha ocurrido muchas veces antes (proyectos, contrataciones, lanzamientos, tratamientos). Es más poderosa exactamente cuando te sientes más especial — “esta vez es diferente” suele ser la visión interior hablando, y la tasa base suele tener razón.

Qué hacen los superpronosticadores

No tienes que tomarte todo esto por fe. La evidencia más rigurosa procede del politólogo Philip Tetlock y el Good Judgment Project — un torneo de pronóstico de varios años en el que miles de voluntarios corrientes predijeron sucesos geopolíticos y económicos del mundo real, con cada pronóstico puntuado contra lo que de verdad pasó. Un subconjunto de estos voluntarios — bautizados como superpronosticadores (superforecasters) — fueron consistente y mediblemente mejores que la multitud, y en algunas comparaciones superaron a expertos de la materia con acceso a información clasificada.

El hallazgo llamativo, y la razón por la que pertenece a esta lección: no eran genios ni infiltrados. Eran personas corrientes con mejores hábitos — los mismísimos hábitos que acabas de leer. Sacado de esa investigación, los superpronosticadores tienden a:

• Descomponer las grandes preguntas en piezas más pequeñas y respondibles en lugar de reaccionar ante el todo.
• Partir de las tasas base — la visión exterior — antes de añadir los detalles.
• Actualizar en pequeños incrementos a medida que gotea la evidencia, en lugar de dar bandazos de certeza en certeza (pura actualización bayesiana, hecha con suavidad).
• Pensar en probabilidades de grano fino — distinguen significativamente el 63 % del 70 %, donde la mayoría redondeamos todo a “probable”, “quizás” o “ni de broma”.
• Llevar la cuenta y hacer autopsias — vuelven sobre sus fallos y se preguntan qué se equivocó su modelo.

Calibración frente a resolución — la tensión central

Ahora la recompensa experta, la idea hacia la que ha trepado todo este curso. Hay dos virtudes en un buen pronóstico, y tiran en direcciones distintas.

La calibración es honestidad sobre la incertidumbre — la virtud de la humildad. De todas las veces que dices 70 %, aciertas alrededor del 70 % de las veces.

La resolución (resolution) (también llamada discriminación o decisión) es la disposición a salirse del 50 % — a hacer predicciones nítidas y confiadas que de verdad separen las cosas que pasarán de las que no. Es la virtud del coraje.

Aquí está el truco que convierte esto en una habilidad experta: puedes estar perfectamente calibrado y aun así ser inútil. El meteorólogo que dice “50 % de probabilidad de lluvia” todos los días es impecablemente honesto — a lo largo de un año, llueve más o menos la mitad del tiempo, así que sus 50 % se cumplen el 50 % de las veces. Calibración perfecta. Resolución cero. Ni una sola vez te ha dicho que cojas el paraguas. Un reloj parado y “di siempre 50 %” comparten esta maldición: honestos e inútiles. Compara dos pronosticadores:

El pronosticador B es el objetivo: calibrado y decidido. Se compromete con el 90 % cuando la evidencia lo justifica, con el 10 % cuando no — y acierta sobre eso a menudo. Ese es un pronóstico sobre el que puedes actuar.

Esta es exactamente la razón por la que el índice de Brier (Brier score) de Puntúa tus creencias se descompone en (entre otros términos) un componente de calibración y un componente de resolución. Un buen índice de Brier requiere ambos: ser honesto (calibración) y ser nítido (resolución). “Di siempre 50 %” te da calibración perfecta pero resolución pésima, y el índice de Brier lo ve perfectamente. La descomposición es la prueba matemática de que la humildad sola no basta — también tienes que ser valiente con tus probabilidades.

Cuándo usarlo

Vigila ambos modos de fallo en ti mismo. Si eres del tipo que lo cubre todo con “podría salir de cualquier manera”, tu problema es la resolución — empújate a comprometerte con números más nítidos cuando la evidencia los apoye. Si eres del tipo que está ruidosamente seguro y a menudo equivocado, tu problema es la calibración — vuelve a acercar las predicciones confiadas a tu tasa real de aciertos. El pronosticador maestro es honesto y valiente.

Juntándolo todo: dónde encaja la calibración en el entramado

Da un paso atrás y fíjate en lo que de verdad es una barra de error calibrada: el input honesto del que depende en silencio el resto de tu pensamiento. El margen de seguridad solo es tan bueno como el peor caso que estés dispuesto a tomarte en serio — pon tu rango demasiado estrecho (exceso de precisión) y el margen es una ficción reconfortante. El valor esperado es un promedio ponderado de probabilidades — aliméntalo con números demasiado confiados y todo el cálculo es basura, por muy limpia que sea la aritmética. La actualización bayesiana parte de un prior y se mueve con la evidencia — y un prior calibrado, anclado en la tasa base, es lo que hace que la actualización sea fiable. La calibración no es un modelo más junto a estos; es el control de calidad sobre los inputs que todos comparten. Haz que tus probabilidades sean honestas y nítidas, y todos los demás modelos cuantitativos que tengas empezarán a decirte la verdad.

Repaso

Has llegado al final de la enseñanza. El arco, en una respiración: la calibración es confianza que coincide con la realidad (Lección 1), arruinada por el exceso de confianza y el exceso de precisión (Lección 2), medida con una puntuación adecuada (Lección 3), expresada como rangos honestos (Lección 4) y construida mediante práctica deliberada (esta) — registra tus predicciones, da rangos y probabilidades explícitas, ejecuta lotes de calibración puntuados, haz la autopsia de tus aciertos y fallos, y parte de las tasas base. Los superpronosticadores prueban que el bucle funciona para gente corriente. Y la idea experta es que la humildad no basta: aspira a estar calibrado y decidido.

El examen espera

Eso es cada idea del curso. No hay Lección 6 — lo que viene a continuación es el Examen Final, y juega con reglas más estrictas que cualquier cosa que hayas visto hasta ahora: está calificado, se sirve de una pregunta en una pregunta y bloquea cada respuesta en el momento en que la envías. Sin botón de atrás, sin reintentos, sin reinicio — igual que un pronóstico real, donde te comprometes y el futuro te califica. Necesitarás un 70 % para aprobar, y no verás tu puntuación hasta el final.

Antes de empezar, una última repetición del hábito que recorre todo este curso: comprométete con un número antes de revelar nada. La calibración nunca fue sobre sonar seguro — fue sobre que tu confianza diga la verdad. Ve a demostrar que la tuya lo hace.