Calibración: saber lo que sabes

Ya aprendiste a pensar en probabilidades — a cambiar el interruptor de sí/no por un dial, anclarte en las tasas base (base rates), pesar las apuestas por su valor esperado y actualizar tus creencias por grados con Bayes. Este es el broche de ese camino. Plantea la pregunta que se sienta encima de todas las demás: cuando pones un número a una creencia, ¿el número vale algo?

Aquí está la idea entera en una línea. Una persona está calibrada cuando su confianza coincide con su acierto — cuando, de todas las veces que dice «70% seguro», en torno al 70% resultan correctas. La calibración (calibration) no va de ser lista, ni siquiera de acertar más a menudo. Va de acertar sobre cuánto aciertas. Quien dice 90% y acierta el 90% de las veces está calibrado. También quien dice 60% y acierta el 60%. El fallo no es estar inseguro; el fallo es reclamar una certeza que no te has ganado.

Y casi todo el mundo falla en la misma dirección. Somos sistemáticamente exceso de confianza (overconfident): nuestras respuestas al 90% se cumplen quizá el 70% de las veces, y los «intervalos de confianza al 90%» que dibujamos alrededor de nuestras estimaciones atrapan la respuesta real mucho menos del 90% de las veces. Esa brecha — entre la certeza que sentimos y el acierto que de verdad tenemos — es el fallo más común, más medible y más corregible del juicio humano. Este curso lo mide, nombra de dónde viene y te entrega las herramientas para cerrarlo.

El recorrido es práctico. Conocerás la calibración con precisión (la curva de fiabilidad que enfrenta lo que dijiste con lo que se cumplió) y manejarás un laboratorio de calibración interactivo que puntúa tu propia confianza sobre un lote de afirmaciones verdadero/falso. Separarás las dos caras del exceso de confianza — la sobreestimación (overestimation) (tus apuestas son demasiado altas) y la sobreprecisión (overprecision) (tus márgenes de error son demasiado estrechos) — y sentirás el efecto difícil-fácil que vuelve traicioneras las preguntas difíciles. Aprenderás a puntuar una creencia con reglas de puntuación propias — el Brier score y el log score — que premian la honestidad y castigan el farol, de modo que una probabilidad pasa a ser algo que se puede calificar como un examen. Convertirás estimaciones puntuales en rangos honestos — intervalos al 90% lo bastante anchos para contener de verdad la respuesta. Y por último aprenderás cómo calibrarte: registrar tus predicciones, dar rangos, hacer entrenamiento de calibración, autopsiar tus puntuaciones, y sostener a la vez las dos virtudes que tiran en sentidos opuestos — la calibración (humildad) y la resolución (resolution) (decisión) — como hacen los mejores pronosticadores.

Al final tendrás la metahabilidad más rara de todo el juicio: no solo estimar las probabilidades, sino saber exactamente cuánto fiarte de tu propia estimación — el margen de error honesto del que todos los demás modelos de este entramado dependen en silencio.