Aquí tienes un pequeño experimento incómodo que puedes hacerte a ti mismo. Apunta diez preguntas difíciles de cultura general — el año en que se fundó un país, la longitud de un río, la población de una ciudad — y para cada una, en lugar de una única respuesta, da un rango del que estés seguro al 90% que contiene la respuesta verdadera. Tan ancho como quieras. Ahora mira las respuestas. Si de verdad estabas seguro al 90%, unos nueve de tus diez rangos deberían contener la verdad.
Casi nadie acierta nueve. La mayoría acierta cinco o seis. Sus rangos «seguros al 90%» son tan estrechos que la verdad se les escapa la mitad de las veces. La confianza que sentían — noventa por ciento — y el acierto que tenían — sesenta por ciento — eran dos números completamente distintos, y nunca notaron la brecha. Esa brecha tiene nombre, es medible, es casi universal, y cerrarla es todo el propósito de este curso.
La habilidad se llama calibración (calibration): la coincidencia entre cuánta confianza tienes y cuántas veces aciertas. Una persona calibrada es aquella cuyas predicciones al 70% se cumplen en torno al 70% de las veces, cuyas predicciones al 90% se cumplen en torno al 90%, hasta arriba del todo. Es el broche de todo lo que aprendiste en Pensar en probabilidades y Actualización bayesiana — porque una probabilidad solo vale algo si el número es honesto, y la calibración es la prueba de si lo es.
Antes de leer — adivina
Un meteorólogo dice «70% de probabilidad de lluvia» en 100 días distintos. ¿En cuántos de esos días debería llover de verdad, si el meteorólogo está perfectamente calibrado?
Calibración no es lo mismo que acertar
Es tentador pensar que la calibración significa simplemente «ser preciso», pero es algo más sutil y más extraño. La calibración va de la honestidad de tu confianza, no de la frecuencia de tu acierto.
Imagina a dos personas prediciendo lanzamientos de una moneda justa. La primera dice «cara, 50%» cada vez. La segunda dice «cara, 99%» cada vez. Ambas aciertan aproximadamente la mitad de las veces — acierto idéntico. Pero la primera está perfectamente calibrada (afirmó 50% y acertó el 50% de las veces) y la segunda tiene un exceso de confianza descomunal (afirmó 99% y acertó el 50% de las veces). Mismo porcentaje de acierto; calidad de juicio completamente distinta. La segunda persona es la que reventará una cartera, incumplirá un plazo y se meterá de cabeza en la tormenta que estaba «99% segura» de que no llegaría.
La versión de una frase
La calibración es la coincidencia entre tu confianza declarada y tu tasa real de acierto: de todas las veces que dices X%, deberías acertar en torno al X% de las veces. No va de ser más listo ni de estar más seguro — va de que tu confianza diga la verdad. La primera pregunta que hay que hacerle a cualquier pronóstico, incluido el tuyo, es: cuando esta persona dice 80%, ¿con qué frecuencia acierta de verdad?
Por qué casi todo el mundo tiene exceso de confianza
Si los errores de calibración fueran aleatorios — a veces demasiada confianza, a veces demasiada humildad — serían molestos pero no peligrosos. El problema es que no son aleatorios. A lo largo de décadas de estudios, en tareas que van de la cultura general al diagnóstico médico o las estimaciones de ingeniería, la gente se inclina de forma abrumadora hacia un lado: el exceso de confianza. Nuestras respuestas al 90% se cumplen en torno al 75% de las veces. Las respuestas de «estoy seguro» fallan mucho más de lo que la certeza debería permitir.
Hay buenas razones para ello. No buscamos de forma natural motivos por los que podríamos estar equivocados (lo conociste como sesgo de confirmación). Recordamos nuestros aciertos y olvidamos discretamente nuestros fallos. Confundimos la viveza de una historia con su probabilidad. Y se nos premia socialmente por sonar seguros — «depende» y «en torno al 60%, quizá» suenan flojos al lado de un golpe de certeza en la mesa, aunque la respuesta matizada sea la mejor. El resultado es una herramienta de pensamiento que viene de fábrica recalentada, y un curso construido para enfriarla.
¿Quién está MEJOR calibrado, aunque las dos personas se equivoquen esta vez?
Un número por el que te pueden calificar
El superpoder silencioso de la calibración es que vuelve una creencia puntuable. En cuanto le pones una probabilidad a una afirmación — «70% de que esto se entregue a tiempo», «85% de que este diagnóstico sea correcto», «30% de que esta empresa sobreviva cinco años» — has escrito algo que el futuro puede calificar. Di 70% y ocurre, te llevas algunos puntos; di 99% y falla, pierdes muchos. Haz esto a lo largo de cientos de predicciones y emerge una imagen real de tu juicio, una que la memoria aduladora no puede falsear. Más adelante en el curso conocerás la regla de puntuación de verdad — el Brier score — que hace esta calificación, y verás por qué está amañada para premiar la honestidad y castigar el farol.
Eso es lo que eleva la calibración de un rasgo de personalidad («qué segura está de sí misma») a una habilidad medible y entrenable. No puedes entrenar fácilmente «ser más listo». Sí puedes entrenar «que tu 80% signifique 80%», porque puedes medirlo, ver la brecha y ajustar — que es exactamente lo que hacen los mejores pronosticadores.
¿Cuál es la principal ventaja práctica de enunciar una creencia como una probabilidad («70% probable») en vez de con una frase vaga («probablemente»)?
El mapa del curso
Cinco lecciones de enseñanza y luego un examen final que no se puede deshacer. La subida:
- Qué significa la calibración — la idea con precisión: la curva de fiabilidad que enfrenta tu confianza declarada con tu tasa real de acierto, el exceso y el defecto de confianza leídos directamente sobre la diagonal, y un laboratorio de calibración práctico que puntúa tu propia confianza sobre un lote de afirmaciones verdadero/falso.
- Exceso de confianza y sobreprecisión — las dos caras de venir recalentado: la sobreestimación (tus apuestas son demasiado altas) y la sobreprecisión (tus márgenes de error son demasiado estrechos), los intervalos al 90% que atrapan la verdad la mitad de las veces, y el efecto difícil-fácil que vuelve traicioneras las preguntas difíciles.
- Puntuar tus creencias — las reglas de puntuación propias: el Brier score y el log score, por qué están matemáticamente amañados para que la honestidad maximice tu puntuación, y un ejemplo numérico completamente resuelto que puedes copiar.
- Pensar en rangos — convertir estimaciones puntuales en intervalos honestos al 90% lo bastante anchos para contener de verdad la respuesta, por qué tu primer instinto es siempre demasiado estrecho, y cómo los rangos conectan con el margen de seguridad.
- Calibrarse — la práctica: registrar predicciones, dar rangos, hacer entrenamiento de calibración, autopsiar tus puntuaciones; qué hacen los superpronosticadores; y la tensión profunda entre la calibración (humildad) y la resolución (decisión) — ser honesto sobre la incertidumbre y aun así ser útil. Termina con un repaso de todo el curso.
Luego un Examen Final — calificado, una pregunta cada vez, de un solo sentido: en cuanto respondes, se bloquea. Sin botón de atrás, sin reintentos.
Cómo usar este curso
Un hábito hace casi todo el trabajo: antes de revelar ninguna respuesta, comprométete con un número. Cuando un ejercicio te pregunte qué piensas, no asientas sin más — elige de verdad «en torno al 75%» en tu cabeza primero. El pequeño pinchazo de ver fallar tu número privado es lo que entrena el cierre de la brecha. Los ejercicios son la lección; la prosa solo los prepara.
A continuación: la lección 1, donde hacemos precisa la calibración y puntúas tu propia confianza sobre la curva de fiabilidad.