El indicador y el premio

La introducción nos dejó con una promesa: todo caso de la ley de Goodhart empieza con una decisión inocente y sensata. Ni un villano ni un timo: solo alguien frente a algo que de verdad le importa y que no puede ver directamente, echando mano de lo mejor que sí puede ver. Ese gesto es donde arranca toda la historia. Así que, antes de ver ningún número echarse a perder, detengámonos en el momento anterior a que lo haga: por qué medimos un sustituto y qué lo sostiene calladamente.

Por qué llegamos a medir un indicador

Empieza por lo que de verdad te importa. Llámalo el objetivo (o meta): el resultado real que persigues: un niño que ha aprendido, un paciente que está más sano, un código que funciona, un científico que hace buena ciencia. Ahora fíjate en lo cruel que tienen en común: no puedes ver ninguno de ellos de forma directa, barata ni a tiempo de actuar. «¿Aprendió este niño?» se responde con honestidad solo años después. «¿Está este paciente más sano?» requiere un médico, un historial, un seguimiento. Los objetivos son lentos, borrosos y caros de observar.

Así que echas mano de un indicador (proxy): una medición barata, rápida y visible que hace de sustituto del objetivo. Las notas de examen sustituyen al aprendizaje. El tiempo de espera de cuatro horas en Urgencias sustituye a la salud del sistema. Los incidentes reportados sustituyen a la seguridad. Las líneas de código sustituyen a la producción de un programador. El recuento de citas sustituye al mérito científico. Ninguno es el objetivo: son ventanas hacia él.

Ejemplo resuelto — salud → la espera de cuatro horas. El Servicio Nacional de Salud inglés (NHS) quería «que Urgencias atienda bien a los pacientes». Inmedible en el momento. Así que eligió un indicador: la proporción de pacientes vistos, tratados y admitidos o dados de alta en menos de cuatro horas. Antes de que la carrera de nadie dependiera de ello, era un indicador genuinamente bueno. Un hospital con suficiente personal, camas libres y un proceso ágil mueve a la gente en menos de cuatro horas; uno desbordado y sin recursos, no. Mide la espera y aprenderías algo real sobre la salud del sistema. Ese es el punto de partida honesto y, como veremos, la honestidad es justo lo que no dura.

El error a nombrar aquí es el opuesto al cinismo: no concluyas «medir es malo». Negarse a medir significa ir a ciegas, que es peor. Un indicador es una herramienta razonable y a menudo necesaria. El problema nunca es que decidiéramos medir: es lo que pasa a continuación.

Cuándo un indicador está cumpliendo su función

Un indicador se gana el sueldo cuando es barato de leer, difícil de falsear y se mueve al compás del objetivo por razones que no tuviste que organizar tú. Justo hasta que alguien empieza a empujarlo, un buen indicador es una de las cosas más útiles que puedes tener. La destreza que construye este curso no es «deja de usar indicadores», sino saber las condiciones exactas bajo las cuales uno sigue diciéndote la verdad.

La correlación que tomaste prestada pero no construiste

Aquí está la idea que soporta todo el peso del curso, así que léela dos veces. Un indicador es fiable solo gracias a una correlación (correlation) que no creaste ni controlas. En estado natural —antes de cualquier apuesta— enseñar mejor causa notas más altas; un hospital más sano y mejor gestionado causa esperas más cortas; operaciones más seguras causan menos incidentes. El indicador sigue al objetivo porque, ahí fuera en el mundo, el objetivo impulsa calladamente el indicador.

Esa correlación es prestada, no garantizada. Tú no cableaste las notas al aprendizaje; lo hizo el mundo, como efecto secundario de cómo el aprendizaje y los exámenes resultan relacionarse cuando nadie manipula ninguno de los dos. Y una correlación prestada se sostiene bajo una única condición: que nadie esté optimizando el indicador. En cuanto el esfuerzo se apunta al número en sí en vez de al objetivo que hay debajo, el vínculo que hacía significativo al número es lo primero que se rompe, porque nunca fue una ley de la naturaleza, solo un subproducto incidental en el que te apoyabas.

Atar una apuesta: el acto fatídico

Todo hasta aquí ha sido tranquilo. Ahora hacemos lo único que convierte un indicador útil en una trampa: le atamos una apuesta. Un bonus por alcanzar el número. Una tabla clasificatoria que te ordena por él. Financiación, un ascenso o un titular que lo sigue. El tamaño de esa recompensa —cuánto presiona ahora la realidad a la gente para que mueva el número— es lo que llamaremos presión de optimización (optimisation pressure).

Mira lo que hace la presión de optimización. En cuanto el número pasa a ser la recompensa, la jugada racional ya no es mejorar el objetivo, sino mejorar el indicador por la vía que sea más barata. Y trucar el indicador casi siempre es más barato que alcanzar el objetivo. Enseñar mejor es difícil y lento; machacar el examen del año pasado es rápido. Unas operaciones de verdad más sanas tardan años; reclasificar a un paciente como «todavía no oficialmente en espera» cuesta una tecla. Así que el esfuerzo inunda el indicador, y recuerda sobre qué descansaba su valor: una correlación prestada que solo se sostenía mientras nadie empujara. Empujar es justo lo que acabamos de empezar.

Aquí va el remate, y es la forma de todos los desastres de Goodhart que vendrán: obtienes el número sin la sustancia. Las notas suben mientras el aprendizaje se estanca. Las esperas «mejoran» mientras gente enferma hace cola en ambulancias fuera, sin contar. Los partes de incidentes caen no porque el trabajo sea más seguro, sino porque reportar se castiga. El indicador se dispara, el objetivo se hunde, y los dos —antes fieles compañeros— se van en direcciones opuestas.

Cada fila es el mismo esqueleto con otro disfraz: un indicador que era honesto en estado natural, una apuesta atornillada encima, y el esfuerzo desviado del objetivo al número manipulable.

Mira cómo se desmorona la correlación

Leer sobre ello es una cosa; verlo ocurrir es otra. Abajo, cada punto es una persona a la que se mide. Su calidad real corre por el eje horizontal; la puntuación del indicador con la que la juzgamos sube por el vertical. A presión cero, cada punto se sienta pulcramente sobre la diagonal honesta: el indicador iguala a la realidad y el número dice la verdad.

Ahora sube el deslizador de presión de optimización desde 0 y observa tres cosas a la vez: la puntuación medida se dispara (el número parece un triunfo), el valor real se hunde (aquello que te importaba empeora en silencio) y la correlación indicador ↔ realidad se desmorona hacia cero, y hasta puede volverse negativa. Esa última parte es el aguijón: cuando la correlación se vuelve negativa, tus mejores puntuaciones son tus mejores tramposos, no tus mejores ejecutantes. El número no solo ha dejado de seguir al objetivo; ha empezado a apuntar al revés.

Fíjate en por qué pasa en el modelo: cada persona tiene una calidad real oculta y una capacidad de trucar completamente separada. A apuesta cero, la capacidad de trucar está dormida y es irrelevante: el indicador lee la calidad real. Añade presión y quienes resultan ser buenos tramposos tiran de su puntuación hacia arriba sin importar su calidad real, mientras que el esfuerzo gastado en trucar arrastra activamente esa calidad real hacia abajo. La correlación prestada no tenía defensa alguna contra esto, porque nunca se construyó para sobrevivir a que alguien optimizara el número. Era un préstamo, y el deslizador es el mundo reclamándolo.

Entonces, ¿cuándo es seguro un indicador?

Si los indicadores se rompen bajo presión, ¿medir es inútil? No, y esto es el anticipo de la lección sobre las soluciones. Un indicador se mantiene honesto bajo tres condiciones, y pierde una de ellas a tu propio riesgo:

• Apuesta baja. Cuanto menor sea la recompensa que pende del número, menor la presión de optimización, y más dura la correlación prestada. Una métrica que solo observas es mucho más segura que una que pagas.
• Difícil de trucar. Si mover el indicador sin mover el objetivo es caro o imposible, trucar no compensa y el vínculo aguanta. Los indicadores mueren más rápido cuando hacerles trampa sale más barato que alcanzar el objetivo.
• Uno de varios controles cruzados. Un indicador único es un único punto de fallo. Observa varias medidas imperfectas que se truquen de maneras distintas, y trucar una tiende a delatarte en otra: ningún número por sí solo se convierte en todo el premio.

Así que el mapa de esta lección es simple, y es la semilla de todo lo que viene: medimos un indicador porque el objetivo es invisible; podemos confiar en el indicador solo gracias a una correlación que tomamos prestada de un mundo sin apuestas; y en el momento en que atamos una apuesta, la presión de optimización inunda el número y rompe el mismísimo vínculo que lo hacía significativo. El número sube, la sustancia baja. Ese hueco —medida disparada, realidad hundida— es la ley de Goodhart, y ahora sabes nombrar cada una de sus partes.

Repaso

A continuación abriremos el acto fatídico en sí: cómo exactamente se abren las costuras bajo presión —la ley de Campbell (Campbell’s Law) y los cuatro sabores distintos de Goodhart que deciden hacia qué lado te traiciona tu número.