Habéis pasado tres lecciones viendo cómo se pudren las métricas: granjas de cobras, clickbait, profesores machacando exámenes de años anteriores, una fábrica troquelando clavos de setenta toneladas. Es tentador archivar la ley de Goodhart como una curiosidad privada: una regla peculiar sobre números que se estropean.
No lo es. La ley de Goodhart no es en absoluto una ley fundamental. Es un síntoma emergente: lo que obtenéis cuando tres modelos que ya lleváis en vuestro entramado disparan a la vez sobre el mismo objetivo. Sepáralos y Goodhart deja de ser un misterio y pasa a ser una máquina con tres piezas con nombre: los incentivos (incentives), el problema principal-agente (principal–agent problem) y los bucles de retroalimentación (feedback loops). Esta es la lección en la que todo encaja con el resto de tu caja de herramientas.
Antes de leer — arriésgate a adivinar
Antes de diseccionarla, adivina. La ley de Goodhart se entiende mejor como…
Los incentivos son el motor
Analogía. Un termómetro pegado a la pared es un instrumento neutral: nadie soborna a un termómetro. Pero atorníllale un bonus («todos cobran $500 si la lectura llega a 22 °C») y mira lo que pasa: alguien le pone un mechero debajo. El instrumento no cambió. Lo que cambió fue el motivo para tocarlo.
Mecanismo. El modelo de los incentivos (incentives) dice que la gente optimiza la recompensa a la que de verdad se enfrenta, no el objetivo que tú pretendías. Una métrica sin nada en juego es una lectura pasiva: un termómetro. Ata una recompensa y la métrica pasa de ser un termómetro (algo que lees) a ser una palanca (algo que tiras). Goodhart ni siquiera puede empezar sin este paso: sin recompensa montada sobre la métrica indirecta, nadie se molesta en trucarla. La corrupción necesita combustible, y el incentivo es el combustible.
Ejemplo resuelto. El panel de un equipo de soporte registra el «tiempo medio de resolución de tickets». Durante un año el sueldo de nadie depende de él, y es una lectura justa de lo rápido que se atiende a los clientes. Entonces la dirección anuncia bonus para quienes resuelvan más rápido. En un mes, los agentes cierran tickets en cuanto responden (antes de que el cliente confirme que algo está arreglado), parten un problema en cinco tickets «resueltos» y empujan los casos difíciles a la cola de un compañero. El tiempo de resolución se desploma; la ayuda real empeora. El reloj siempre estuvo corriendo, pero solo cuando el dinero se montó encima empezó alguien a competir contra él.
Termómetro → palanca
La prueba más afilada para saber si Goodhart está a punto de morder: ¿se ha convertido esta medición en una palanca que alguien cobra por tirar? Un número que solo observas se mantiene honesto mucho más tiempo que un número que a alguien le pagan por mover.
Así que el primer progenitor, dicho con limpieza:
Goodhart = incentivos apuntados a una métrica indirecta en lugar de al objetivo.
El KPI deja de ser un termómetro neutral en el instante en que se le atornilla una recompensa.
El hueco principal-agente es la abertura
Analogía. Contratas a un mecánico (el agente) para arreglar tu coche; tú (el principal) no puedes ver bajo el capó como él. Él sabe qué reparaciones son reales y cuáles son relleno; tú solo sabes lo que dice la factura. Ese hueco de conocimiento es justo el margen que tiene para cobrarte una pieza que nunca necesitaste.
Mecanismo. El problema principal-agente (principal–agent problem) describe cualquier montaje en el que un principal delega en un agente cuyas acciones e información no puede observar del todo: acción oculta (no puedes ver lo que hace) e información oculta (sabe cosas que tú no). Quien es medido casi siempre entiende cómo se produce el número mejor que quien mide. Esa asimetría es la abertura por la que Goodhart se cuela: permite al agente satisfacer la letra de la métrica mientras el espíritu se pudre en silencio y —clave— hacerlo sin que se detecte. Esto es riesgo moral (moral hazard) de manual: el agente aprovecha el hueco precisamente porque el aprovechamiento está oculto.
Ejemplos resueltos.
- Un gestor de fondos es juzgado contra un índice de referencia. Él sabe exactamente cómo se construye el número; tú no. Así que «abraza el índice» —comprando en silencio casi la misma cartera para no quedar nunca por debajo de él— y cobra comisiones de gestión activa por un trabajo casi pasivo. El número de seguimiento se ve bien; el valor por el que pagabas no está.
- Un cirujano es clasificado en una tabla pública de mortalidad. Nadie puede observar el juicio clínico de cada caso, solo el resultado agregado. Así que la jugada racional es rechazar a los pacientes más arriesgados, los que más necesitan la operación. Las estadísticas de mortalidad mejoran; la atención a los más graves se hunde. La métrica no puede ver a los pacientes a los que se dio la espalda.
Si quien mide lo viera todo, Goodhart pasaría hambre
Goodhart necesita la niebla. Un principal capaz de observar a la perfección las acciones y el conocimiento del agente premiaría directamente el objetivo real: sin métrica indirecta, sin hueco, sin trampa. Todo caso real de Goodhart vive dentro de una asimetría de información. Reduce la asimetría y reducirás el agarre de la ley.
Los cirujanos de un hospital empiezan a rechazar en silencio a los pacientes de alto riesgo en cuanto se estrena una tabla pública de mortalidad. ¿Qué modelo progenitor lleva aquí el peso?
Los bucles de retroalimentación lo hacen autorreforzante y autoborrante
Analogía. Apunta un micrófono al altavoz que lo alimenta y obtienes ese chirrido que perfora los oídos: la salida vuelve a entrar y se amplifica a sí misma hasta que la señal es puro ruido. Goodhart tiene la misma arquitectura. La salida de la métrica indirecta vuelve a las decisiones que la producen, y se sube a sí misma hasta que la señal desaparece.
Mecanismo. El modelo del bucle de retroalimentación (feedback loop) describe un sistema cuya salida se reconecta a su propia entrada. Cablea algo en juego dentro de una métrica indirecta y cierras un bucle reforzante: la métrica vuelve a las decisiones → el esfuerzo inunda hacia la métrica → esa inundación corrompe la propia señal que la métrica solía llevar → así que la validez de la métrica se degrada con el tiempo. Es un bucle que literalmente se come su propio contenido de información: cuanto más se optimiza, menos significa. El contraste importa: una métrica indirecta bien diseñada no tiene ese bucle en absoluto hasta que le cableas algo en juego. La medición se queda ahí, honesta y estable, hasta que el incentivo cierra el circuito y empieza el chirrido.
Ejemplo resuelto. Una plataforma social optimiza una métrica de interacción (engagement) (tiempo en la web, clics). Al principio, la interacción sigue de verdad a «la gente encuentra esto valioso». Luego el bucle se cierra: la interacción recompensa → los creadores aprenden que el clickbait gana → el feed se llena de clickbait → el clickbait se recompensa aún más fuerte → la calidad real se vacía mientras el número de interacción sigue subiendo. La métrica se ve mejor cada trimestre justo mientras aquello que se suponía que medía —el valor genuino— empeora. El bucle no solo despegó la señal: la invirtió.
Reforzante, no equilibrante
No todo bucle de retroalimentación es destructivo: los bucles equilibrantes (como un termostato) se autocorrigen. Goodhart cabalga uno reforzante: cada vuelta hace la siguiente más fuerte, así que la corrupción se acumula en lugar de asentarse. Por eso una métrica trucada no se desvía un poco y se para: se dispara sin control.
Junta los tres
Ahora monta la máquina. La ley de Goodhart es lo que emerge cuando los tres progenitores disparan sobre una única métrica indirecta con algo en juego:
Leído de izquierda a derecha, ese es todo el ciclo de vida de una métrica que se estropea:
- Los incentivos atan una recompensa a la métrica indirecta, convirtiendo un termómetro en una palanca y dando a cualquiera un motivo para moverla.
- El hueco principal-agente le da el margen: la acción y la información ocultas hacen que pueda mover la letra mientras el espíritu se pudre, sin que se detecte.
- El bucle de retroalimentación aporta el motor de la degradación: la optimización vuelve a inundar y erosiona la propia validez de la métrica, más rápido cuanto más aprietas.
Ninguno de los tres por separado es Goodhart. Una métrica recompensada con un agente perfectamente observable y sin bucle se mantiene honesta. Una métrica indirecta medida pero no recompensada se queda ahí quieta. Goodhart es el fallo emergente que aparece solo cuando los tres se solapan sobre un único número que tiene algo en juego.
Empareja cada modelo progenitor / término con el papel exacto que juega al producir la ley de Goodhart.
Pick a term, then click its definition.
Por qué nombrar a los progenitores es potente, no pedante
Esto no es taxonomía por gusto. Como Goodhart está hecho de tres modelos, cada arreglo de la próxima lección ataca a un progenitor: cambia lo que recompensas (incentivos), cierra el hueco de observación (principal-agente) o rompe/frena el bucle (retroalimentación). Si solo conoces «Goodhart» como un pegote indiferenciado, no puedes apuntar tu intervención. Descomponlo y cada arreglo tiene una dirección.
Diagnóstico: ¿qué progenitor grita más fuerte?
Aquí está la recompensa práctica. Cuando estés mirando una métrica que claramente se está trucando, no te limites a suspirar «ley de Goodhart». Diagnostica qué progenitor está haciendo más daño, porque ese es al que hay que atacar.
Hazte tres preguntas:
- Incentivos: ¿está la recompensa demasiado concentrada? ¿Depende de este único número algo grande y afilado (un bonus, una clasificación, un ascenso)? Cuanto más del resultado de alguien dependa de una sola métrica indirecta, más fuerte tirará de la palanca.
- Principal-agente: ¿es inobservable el hueco? ¿Puede la parte medida actuar con conocimiento que quien mide no ve? Cuanto más neblinoso el montaje, más margen para trucar la letra sin que se detecte.
- Retroalimentación: ¿es el bucle estrecho y rápido? ¿Mover la métrica cambia de inmediato las decisiones que la producen, con poca demora? Un bucle reforzante rápido se dispara antes de que nadie se dé cuenta.
La respuesta que grite más fuerte te apunta al arreglo que de verdad moverá la aguja, que es exactamente adonde va la próxima lección.
| Modelo progenitor | Qué aporta a Goodhart | Dónde intervenir |
|---|---|---|
| Incentivos | El motivo: una recompensa convierte la métrica de un termómetro que lees en una palanca que la gente tira. | Reparte lo que está en juego entre varias medidas, suaviza la recompensa o recompensa el objetivo real (o el juicio) en lugar de la métrica indirecta. |
| Problema principal-agente | La oportunidad: la acción/información oculta deja al agente satisfacer la letra mientras el espíritu se pudre, sin que se detecte. | Reduce la asimetría: mejor observación, auditorías, intereses alineados o controles rotatorios/aleatorios que el agente no pueda anticipar. |
| Bucle de retroalimentación | El motor de la degradación: la optimización vuelve a inundar y erosiona la propia validez de la métrica, más rápido cuanto más aprietas. | Rompe o frena el bucle: retira/rota métricas antes de que se saturen, añade demora o guarda algunas medidas sin recompensa como lecturas honestas. |
Diriges un centro de llamadas. Un único bonus mensual grande depende por entero de las «llamadas atendidas por hora», y los agentes pueden marcar una llamada como «resuelta» sin verificación alguna. ¿Qué progenitor grita más fuerte y, por tanto, adónde deberías apuntar primero?
Repaso
Big picture
Goodhart, descompuesto en sus tres progenitores
- Goodhart = incentivos + principal-agente + retroalimentación
- INCENTIVOS — el motor
- Recompensa sobre la métrica → el termómetro se vuelve palanca
- Sin nada en juego, no hay trampa
- PRINCIPAL-AGENTE — la abertura
- El agente sabe más que quien mide
- Truca la letra, sin que se detecte (riesgo moral)
- RETROALIMENTACIÓN — degradación autorreforzante
- La optimización vuelve a inundar y corrompe la señal
- La validez de la métrica se erosiona con el tiempo
- DIAGNÓSTICO — ¿qué progenitor grita más fuerte?
- ¿Recompensa concentrada? ¿Hueco inobservable? ¿Bucle rápido?
- El progenitor más ruidoso es donde intervienes
- INCENTIVOS — el motor
La ley de Goodhart nunca fue una regla independiente que memorizar: son tres modelos familiares solapándose sobre un único número medido con algo en juego. Eso es lo que significa «caso particular»: no raro, sino derivado. Y la descomposición no solo es satisfactoria, es operativa, porque te entrega tres lugares distintos donde intervenir. Próxima lección: los arreglos que de verdad funcionan —cada uno apuntado de lleno a uno de los tres progenitores— y cómo citar «¡Goodhart!» puede cuajar a su vez en una excusa perezosa.