Este es el examen final de La ley de Goodhart (Goodhart’s Law). Reúne todo el curso: qué afirma la ley y por qué los indicadores indirectos se degradan bajo presión, el mecanismo de desacoplamiento y sus cuatro sabores, las historias emblemáticas de advertencia, por qué Goodhart es en realidad una colisión de incentivos (incentives), el problema principal–agente (principal–agent) y los bucles de retroalimentación (feedback loops), dónde la ley no se aplica, y las soluciones que mantienen honesto a un indicador. Tomaos vuestro tiempo y razonad cada pregunta a fondo.
Cómo funciona este examen
Leed con atención: este examen es definitivo. Cada pregunta aparece de una en una. Una vez que enviáis una respuesta queda bloqueada para siempre: no hay vuelta atrás, ni reintentos, ni reinicio. Vuestra puntuación permanece oculta hasta el final, donde veréis un veredicto de aprobado/suspenso. La nota de aprobado es del 70 %. Algunas preguntas os piden que seleccionéis todas las respuestas correctas.
¿Qué frase enuncia mejor la ley de Goodhart, en la forma afilada de Marilyn Strathern?
Selecciona una respuesta para continuar.
Repaso del curso
Big picture
La ley de Goodhart, en una sola imagen
- La ley de Goodhart
- La afirmación
- Una medida convertida en objetivo deja de ser una buena medida
- El mecanismo
- La correlación prestada se rompe; cuatro sabores: regresional, extremal, causal, adversarial
- Tres progenitores
- Incentivos + principal–agente + bucles de retroalimentación
- Límites
- No es anti-medición; escala con las apuestas y la manipulabilidad
- Las soluciones
- Cestas, objetivos sueltos, auditoría humana, premiar resultados, rotar indicadores
- La afirmación
Ideas clave
Cuando una medida se convierte en objetivo, deja de ser una buena medida. Recurrimos a proxies porque los objetivos reales son difíciles de ver, y el proxy solo funciona mientras toma prestada una correlación con el objetivo — una correlación que la presión de optimización desgarra de cuatro maneras: regresional (seleccionas el ruido), extremal (abandonas el rango), causal (empujas una palanca que nunca estuvo conectada) y adversarial (un agente astuto te manipula). Por debajo son incentivos, el problema principal–agente y los bucles de retroalimentación colisionando. Pero Goodhart no es una prohibición de medir: es una advertencia para sostener los objetivos con soltura, usar cestas de indicadores difíciles de manipular, mantener a humanos auditando, premiar resultados reales por encima de los proxies y rotar los indicadores a medida que se degradan. Haced eso y podréis seguir midiendo el mundo sin dejar que el mundo os manipule a vosotros.