Cien disfraces

Ya tenéis la maquinaria: un proxy que sigue a su objetivo en el centro tranquilo de la distribución, la presión de optimización que empuja la conducta hacia el extremo del proxy, y cuatro sabores con nombre —regresional, extremal, causal, adversarial— para exactamente cómo el número se despega de la verdad. Esta lección es la guía de campo. Vamos a recorrer un museo de desastres famosos y, en cada vitrina, haremos la misma autopsia en cuatro pasos: nombrar el objetivo, nombrar el proxy que se recompensó, enseñar cómo exactamente se manipuló, y clavar el sabor de Goodhart. Otro siglo, otro sector, otro villano: el mismo esqueleto cada vez. Cuando lo hayáis visto con cien disfraces, reconoceréis el ciento uno antes de que termine de vestirse.

El arquetipo: un esqueleto bajo cada disfraz

La lección 00 empezó con la fábrica de clavos soviética: obligada a cumplir un objetivo en toneladas, forjó un único clavo de 70 toneladas; reorientada al número de clavos, estampó millones de tachuelas inútiles. Guárdalo como esqueleto de referencia, porque cada caso de abajo son los mismos tres huesos recolocados:

1. Un objetivo que nadie puede medir directamente (clavos útiles; salud pública; aprendizaje real).
2. Un proxy que lo sustituía y era barato de contar (toneladas de acero; serpientes muertas; notas de examen).
3. Presión de optimización —un premio o un castigo montado sobre el proxy— que convierte en el trabajo entero cumplir el número, no el objetivo.

El disfraz es el sector en el que estemos. El esqueleto no cambia nunca. Tu tarea en esta lección es dejar de tragarte los disfraces.

Cuando la métrica cría un enemigo: los clásicos adversariales

El sabor que la mayoría quiere decir con «Goodhart» es el adversarial: un agente pensante que aprende tu métrica y la manipula a propósito. Aquí está en sus formas más puras y espectaculares.

El efecto cobra y la masacre de ratas de Hanói

Ya conociste las cobras de Delhi en el pretest. Vale la pena ir despacio con el mecanismo, porque es más taimado que «la gente hizo trampa». La recompensa no solo no redujo las cobras: las fabricó. Pagar por cobra muerta creó un mercado en el que la jugada rentable era criar justo la plaga que querías eliminar. Eso es adversarial (la gente lo manipuló a sabiendas) montado sobre un Goodhart causal: entregar una cobra muerta estaba correlacionado con «menos cobras salvajes» solo mientras las serpientes vinieran de la naturaleza. Rompe ese supuesto y la palanca que accionas no conecta con nada que te importe.

Hanói, 1902, repitió el experimento con ratas. La administración colonial francesa, combatiendo la peste a través del flamante alcantarillado de la ciudad, pagaba una recompensa por cada rata matada, comprobable entregando una cola. Pronto las calles se llenaron de ratas sin cola: los cazadores cortaban la cola, cobraban la recompensa y soltaban la rata viva para que criara más ratas recompensables. Los inspectores hasta encontraron granjas de ratas en las afueras. El mismo esqueleto que las cobras, los mismos sabores, un disfraz nuevo, y una lección permanente: si recompensas un testigo del objetivo (una cola, un cadáver, un recibo) en lugar del objetivo en sí, obtienes una fábrica de testigos.

Enseñar para el examen y los borrados de Atlanta

Objetivo: niños que de verdad han aprendido. Proxy: notas de un examen estandarizado. Como predijo la ley de Campbell (Campbell’s Law), cuanto más gobiernan esas notas la paga, la financiación y los titulares, más se pudren. La versión leve es enseñar para el examen (teaching to the test): machacar el examen del año pasado, entrenar trucos para descartar respuestas y estrechar el temario hasta que todo lo que no se examina —arte, historia, curiosidad— se muere de hambre en silencio. Peor es el «triaje educativo»: los colegios vuelcan recursos en los alumnos justo por debajo del aprobado (donde un punto mueve más la métrica) mientras descartan tanto a los que aprueban con holgura como a los que no tienen remedio. El proxy sube; la distribución del aprendizaje real se deforma para servirlo.

Luego está el extremo puramente adversarial. En el escándalo de las escuelas públicas de Atlanta de 2009, el personal, bajo una presión brutal por las notas, organizó «fiestas de borrado», cambiando las respuestas incorrectas de los alumnos por correctas después de recoger los exámenes. Los investigadores encontraron tasas sospechosamente altas de borrados de incorrecto-a-correcto en decenas de colegios; el desenlace acabó con carreras y produjo condenas penales. La comprensión de nadie mejoró en un solo dato, pero el número hizo exactamente lo que le mandaron.

Wells Fargo: «ocho está genial»

Objetivo: profundizar relaciones auténticas con los clientes. Proxy: la «venta cruzada» (cross-sell), el número medio de productos (cuenta corriente, ahorro, tarjetas) por cliente, con el grito de guerra interno de «ocho está genial» (eight is great: ocho productos por hogar). Se presionó sin tregua a los empleados para cumplir cuotas diarias de venta cruzada. La ruta más barata al número no era ganarse a los clientes, sino abrir cuentas que nunca pidieron: unos 3,5 millones de cuentas fraudulentas o no autorizadas, con PIN falsos y firmas falsificadas, salieron a la luz en el escándalo de 2016. La cifra de venta cruzada parecía espectacular hasta el momento en que los reguladores, una multa de $185 millones y años de litigios revelaron que medía fraude, no lealtad. Goodhart adversarial de manual, a escala industrial y bendecido desde arriba.

Juegos de cuotas dentro del organigrama

Pon a un empleado interesado entre tu métrica y tu objetivo y todos los sabores ganan un acelerante. Estos son los casos donde la manipulación es más callada —enterrada en marcas de tiempo, reclasificaciones y carreras de fin de trimestre— pero no menos total.

Cuotas de ventas, «sandbagging» y relleno del canal

Objetivo: ingresos sostenibles de clientes contentos. Proxy: la cifra de ventas trimestral contra una cuota. Los comerciales optimizan el momento y la forma del número, no el negocio de fondo. El «sandbagging»: operaciones que podrían cerrarse ahora se retienen para engordar el trimestre siguiente (o se adelantan para rescatar uno flojo). El descuento agresivo de fin de trimestre compra el número destruyendo el margen. Y el relleno del canal (channel stuffing) —enviar a los distribuidores mucho más producto del que pueden vender y contabilizarlo como ingreso de hoy— infla este trimestre y garantiza la resaca del siguiente. La cifra de ingresos se clava con precisión; el ingreso sano y repetible que debía representar se canibaliza en silencio. Hay además un giro regresional: corona al único mejor comercial del trimestre y en parte habrás seleccionado un territorio con suerte y operaciones fáciles, así que el trimestre siguiente recae hacia el pelotón.

El objetivo de las cuatro horas en urgencias

Objetivo: pacientes vistos y tratados a tiempo. Proxy: el porcentaje de pacientes de urgencias ingresados, trasladados o dados de alta en menos de cuatro horas. Es un espécimen precioso de Goodhart extremal: el vínculo entre «más rápido» y «más sano» es real en el rango normal y luego se rompe justo en el límite del objetivo, porque toda la presión de optimización se amontona sobre un borde arbitrario. Entre las respuestas descritas a versiones de este objetivo se cuentan retener ambulancias fuera de las puertas para que el reloj de las cuatro horas nunca empiece a correr, y una acumulación de ingresos y altas en los minutos frenéticos justo antes del plazo: el paciente dado de alta a las 3 horas 59, sea o no el momento clínicamente adecuado. El porcentaje-por-debajo-de-cuatro-horas reluce; si la atención mejoró de verdad es otra pregunta que el número ha dejado de responder.

Cuotas de arrestos y CompStat

Objetivo: un público más seguro. Proxy: estadísticas de criminalidad —arrestos, multas y delitos registrados—, popularizadas por el sistema CompStat de Nueva York, que interrogaba a los jefes de comisaría sobre sus números. Aparecen a la vez dos juegos opuestos. Perseguir arrestos fáciles y cuotas de multas vuelca el esfuerzo hacia lo más barato de contar, no hacia lo más dañino. Y el rebaje —reclasificar un robo como «objeto perdido», disuadir a las víctimas de denunciar o archivar informes— hace caer el crimen registrado sin tocar el crimen real. Encuestados de forma anónima, los agentes describieron exactamente esta presión. El panel se pone verde; las calles siguen igual y, a veces, el esfuerzo mal asignado las empeora.

Cuando el optimizador es una máquina: el enganche

Objetivo: enseñar a la gente contenido que de verdad valore. Proxy: enganche medible: clics, tiempo de visionado, sesiones, veces compartido. Aquí el optimizador adversarial no es una persona rompiendo reglas; es un algoritmo de recomendación haciendo exactamente su trabajo, afinado para maximizar el proxy sobre miles de millones de impresiones. Y descubre, incansable, que el combustible más barato para clics y tiempo de visionado no es el valor, sino los titulares clickbait que prometen de más, la indignación y la furia moral que dejan el pulgar pegado a la pantalla, y las recomendaciones madriguera que te reproducen en automático hacia contenido cada vez más extremo porque la extremidad retiene. La gráfica de enganche se pone vertical; que alguien esté mejor informado, más calmado o de verdad servido se desliza en la otra dirección. Es Goodhart extremal a escala planetaria: el tiempo de visionado se correlacionaba con el valor en el centro suave, y el optimizador vive permanentemente en el borde donde se han separado.

Cuando un número esconde el riesgo: finanzas y academia

Los disfraces más sutiles comprimen una realidad rica y desordenada en un único número tranquilizador, y el peligro es justo que el número sigue pareciendo bien mientras lo que esconde se vuelve monstruoso.

El Valor en Riesgo antes de 2008

Objetivo: entender cuánto podría perder una cartera. Proxy: el Valor en Riesgo (VaR, Value-at-Risk), una única cifra que afirma «no perderemos más de X el 99% de los días». Gestionado, reportado y recompensado, el VaR se convirtió en el número, y el número tenía un punto ciego fatal: no dice nada sobre el tamaño de las pérdidas en el otro 1%, la cola. Las posiciones se moldeaban para parecer tranquilas bajo el VaR mientras metían riesgo catastrófico en esa cola no medida, y los modelos se apoyaban en los datos plácidos y poco correlacionados de los años previos a la crisis. Cuando llegó 2008, la cola que la métrica ignoraba se tragó a las instituciones que confiaban en ella. Extremal y causal a la vez: el vínculo riesgo–VaR se sostenía en mercados normales y se hizo añicos en el extremo, y optimizar el número nunca redujo de verdad el peligro de fondo que no era capaz de ver.

Recuento de citas y «publicar o perecer»

Objetivo: producir conocimiento importante y verdadero. Proxy: publicaciones y recuento de citas —número de artículos, índices h, factores de impacto de revistas— que deciden contrataciones, plazas fijas y becas. Optimízalos y aparece un zoo de juegos: el «salami-slicing», trocear un hallazgo en muchas «unidades mínimas publicables»; los anillos de citas (citation rings), grupos que se citan entre sí para inflar la puntuación; y el «p-hacking», torturar los datos hasta que confiesa un resultado publicable. La bibliometría se dispara; la proporción de hallazgos que de verdad son sólidos puede caer, alimentando la crisis de replicación. Manipulación adversarial de un proxy, con un aguijón regresional encima: celebra a quien tenga el único artículo más candente de este año y en parte habrás coronado una casualidad que mañana recae.

Todo el museo en una sola pared

Aquí está el desfile en una única tabla. Léela columna a columna y el esqueleto compartido salta a la vista: cada fila es objetivo → proxy barato → la forma más barata de mover el proxy sin el objetivo → el sabor que describe la ruptura.

Unos cuantos disfraces más para el mismo esqueleto, de un tirón: fábricas soviéticas otra vez —lámparas y vidrio en plancha con objetivo por peso salían absurdamente pesados, y con objetivo por superficie salían inútilmente finos—; tablas de clasificación de cirujanos que ordenan por supervivencia del paciente empujan en silencio a los cirujanos a rechazar a los pacientes más graves y arriesgados para que sus notas sigan limpias; y los SLA de tiempo de respuesta de los tickets de soporte se «cumplen» enviando al instante una respuesta automática inútil que para el reloj sin resolver nada.

Repaso

Diez sectores, un esqueleto. Ya sea el manipulador un criador de serpientes, un profesor estresado, un comercial de fin de trimestre, una cola de ambulancias, un algoritmo de recomendación o un banco entero, la jugada es idéntica: recompensa un proxy con fuerza suficiente y alguien —o algo— encuentra la ruta más barata al número que se salta el objetivo. Ya puedes correr la autopsia en cuatro pasos sobre cualquier KPI que te encuentres. La pregunta natural que sigue es por qué esto pasa una y otra vez: ¿es mala suerte, o es Goodhart el producto garantizado de una máquina más profunda? La próxima lección abre esa máquina: los incentivos, los bucles de retroalimentación y el problema principal-agente que hacen de Goodhart no un accidente, sino una predicción.