¿Por qué cuanto más te entiende la IA, más respuestas son "convencionales"? Advertencia sobre sesgos en el entrenamiento de Karpathy

El exdirector de Tesla AI y una voz importante en el campo del aprendizaje profundo, Andrej Karpathy, publicó recientemente en X un artículo señalando un problema fundamental de los modelos de lenguaje grande (LLM): la memoria y la personalización no solo no hacen que el modelo sea más inteligente, sino que pueden reforzar un sesgo sistémico de “entrenamiento”, haciendo que el modelo tienda cada vez más a responder con “las respuestas correctas más comunes” en lugar de “la mejor respuesta real”.

Núcleo del problema: los LLM “recuerdan”, no “razonan”

La argumentación de Karpathy desafía directamente las suposiciones sobre cómo operan los LLM. Él señala que la distribución de ejemplos en los datos de entrenamiento es extremadamente desigual: las soluciones populares a problemas y las respuestas más discutidas aparecen repetidamente en los datos, mientras que las respuestas raras pero igualmente correctas casi no existen.

Esto genera un problema fundamental: cuando los LLM responden, no están “razonando” realmente para encontrar la mejor respuesta, sino que buscan en su memoria los “ejemplos correctos más comunes”. En otras palabras, cuanto más popular y discutida sea una solución, más fácil será para el modelo seleccionarla, incluso si existen opciones mejores o más apropiadas para la situación actual.

Efecto adverso de la personalización mediante memoria

Este problema se amplifica en la función de memoria personalizada en asistentes de IA. Cuando el modelo recuerda las preferencias, hábitos o conversaciones pasadas del usuario, el “modelo de usuario” que construye también es un producto de la distribución de datos de entrenamiento: recuerda el “tipo más común” que se asemeja a ese usuario, en lugar de entender verdaderamente sus necesidades únicas.

Esto significa que, cuanto más fuerte sea la personalización del LLM, más probable será que encasille al usuario en un “arquetipo”, en lugar de ofrecer respuestas verdaderamente hechas a medida.

Impacto en periodistas especializados en IA

Esta percepción tiene una implicación directa para quienes usan IA en su trabajo. Cuando necesitas que la IA analice un proyecto de criptomonedas poco conocido, evalúe una postura política no convencional o investigue un punto técnico menos discutido, las respuestas de la IA pueden estar sesgadas hacia la “opinión dominante” en lugar de un análisis objetivo.

Karpathy opina que actualmente no existe una solución perfecta a este problema, solo se puede mitigar mediante una mayor diversidad en los datos de entrenamiento. Pero el sesgo fundamental —que los modelos tienden a favorecer las respuestas populares— es una característica inherente a la arquitectura de los LLM, no un error.

Un problema aún más profundo: la IA está copiando los puntos ciegos colectivos de la humanidad

La observación de Karpathy apunta a una preocupación más profunda: los datos de entrenamiento son muestras de la escritura pasada de los humanos, no una distribución objetiva del conocimiento. Esto implica que los LLM no solo copian el conocimiento humano, sino también los puntos ciegos, prejuicios y la sobreenfatización de ciertas “narrativas dominantes” en la sociedad.

A medida que la IA se utilice cada vez más en análisis de noticias, decisiones de inversión y evaluación de políticas, el impacto de estos sesgos de entrenamiento se expandirá. No es solo un problema técnico, sino una cuestión cognitiva que requiere que los usuarios mantengan una actitud crítica.

¿Por qué cuanto más te conoce la IA, más te da respuestas “mainstream”? La advertencia de sesgo de entrenamiento de Karpathy apareció por primera vez en Chain News ABMedia.