Qué es RLHF: el entrenamiento con retroalimentación humana que alineó a ChatGPT

¿Qué es RLHF?

RLHF (Reinforcement Learning from Human Feedback) es la técnica de entrenamiento que convirtió a los modelos de lenguaje de generadores de texto impredecibles a asistentes útiles y seguros. Si te preguntas qué es RLHF en IA: es el proceso que hizo posible que ChatGPT te responda de forma útil en vez de generar texto incoherente o peligroso.

Antes de RLHF, los modelos como GPT-3 podían generar texto impresionante pero también inventar datos, dar instrucciones peligrosas o responder de formas que nadie quería. RLHF usa evaluadores humanos que califican las respuestas del modelo (mejor/peor) y esa retroalimentación se usa para entrenar al modelo a preferir respuestas útiles, honestas y seguras.

Para entender por qué esto importa desde Perú: cada vez que ChatGPT, Claude o Gemini te da una respuesta útil en español sobre regulaciones peruanas en vez de inventar datos, es en parte gracias a RLHF. El ILIA 2025 de CEPAL, que ubica a Perú en el puesto 7 de 19 en adopción de IA, depende de que estos modelos sean confiables, y RLHF es una parte clave de esa confiabilidad.

La importancia de RLHF no puede subestimarse: es la técnica que hizo que la IA generativa pasara de ser un juguete de investigación a un producto viable para millones de personas. OpenAI aplicó RLHF a GPT-3 y el resultado fue InstructGPT, que luego evolucionó en ChatGPT. Sin RLHF, los modelos de lenguaje serían impresionantes generadores de texto pero prácticamente inútiles como asistentes, porque no seguirían instrucciones ni respetarían límites de seguridad.

El concepto detrás de RLHF combina dos campos de la IA que históricamente se desarrollaron por separado: los modelos de lenguaje (que aprenden a predecir la siguiente palabra) y el aprendizaje por refuerzo (que aprende a optimizar una recompensa). La idea clave es: en vez de definir manualmente reglas de lo que el modelo debería o no debería hacer (lo cual sería imposible dada la infinita variedad de situaciones), dejas que humanos evalúen las respuestas y el modelo aprende automáticamente qué patrones de respuesta son preferidos.

Para empresas peruanas que implementan IA, entender RLHF ayuda a comprender por qué los modelos se comportan como lo hacen. Cuando Claude se niega a generar contenido dañino, cuando ChatGPT admite que no sabe algo en vez de inventar, cuando Gemini ofrece múltiples perspectivas sobre un tema controversial, eso es RLHF en acción. También explica por qué a veces los modelos son «demasiado cautelosos» y se niegan a responder preguntas legítimas: es un efecto secundario del entrenamiento de seguridad.

Cómo funciona RLHF: tres pasos

El proceso de RLHF tiene tres fases claramente definidas:

Paso 1 — Supervised Fine-Tuning (SFT): se entrena al modelo base con ejemplos de conversaciones escritas por humanos. Los evaluadores crean preguntas y respuestas ideales que muestran al modelo cómo debería responder: con formato claro, información correcta y tono apropiado.

Paso 2 — Reward Model: se entrena un modelo separado (el «modelo de recompensa») que aprende a predecir qué respuestas los humanos prefieren. Evaluadores comparan pares de respuestas a la misma pregunta y eligen cuál es mejor. Con miles de estas comparaciones, el reward model aprende los criterios humanos de calidad.

Paso 3 — Optimización PPO: usando el reward model como juez automático, el LLM se entrena con Proximal Policy Optimization (PPO) para maximizar la puntuación de recompensa. El modelo genera respuestas, el reward model las evalúa, y el LLM se ajusta para generar respuestas mejor puntuadas. Este ciclo se repite miles de veces.

El resultado es un modelo que ha internalizado las preferencias humanas: ser útil, no mentir deliberadamente, rechazar solicitudes peligrosas, dar respuestas estructuradas y mantener un tono apropiado.

El primer paso, el SFT (Supervised Fine-Tuning), es donde se entrena al modelo base con ejemplos de conversaciones ideales escritas por humanos. Los evaluadores reciben un prompt y escriben la respuesta que consideran perfecta. Esto le enseña al modelo el formato y tono esperados: ser conversacional, seguir instrucciones, ser honesto sobre sus limitaciones. La calidad de este paso depende enormemente de la calidad de los evaluadores humanos y de las guías que reciben.

El segundo paso construye el «modelo de recompensa» (reward model). Los evaluadores ven múltiples respuestas del modelo al mismo prompt y las ordenan de mejor a peor. Con miles de estas comparaciones, se entrena un modelo separado que aprende a predecir qué respuestas preferirían los humanos. Este reward model se convierte en un juez automático que puede evaluar millones de respuestas sin necesidad de que un humano las revise todas.

El tercer paso usa el algoritmo PPO (Proximal Policy Optimization) para ajustar el modelo de lenguaje, maximizando la recompensa predicha por el reward model mientras se mantiene relativamente cerca del modelo original (para evitar que se degenere). Este balance es delicado: demasiada optimización produce un modelo que hackea el reward model, diciendo lo que el evaluador quiere oír sin ser genuinamente útil. Este fenómeno se conoce como «reward hacking» y es uno de los principales desafíos técnicos de RLHF.

RLHF en la práctica: quién lo usa

Anthropic desarrolló una variante llamada Constitutional AI (CAI) o RLAIF (RL from AI Feedback). En vez de depender solo de evaluadores humanos, usa otro modelo de IA para generar parte del feedback, guiado por un conjunto de principios («constitución»). Esto reduce costos y escala mejor.

Meta con Llama usa DPO (Direct Preference Optimization), una alternativa más simple que no requiere entrenar un reward model separado. DPO es más fácil de implementar y produce resultados comparables para muchos casos.

Antes y después de RLHF

La diferencia entre un modelo con y sin RLHF es dramática. GPT-3 (sin RLHF) era capaz de generar texto impresionante pero respondía de formas impredecibles: podía dar instrucciones peligrosas, inventar citas de personas reales, generar contenido ofensivo sin filtro o simplemente ignorar tu pregunta y divagar.

InstructGPT (GPT-3 con RLHF), lanzado por OpenAI en enero 2022, fue el primer modelo donde la diferencia fue clara. A pesar de ser más pequeño que GPT-3, InstructGPT era más útil porque seguía instrucciones y se negaba a generar contenido dañino. ChatGPT, lanzado en noviembre 2022, refinó aún más este proceso y explotó en popularidad precisamente porque era «utilizable» por personas normales.

Para el contexto peruano, esta alineación es lo que permite que herramientas de IA respondan correctamente cuando un emprendedor en Arequipa le pregunta sobre trámites de SUNAT o un abogado en Lima consulta sobre legislación laboral. Sin RLHF, las respuestas serían impredecibles y potencialmente engañosas.

Las variantes de RLHF están evolucionando rápidamente. Anthropic desarrolló Constitutional AI (CAI), donde en vez de usar solo evaluadores humanos, se le da al modelo una «constitución» (principios éticos) y se le entrena para auto-evaluarse según esos principios. Esto reduce la dependencia de evaluadores humanos y permite escalar el proceso. Meta usa DPO (Direct Preference Optimization), una técnica simplificada que logra resultados similares a RLHF sin necesidad de entrenar un reward model separado, reduciendo significativamente la complejidad y el costo.

Google ha desarrollado RLAIF (Reinforcement Learning from AI Feedback), donde un modelo de IA grande evalúa las respuestas de un modelo más pequeño, reemplazando parcialmente a los evaluadores humanos. Esta técnica es controversial porque introduce el riesgo de que los sesgos del modelo evaluador se amplifiquen, pero es mucho más escalable y económica que usar humanos para todo el proceso.

Limitaciones y debates

RLHF no es perfecto y tiene críticas legítimas:

Sesgo de los evaluadores: los humanos que califican respuestas tienen sus propios sesgos culturales, políticos e idiomáticos. Si la mayoría de evaluadores son angloparlantes, el modelo puede estar menos alineado para español peruano.

Sobreoptimización: el modelo puede aprender a dar respuestas que «suenan bien» pero no son necesariamente correctas. Puede preferir respuestas largas y confiadas sobre respuestas cortas y honestas como «no lo sé».

Censura excesiva: algunos modelos con RLHF se vuelven demasiado cautelosos, rechazando solicitudes legítimas por temor a generar contenido problemático. Grok de xAI se posiciona explícitamente como menos censurado.

Costo: mantener equipos de evaluadores humanos es caro. Por eso alternativas como RLAIF (usar IA para generar feedback) y DPO (optimización directa sin reward model) están ganando tracción.

¿Cómo afecta al mercado peruano?

La alineación de modelos de IA impacta directamente en la confiabilidad de las herramientas que los peruanos usan. Un chatbot de atención al cliente que inventa políticas de la empresa puede causar daño real. Un asistente legal que cita leyes inexistentes puede generar problemas legales. RLHF reduce (no elimina) estos riesgos.

El D.S. 115-2025-PCM sobre uso de IA en entidades públicas peruanas implícitamente requiere modelos alineados: un chatbot gubernamental no puede dar información incorrecta a los ciudadanos. Los modelos con RLHF son la opción más segura para estas implementaciones.

Para empresas peruanas que hacen fine-tuning de modelos, técnicas como DPO están accesibles en Hugging Face con tutoriales y herramientas gratuitas. Puedes alinear tu modelo personalizado con las preferencias de tus usuarios peruanos.

Un debate importante en la comunidad de IA es el sesgo cultural en RLHF. Los evaluadores humanos que entrenan estos modelos son predominantemente angloparlantes, lo que introduce un sesgo cultural que afecta cómo los modelos responden a consultas de usuarios latinoamericanos. Cuando un modelo es excesivamente cauteloso sobre temas que en Perú son perfectamente normales discutir, o cuando no entiende matices culturales peruanos, parte del problema viene de un RLHF entrenado con perspectivas predominantemente estadounidenses.

Para el mercado peruano, esto tiene implicaciones prácticas. Las empresas peruanas que construyen chatbots y asistentes de IA pueden mitigar estos sesgos culturales a través de fine-tuning con datos locales y system prompts que contextualicen las respuestas para el mercado peruano. No puedes cambiar el RLHF base del modelo, pero sí puedes ajustar su comportamiento para que sea más culturalmente relevante para tus usuarios.

El D.S. 115-2025-PCM sobre uso de IA en entidades públicas peruanas debería considerar los principios de alineamiento que RLHF implementa. Cuando se despliegan modelos de IA en servicios al ciudadano, asegurar que el modelo sea útil, honesto y seguro no es solo una buena práctica técnica: es una responsabilidad con los ciudadanos peruanos que interactúan con estos sistemas. La alineación de IA, que RLHF busca lograr, es fundamentalmente un problema de política pública tanto como un problema técnico.

Desde una perspectiva técnica, lo más interesante de RLHF es que formaliza algo que parece intuitivo: enseñarle a la IA lo que los humanos consideran «bueno». Pero la realidad es mucho más compleja. Diferentes evaluadores tienen diferentes criterios de lo que constituye una buena respuesta. Un evaluador podría preferir respuestas concisas mientras otro prefiere respuestas detalladas. Un evaluador conservador podría marcar como peligrosas respuestas que otro considera perfectamente aceptables. El reward model resultante refleja un promedio de estas preferencias, que no necesariamente representa a ningún individuo específico.

Preguntas frecuentes

¿RLHF es lo mismo que fine-tuning?

No. Fine-tuning es el proceso general de adaptar un modelo con datos específicos. RLHF es un tipo específico de fine-tuning que usa retroalimentación humana (preferencias) para alinear el comportamiento del modelo. Todo RLHF es fine-tuning, pero no todo fine-tuning es RLHF.

¿Por qué ChatGPT a veces se niega a responder?

Por RLHF. Los evaluadores humanos enseñaron al modelo a rechazar solicitudes que podrían ser dañinas. A veces el modelo es demasiado cauteloso (falsos positivos), rechazando solicitudes legítimas. Es un balance entre seguridad y utilidad.

¿Qué es Constitutional AI?

Es la técnica de Anthropic (creadores de Claude) que complementa RLHF con principios escritos (una «constitución») que guían el comportamiento del modelo. Usa IA para generar parte del feedback, reduciendo la dependencia de evaluadores humanos.

¿Puedo aplicar RLHF a mi propio modelo?

Sí, pero es complejo y costoso. DPO (Direct Preference Optimization) es una alternativa más accesible que produce resultados similares. Herramientas como trl de Hugging Face facilitan implementar DPO en modelos open source.

¿RLHF hace que los modelos digan siempre la verdad?

No. RLHF reduce las alucinaciones y mejora la honestidad, pero los modelos aún pueden generar información incorrecta con confianza. Siempre verifica datos críticos, especialmente en contextos legales, médicos o financieros.

La alineación de IA es lo que hace confiables las herramientas que usamos. Si quieres que tu negocio en Perú sea una fuente confiable para los motores de IA, trabaja tu posicionamiento GEO. En KOM te ayudamos — escríbenos al WhatsApp.