Las causas de las alucinaciones
Al implementar LLM como agentes de IA, la «alucinación» constituye uno de los desafíos más críticos. Si un agente genera resultados basados en información falsa, puede ejecutar acciones inesperadas o inapropiadas. En esta sección, analizaremos más profundamente los mecanismos detrás de este fenómeno, basándonos en nuestra introducción del capítulo anterior.
La naturaleza central: patrones estadísticos
Para entender por qué ocurren las alucinaciones, primero debemos comprender el mecanismo básico del aprendizaje automático (ML). La mayoría de los modelos, incluidos los LLM, están diseñados para identificar patrones estadísticos dentro de sus datos de entrenamiento y generar comportamientos basados estrictamente en esos patrones.
Los LLM no tienen la opción «No lo sé»
Los predictores y clasificadores entrenados estadísticamente están diseñados para producir siempre una salida cada vez que se proporciona una entrada. En principio, los sistemas ML no tienen un valor predeterminado incorporado para responder con «No lo sé»
Información clave: comportamiento con datos desconocidos
Imagine cómo se comporta un modelo cuando se le pregunta sobre algo que nunca ha aprendido. Al analizar este escenario específico, queda claro el mecanismo subyacente de la alucinación.
Punto clave
La IA aprende los errores y la ambigüedad tal como son.
La mayoría de los sistemas de IA modernos se basan en el aprendizaje automático, que extrae patrones de vastos conjuntos de datos. Esto significa que si los datos utilizados para el entrenamiento contienen errores, sesgos o expresiones vagas, el modelo los absorberá como si fueran objetivamente correctos.
A diferencia de los humanos, la IA aún no tiene la capacidad de corregir errores de manera confiable utilizando el contexto o el sentido común. Depende en gran medida de la calidad de sus aportes, lo que lleva a su tendencia característica a "aprender los errores y la ambigüedad tal como se dan" Esta propiedad fundamental subraya claramente por qué una gestión rigurosa de la calidad de los datos de entrenamiento es absolutamente esencial en el desarrollo de la IA
Punto clave
La IA proporciona la "mejor" respuesta posible, incluso cuando no está segura.
Los LLM grandes están diseñados y entrenados para generar respuestas a cualquier consulta de entrada determinada. Fundamentalmente, incluso cuando un LLM carece de conocimientos suficientes sobre una pregunta específica, normalmente no está capacitado para retener una respuesta o simplemente decir: "No lo sé"
En cambio, el modelo intenta estimar probabilísticamente y presentar la respuesta más plausible basándose en su conocimiento interno. Paradójicamente, cuanto menos seguro esté el modelo respecto de los hechos, más confianza puede parecer su resultado.
Esta tendencia da lugar a respuestas plausibles pero incorrectas —lo que llamamos alucinaciones.
Cómo la formulación rápida afecta dramáticamente la calidad de la respuesta
Comprender la naturaleza fundamental del aprendizaje automático (ML) es la forma más eficaz de extraer respuestas de alta calidad de LLM como ChatGPT. La clave está en sus «propiedades estadísticas«
Se revisa la «próxima predicción del token»
Como se analiza en el Capítulo 2, los LLM operan prediciendo la siguiente palabra (token) en una secuencia. En concreto, generan la palabra con mayor probabilidad estadística de seguir el texto anterior.
Pero ¿qué define exactamente a una palabra como aquella que tiene la “mayor probabilidad”? Comprender esto es el secreto para dominar la ingeniería rápida.
Los LLM como «motores comunes»
Una palabra con la «mayor probabilidad» es, en esencia, la palabra más común o promedio encontrada en los datos de entrenamiento. Se puede pensar en un LLM como una máquina diseñada para generar la respuesta «estadísticamente más probable« —y por lo tanto más «típica»—.
La lógica de la entrada vs. Salida
- Pregunta común → Respuesta común
- Si introduce una pregunta «típica» en una máquina diseñada para la predicción de palabras «típicas», inevitablemente recibirá un resultado «típico» (genérico).
Por qué solicitarlo lo cambia todo
Si bien los LLM modernos están altamente ajustados para brindar respuestas impresionantes a consultas simples, su mecanismo subyacente sigue siendo el mismo.
Esta es exactamente la razón por la que la calidad de la respuesta de un LLM cambia tan drásticamente según su solicitud. Para obtener un resultado extraordinario, hay que ir más allá de la entrada «estadísticamente común».
Punto clave
La calidad de la respuesta de un LLM cambia drásticamente según cómo se haga la pregunta (el mensaje)
La calidad de la respuesta de un LLM cambia drásticamente según cómo se haga la pregunta (el mensaje)
La calidad de la salida de un LLM puede variar drásticamente dependiendo de cómo se formulen las instrucciones —es decir, del mensaje en sí. Hay dos razones principales para esto.
1-LLM es un modelo probabilístico: genera respuestas seleccionando las palabras que tienen más probabilidades de seguir, dado el contexto. Como resultado, si una pregunta es vaga, el modelo tiende a producir respuestas genéricas y seguras que podrían aplicarse a muchos contextos diferentes.
2-Los LLM son ajustados por humanos: después del entrenamiento previo, se optimizan cuidadosamente utilizando retroalimentación humana para que aprendan a seguir las instrucciones dadas en un mensaje.
En consecuencia, cuando un mensaje especifica claramente condiciones, suposiciones o roles —similares a los datos de instrucciones de alta calidad utilizados durante el ajuste—, es más probable que el modelo comprenda la intención y funcione en la dirección esperada.
De esta manera, el hecho de que la calidad de la respuesta dependa en gran medida de la indicación no es simplemente una cuestión de técnica del usuario. Se deriva de la naturaleza probabilística del aprendizaje automático y del proceso de entrenamiento único de los propios LLM. Esta es una característica fundamental de cómo funcionan los LLM.
El vínculo entre el mecanismo de atención y el comportamiento LLM
La razón por la que las indicaciones son tan efectivas con ChatGPT y otros LLM no se debe sólo a «patrones estadísticos» Los LLM modernos están entrenados explícitamente para obedecer la intención del usuario.
Ajuste fino: aprender a seguir órdenes
Después del «preentrenamiento» inicial en conjuntos de datos masivos, los LLM modernos se someten a un «ajuste fino», a menudo utilizando el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF). Un objetivo principal de este ajuste es garantizar que el modelo siga fielmente las instrucciones del usuario (indicaciones).
Entrenado para la obediencia
En esencia, el LLM ha sido entrenado rigurosamente en el patrón: «Cuando se le instruye de esta manera, responda de esa manera»
- El mecanismo: El modelo reconoce patrones de instrucción específicos que encontró durante el entrenamiento.
- El resultado: al utilizar frases como «Piensa paso a paso«, estás activando los patrones exactos que el modelo fue optimizado para manejar.
Conclusión clave: desbloquear el máximo potencial Proporcionar instrucciones que reflejen los patrones de entrenamiento del modelo es la forma más confiable de extraer resultados esperados y de alta calidad.
La Fundación: El Mecanismo de Atención
Si bien RLHF refina el comportamiento, la capacidad fundamental para seguir indicaciones complejas proviene del «Mecanismo de atención« Esta arquitectura permite al LLM mirar más allá de simples secuencias de palabras y capturar profundamente el contexto y el significado subyacente de sus instrucciones.
Surgimiento: de la predicción a la comprensión
Como se explica en esta entrada, cuando estas capas de Atención se amplían en modelos masivos, sus capacidades aumentan drásticamente una vez que se cruza un cierto umbral.
Este fenómeno —en el que un modelo va más allá de la simple «predicción del siguiente token» para obtener habilidades avanzadas de seguimiento de instrucciones— se conoce como «emergencia«
Punto clave
La base de la capacidad de un LLM para seguir indicaciones radica en su mecanismo de atención a gran escala. Esta capacidad apareció por primera vez como un fenómeno emergente y luego se fortaleció gracias a la retroalimentación humana.
La razón por la que los LLM pueden responder de acuerdo con las indicaciones no es simplemente porque los humanos les enseñaron explícitamente a hacerlo. En el centro de esta capacidad se encuentra el mecanismo de atención masiva integrado en la arquitectura Transformer.
El mecanismo de atención analiza dinámicamente una secuencia de entrada completa, determinando qué palabras están fuertemente relacionadas con qué otras. A través de este proceso, la relación entre una instrucción y la respuesta que debe seguirla se trata como parte de una única estructura contextual compartida.
En los primeros LLM a gran escala entrenados con grandes cantidades de datos, esta estructura conducía —sin ningún diseño explícito— a un patrón de comportamiento en el que una respuesta apropiada seguía naturalmente una instrucción. Este fenómeno fue descrito inicialmente como “emergencia.”
En esa etapa, sin embargo, las respuestas no siempre fueron estables. Los modelos a veces ignoraban las instrucciones o se alejaban del contexto previsto.
Para abordar esto, los investigadores utilizaron evaluaciones y retroalimentación humanas para ajustar el entrenamiento de modo que la atención se dirigiera de manera más confiable a seguir instrucciones. Este enfoque incluye métodos como el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF).
Este es el proceso general mediante el cual los LLM modernos han adquirido la capacidad de producir respuestas de seguimiento rápido. Puede verse como el resultado de ampliar el mecanismo de atención y refinarlo mediante ajustes repetidos guiados por humanos.
El orden importa: cómo «piensa» el LLM
La calidad de la respuesta de un LLM está fuertemente influenciada por su arquitectura central: generar texto secuencialmente de izquierda a derecha.
El mecanismo del «contexto primero»
A medida que un LLM genera una respuesta, predice cada palabra posterior basándose en todo el contexto anterior. Es por esto que el comienzo de tu mensaje es tan crítico.
- Intención temprana: si su objetivo está claro desde el principio, el LLM crea el contexto correcto de inmediato.
- Resultado: Obtienes una respuesta consistente, enfocada y de alta calidad.
El riesgo de la “intención tardía”
Cuando la solicitud principal queda enterrada al final de un mensaje largo, el LLM puede «perder el rumbo» mientras genera las partes iniciales de la respuesta.
- El problema: sin una dirección clara desde el principio, el modelo puede derivar hacia detalles irrelevantes.
- Resultado: La respuesta se vuelve desenfocada, fragmentada o carece de cohesión.
Regla de oro: sea conciso y claro
Independientemente del orden, la claridad es el rey. Si un mensaje es excesivamente largo o complicado, se perderá el significado central.
Consejo profesional para una mejor incitación Apunte siempre a ser «conciso y directo» > 1. Indique primero el objetivo. 2. Proporcione contexto en segundo lugar. 3. Mantenlo corto para evitar ruidos.
