Desinformación y alucinaciones en aplicaciones con LLM (OWASP LLM07)

Qué es la desinformación en un LLM

La OWASP Top 10 para aplicaciones con modelos de lenguaje grandes (LLM) llama desinformación (Misinformation) a la información falsa o engañosa que el modelo produce y que alguien toma por cierta. Ocupa el puesto LLM07 en la edición 2026; en la de 2025 era LLM09.

La causa más conocida son las alucinaciones: respuestas inventadas que suenan plausibles. A ellas se suman los datos desactualizados, los sesgos del entrenamiento y las respuestas incompletas que omiten una condición importante. El riesgo no está solo en el error, sino en el exceso de confianza de quien lo usa sin comprobarlo.

Por qué alucinan los modelos de lenguaje

Un LLM genera texto prediciendo, palabra a palabra, la continuación más probable según lo que aprendió en el entrenamiento. No consulta una base de hechos ni sabe distinguir lo que conoce de lo que no conoce. Cuando le falta información, la continuación más probable sigue siendo una frase bien construida, aunque su contenido sea falso.

Hay situaciones que lo agravan: preguntas sobre hechos posteriores a su fecha de corte, temas muy especializados con pocos datos de entrenamiento, preguntas ambiguas y peticiones que presuponen algo falso. En esos casos el modelo tiende a seguir la premisa en lugar de corregirla.

Cuándo la desinformación es un problema de seguridad

Una respuesta falsa deja de ser una curiosidad cuando alguien actúa en consecuencia. Hay casos públicos muy conocidos: abogados que presentaron ante un tribunal sentencias inventadas por un chatbot, o una aerolínea a la que un tribunal obligó a cumplir una política de reembolso que su asistente había descrito mal.

En el desarrollo de software el riesgo es más directo. Los asistentes de programación a veces recomiendan librerías que no existen. Si un atacante registra un paquete con ese nombre inventado en un repositorio público, quien instale lo que sugiere el asistente ejecutará su código. Esta técnica se conoce como slopsquatting.

Otros ejemplos son el código con vulnerabilidades que se acepta sin revisión, las configuraciones inseguras que el modelo presenta como buena práctica y los consejos médicos, legales o financieros dados sin matices en una aplicación que el usuario considera fiable.

# El asistente sugiere un paquete que nunca existió:
pip install <nombre-que-inventa-el-asistente>
# Si alguien lo ha registrado después con código malicioso,
# se ejecuta durante la instalación en la máquina del desarrollador.

Relación con otros riesgos de la lista

La desinformación también puede provocarse a propósito. Un atacante que logra meter documentos falsos en el índice de una aplicación de generación aumentada por recuperación (RAG), o que envenena los datos con los que se ajusta un modelo, consigue que el asistente repita esa información con la autoridad de una fuente interna. Es el mismo resultado que una alucinación, pero dirigido.

Por eso las guías de envenenamiento de RAG y de cadena de suministro completan esta: la primera explica cómo entra el contenido falso y la segunda, cómo llega una dependencia maliciosa al proyecto.

Cómo se reduce el riesgo de desinformación

No existe un modelo que no se equivoque, así que la defensa consiste en que sus errores no lleguen a decisiones importantes sin pasar por una comprobación.

• Anclar las respuestas a fuentes verificadas mediante RAG, con citas que el usuario pueda abrir y comprobar.
• Pedir al modelo que reconozca cuándo no sabe algo y medir esa conducta en las pruebas, en lugar de premiar siempre una respuesta.
• Comprobar que cada paquete sugerido existe, tiene historial y procede del autor esperado antes de instalarlo, y fijar las dependencias en un fichero de bloqueo.
• Revisión humana obligatoria en los ámbitos sensibles: salud, derecho, finanzas y código que llega a producción.
• Avisos claros en la interfaz sobre el alcance y los límites del asistente.
• Evaluaciones periódicas con preguntas cuya respuesta correcta se conoce, para detectar regresiones al cambiar de modelo o de prompt.