Почему LLM ошибаются и как с этим работать

LLM не имеет модели мира. Она не «знает» фактов — она предсказывает следующий токен на основе статистики языка. Когда модель пишет «столица Австралии — Сидней», она не проверяет истинность — она генерирует токен, который статистически вероятен рядом с «столица Австралии». Это называется конфабуляция (hallucination): модель генерирует правдоподобный, грамматически корректный, уверенно изложенный текст, не соответствующий действительности. Уверенность в тоне — не свидетельство точности. Фундаментальная причина: задача предсказания следующего токена ≠ задача проверки фактов. Модель оптимизировалась на первое, а не на второе.