RAG простыми словами: как AI отвечает по вашим документам и не выдумывает

Каждый, кто пробовал спросить ChatGPT про внутренний регламент своей компании, получал один из двух результатов: либо честное «у меня нет доступа к вашим документам», либо — что хуже — уверенный, гладкий и полностью выдуманный ответ. При этом фраза «AI-поиск по вашим данным» звучит из каждого утюга. Как одно сочетается с другим? Ответ — технология с некрасивым названием RAG. Разберу на пальцах, без формул.

Почему языковая модель не знает ваших документов

Языковая модель — это, грубо говоря, очень начитанный собеседник: она видела огромный кусок публичного интернета и умеет продолжать текст правдоподобным образом. Ваших регламентов, тикетов и wiki в этой «начитанности» нет и быть не может. Когда модель спрашивают о том, чего она не видела, у неё нет встроенного механизма сказать «стоп, я этого не знаю» — она продолжает текст наиболее правдоподобным образом. Так рождаются галлюцинации: ответ звучит уверенно, потому что модель хорошо пишет, а не потому что она что-то знает.

Идея RAG: экзамен с открытой книгой

RAG (retrieval-augmented generation, «генерация с подкреплением поиском») меняет постановку задачи. Вместо «ответь на вопрос» модель получает задание «вот вопрос и вот несколько страниц из документации этой компании — ответь, пользуясь только ими».

Это как разница между экзаменом по памяти и экзаменом с открытой книгой. В первом случае студент вспоминает — и присочиняет. Во втором — находит нужную страницу и пересказывает её применительно к вопросу. Пересказывать модели умеют отлично; проблема была именно в «вспоминать».

То есть RAG — это два шага: сначала найти в вашей базе фрагменты, относящиеся к вопросу, потом сгенерировать ответ строго по ним.

Как машина находит «похожее по смыслу»

Первый шаг интереснее, чем кажется. Обычный поиск ищет совпадение слов: спросили «клиент не видит кнопку оплаты» — он ищет документы со словами «кнопка» и «оплата». Если статья называется «Отображение элементов интерфейса после обновления», по словам они не пересекаются вообще — хотя это один и тот же случай.

Поэтому в RAG работает семантический поиск. Каждый кусок текста превращается в набор чисел — что-то вроде координат на огромной «карте смыслов»: тексты про похожее оказываются рядом, про разное — далеко. Вопрос превращается в точку на той же карте, и система просто берёт ближайшие к нему фрагменты. «Кнопка оплаты пропала» и «элементы интерфейса не отображаются» на этой карте — соседи, хотя не делят ни одного общего слова.

На практике семантический поиск комбинируют с обычным словесным: у каждого свои сильные стороны — точные термины и коды ошибок лучше ловит словесный, пересказы своими словами — семантический. Но это уже кухня.

Зачем ответу цитаты

Дальше найденные фрагменты подкладываются модели, и она пишет ответ. И здесь — самое важное свойство хорошей RAG-системы: ответ должен приходить со ссылками на источники. Не «поверь мне», а «вот утверждение — вот статья и абзац, откуда оно взято».

Цитаты — это не украшение, а механизм доверия. Модель всё ещё может ошибиться: неудачно склеить два фрагмента, потерять важную оговорку. Если каждый факт можно проверить одним кликом, цена такой ошибки — секунды. Если проверить нельзя — вы просто поверили генератору правдоподобного текста, и тогда чем RAG отличается от галлюцинаций, непонятно.

Когда система должна говорить «не знаю»

Второе свойство честной системы: если в базе ответа нет, она должна так и сказать. В RAG это возможно по построению — если поиск не нашёл ничего достаточно близкого к вопросу, генерировать не из чего. «В базе нет точного ответа» — это полезный результат: он показывает дыру в документации, которую стоит закрыть. Система, которая отвечает всегда, врёт в самых важных случаях — именно тогда, когда ответа нет.

Пределы: RAG не лечит плохую базу

Честности ради — чего RAG не делает. Он не добавляет знаний: если процедуры нет в документации, никакой поиск её не найдёт. Он наследует качество базы: устаревшая статья даст устаревший ответ — с честной цитатой на устаревшую статью. И он чувствителен к тому, как база написана: атомарные статьи «один случай — одна статья» ищутся заметно лучше, чем главы-простыни. Про то, как организовать базу, которой реально пользуются, — отдельный текст.

Что это значит на практике

Если у вашей команды есть накопленные знания — wiki, регламенты, история обращений, — RAG превращает их из «архива, по которому надо уметь ходить» в «коллегу, которому можно задать вопрос». Без обучения собственной модели и без ML-команды: подключили источники — спрашиваете. Проверить, как это ощущается, можно за пару минут: у Sensei есть демо без регистрации — задайте вопрос на естественном языке и посмотрите на ответ с цитатами.