RAG база данных: полное руководство по созданию, использованию и интеграции с AI-ассистентами

1. Что такое RAG и зачем он нужен

Определение

RAG (Retrieval-Augmented Generation) — это архитектура искусственного интеллекта, которая объединяет возможности языковой модели (LLM) с поисковой системой по собственной базе знаний. Вместо того чтобы генерировать ответ «вслепую», модель сначала находит релевантные фрагменты в вашей базе данных, а затем формулирует точный ответ на основе найденных данных.

Рис. 1 — Общая архитектура RAG-системы: от запроса пользователя до сформированного ответа

Почему RAG — это революция

Классические чат-боты работают на «общих знаниях» модели, натренированных на публичных данных до определённой даты. Это означает:

• ❌ Модель не знает о вашем бизнесе, товарах и услугах
• ❌ Ответы могут быть устаревшими или неточными
• ❌ Нет привязки к вашим внутренним документам
• ❌ Невозможно гарантировать точность цифр и фактов

RAG решает все эти проблемы. Система берёт ваши документы (инструкции, прайс-листы, FAQ, договоры, регламенты), разбивает их на фрагменты, индексирует в векторной базе и при каждом запросе пользователя извлекает только релевантную информацию.

2. Как устроена RAG-система изнутри

Рис. 2 — Процесс поиска и генерации ответа: запрос → поиск → ранжирование → генерация

Архитектура в 5 компонентов

RAG-система состоит из пяти последовательных компонентов:

1. Обработка запроса (Chunker) — разбивает вопрос на ключевые подзапросы
2. Поиск (Retriever / Embeddings) — ищет релевантные фрагменты в векторной базе
3. Ранжирование (Reranker) — повторная сортировка по степени релевантности
4. Генерация ответа (LLM) — модель отвечает на основе найденных фрагментов
5. Постобработка (Output) — фильтрация, форматирование, добавление ссылок

Процесс индексации

Рис. 3 — Этапы индексации: от сырых документов до векторной базы данных

Индексация — это одноразовый (или периодический) процесс:

1. Загрузка документов (PDF, HTML, Markdown и др.)
2. Разбивка текста на фрагменты (chunks) по 256–1024 токенов с перекрытием
3. Преобразование каждого фрагмента в вектор через embedding-модель
4. Сохранение векторов в векторную базу данных

Процесс поиска

При каждом запросе пользователя:

1. Вопрос преобразуется в вектор
2. В векторной базе находятся ближайшие соседи (Top-K результатов)
3. Опционально: гибридный поиск (векторный + BM25)
4. Ранжирование через cross-encoder
5. LLM генерирует ответ на основе найденных фрагментов

3. Пошаговое создание RAG базы данных

Шаг 1. Подготовка данных

Соберите все документы, которые должны стать базой знаний:

• FAQ и ответы на частые вопросы
• Прайс-листы и каталоги товаров
• Регламенты и инструкции
• Договоры и шаблоны документов
• Кейсы и портфолио
• Статьи и блог-посты

Шаг 2. Выбор Embedding-модели

Embedding-модель превращает текст в векторы. От её качества зависит точность поиска.

Шаг 3. Выбор векторной базы данных

Шаг 4. Пайплайн индексации

from langchain.document_loaders import PyPDFLoader, DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import Chroma

# 1. Загрузка документов
loader = DirectoryLoader("./documents/", glob="**/*.pdf",
                          loader_cls=PyPDFLoader)
documents = loader.load()

# 2. Разбивка на фрагменты
splitter = RecursiveCharacterTextSplitter(
    chunk_size=512, chunk_overlap=50,
    separators=["\n\n", "\n", ". ", " "]
)
chunks = splitter.split_documents(documents)

# 3. Создание эмбеддингов
embeddings = HuggingFaceEmbeddings(
    model_name="intfloat/multilingual-e5-large")

# 4. Сохранение в векторную БД
vectorstore = Chroma(
    collection_name="knowledge_base",
    embedding_function=embeddings,
    persist_directory="./chroma_db"
)
vectorstore.add_documents(chunks)
print(f"✅ Индексация завершена: {len(chunks)} фрагментов")

Шаг 5. RAG-цепочка (Retrieval + Generation)

from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(model="deepseek/deepseek-v4", temperature=0.3)

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(
        search_kwargs={"k": 5}),
    return_source_documents=True
)

result = qa_chain("Какие услуги по AmoCRM вы предлагаете?")
print("Ответ:", result["result"])
for doc in result["source_documents"]:
    print(f"  - {doc.metadata.get('source', 'unknown')}")

Шаг 6. Обновление базы знаний

# Добавление новых документов (инкрементальная индексация)
new_docs = loader.load(["./documents/new_pricing.pdf"])
new_chunks = splitter.split_documents(new_docs)
vectorstore.add_documents(new_chunks)

# Удаление старых
vectorstore.delete(ids=["doc_001"])

4. Инструменты и технологии

Рис. 4 — Сравнение инструментов: embedding-модели, векторные БД, фреймворки, LLM

Полный стек для RAG-проекта

Фреймворки для RAG

• LangChain — самый популярный, 100+ интеграций, модульная архитектура
• LlamaIndex — лучший для сложных индексационных задач и больших документов
• Haystack (deepset) — лучший для продакшен-проектов, собственный DSL для пайплайнов

Дополнительные инструменты

5. Как использовать RAG в своих проектах

Сценарий 1: AI-ассистент для сайта

Самый распространённый сценарий — виджет на сайте, который отвечает на вопросы клиентов по вашим данным.

Сценарий 2: Внутренняя база знаний

Сотрудники задают вопросы по внутренним документам: регламентам, инструкциям, политикам. RAG подключается к корпоративным хранилищам и мессенджерам.

Сценарий 3: Поддержка клиентов (тикеты)

RAG-ассистент предлагает ответы оператору, ссылаясь на базу знаний, историю обращений и FAQ.

Сценарий 4: Юридический и комплаенс-контроль

Поиск по корпоративным контрактам, законодательным актам, внутренним политикам.

Сценарий 5: Обучение и онбординг

Новый сотрудник задаёт вопросы по процессам компании и получает точные ответы с ссылками на документы.

Рис. 5 — Комплексная архитектура RAG для агента Hermes: этапы сбора данных, индексации, runtime и обратной связи

6. Необходимые навыки и скиллы

Для самостоятельной реализации RAG

Желательные навыки

7. Применение RAG для агента Hermes на aichat.nemplat.ru

Что такое Hermes и зачем ему RAG

Hermes — AI-ассистент на платформе aichat.nemplat.ru, созданный для помощи клиентам и партнёрам Nemplat. Уже сейчас Hermes работает в режиме оффлайн-фоллбэка, отвечая на базовые вопросы из встроенной базы знаний (FAQ + knowledge). Однако для полноценной работы Hermes нуждается в полноценной RAG-системе.

Зачем Hermes RAG

Какие данные подключить к Hermes RAG

Техническая реализация

Текущая архитектура Hermes уже использует JSON-файлы как базу знаний. RAG-расширение добавляет:

/var/www/aichat/
├── agents/
│   └── nemplat/
│       └── files/
│           ├── nemplat_site_index/    ← NEW: RAG-индекс сайта
│           ├── beltermo_pricing/      ← NEW: RAG-индекс прайса
│           └── documents/             ← NEW: хранилище документов
├── rag/
│   ├── indexer.js              ← NEW: модуль индексации
│   ├── retriever.js            ← NEW: модуль поиска
│   ├── embeddings.js           ← NEW: вычисление эмбеддингов
│   └── reranker.js             ← NEW: ранжирование результатов
└── chroma_db/                   ← NEW: директория векторной БД

Лёгкий RAG без фреймворков (TF-IDF подход)

Для быстрого старта можно реализовать RAG без векторной базы — через TF-IDF поиск:

// rag-simple.js — лёгкий RAG-модуль для Hermes
// Подход: TF-IDF поиск по JSON-базе знаний
async function ragAnswer(query, agent) {
  const knowledge = loadMemory(agent);
  const docs = [];

  // Собираем документы из всех источников
  if (knowledge.knowledge?.content)
    docs.push({ content: knowledge.knowledge.content, source: 'knowledge.json' });
  if (knowledge.faq)
    knowledge.faq.forEach(qa =>
      docs.push({ content: `Q: ${qa.question}\nA: ${qa.answer}`, source: 'faq.json' }));

  // TF-IDF поиск
  const results = await searchRAG(query, docs, 5);
  const context = results.map(r => `[${r.source}]: ${r.content}`).join('\n\n---\n\n');

  // Генерация через LLM
  const messages = [
    { role: 'system', content: 'Ты — Hermes. Отвечай на русском, опираясь ТОЛЬКО на контекст.' },
    { role: 'user', content: `Контекст:\n${context}\n\nВопрос: ${query}` }
  ];

  return await callLLM('nemplat', messages);
}

План внедрения RAG для Hermes

8. Частые ошибки и как их избежать

9. Заключение

RAG — это не просто модный термин, а реальная, работающая технология, которая превращает обычный AI-чат-бот в точного эксперта, знающего ваш бизнес.

Что даёт RAG вашему бизнесу