Подход «сквозной конвейер RAG» решает отдельную продуктовую задачу. Архитектура RAG должна сохранять наблюдаемую цепочку от пользовательского вопроса до документов, выбранных фрагментов, контекста и каждого утверждения ответа.
Рамка «сквозной конвейер RAG» отделяет проверяемые решения от стилистических предпочтений.
RAG объединяет генератор с извлечением информации из внешней непараметрической памяти. основание
Редакционная схема «сквозной конвейер RAG» проверяется на запросах про «приём и нормализация запроса» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «сквозной конвейер RAG» начинается с пользователя и его следующего действия.
Цель «сквозной конвейер RAG» связывается с допустимой ошибкой и способом проверки.
Элемент «приём и нормализация запроса» уточняет границу решения «сквозной конвейер RAG».
Действие «описать классы запросов» превращает эту границу в рабочий артефакт.
Связка «приём и нормализация запроса — описать классы запросов» получает владельца и версию.
Элемент «поиск кандидатов» уточняет границу решения «сквозной конвейер RAG».
Действие «подготовить корпус и метаданные» превращает эту границу в рабочий артефакт.
Связка «поиск кандидатов — подготовить корпус и метаданные» получает владельца и версию.
Элемент «фильтрация прав доступа» уточняет границу решения «сквозной конвейер RAG».
Действие «выбрать baseline поиска» превращает эту границу в рабочий артефакт.
Связка «фильтрация прав доступа — выбрать baseline поиска» получает владельца и версию.
Microsoft выделяет ingestion, inference pipeline и evaluation как основные фазы развитой RAG-системы. основание
Постановка «сквозной конвейер RAG» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «сквозной конвейер RAG» включает шесть наблюдаемых элементов.
Приём и нормализация запроса. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «приём и нормализация запроса» выполняется действие «описать классы запросов».
Проверка «приём и нормализация запроса» использует критерий «каждый ответ воспроизводим по трассе».
Поиск кандидатов. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «поиск кандидатов» выполняется действие «подготовить корпус и метаданные».
Проверка «поиск кандидатов» использует критерий «поиск измеряется отдельно».
Фильтрация прав доступа. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «фильтрация прав доступа» выполняется действие «выбрать baseline поиска».
Проверка «фильтрация прав доступа» использует критерий «доступ применяется до передачи модели».
Ранжирование. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «ранжирование» выполняется действие «ввести трассировку результатов».
Проверка «ранжирование» использует критерий «контекст имеет ограниченный размер».
Сбор контекста. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «сбор контекста» выполняется действие «настроить отказ при слабом основании».
Проверка «сбор контекста» использует критерий «ответ умеет отказаться».
Генерация и цитирование. Этот элемент задаёт часть рамки «сквозной конвейер RAG».
Для «генерация и цитирование» выполняется действие «разделить метрики retrieval и generation».
Проверка «генерация и цитирование» использует критерий «источники доступны пользователю».
Связи элементов «сквозной конвейер RAG» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «сквозной конвейер RAG» меняет один существенный фактор за итерацию.
Шаг 1: описать классы запросов. Результат шага сохраняется отдельно.
Шаг «описать классы запросов» проверяет элемент «приём и нормализация запроса».
Шаг «описать классы запросов» исключает сбой «единый непрозрачный вызов».
Шаг 2: подготовить корпус и метаданные. Результат шага сохраняется отдельно.
Шаг «подготовить корпус и метаданные» проверяет элемент «поиск кандидатов».
Шаг «подготовить корпус и метаданные» исключает сбой «потеря идентификатора источника».
Шаг 3: выбрать baseline поиска. Результат шага сохраняется отдельно.
Шаг «выбрать baseline поиска» проверяет элемент «фильтрация прав доступа».
Шаг «выбрать baseline поиска» исключает сбой «поиск после генерации».
Шаг 4: ввести трассировку результатов. Результат шага сохраняется отдельно.
Шаг «ввести трассировку результатов» проверяет элемент «ранжирование».
Шаг «ввести трассировку результатов» исключает сбой «смешение прав доступа с постфильтром».
Шаг 5: настроить отказ при слабом основании. Результат шага сохраняется отдельно.
Шаг «настроить отказ при слабом основании» проверяет элемент «сбор контекста».
Шаг «настроить отказ при слабом основании» исключает сбой «отсутствие пустого результата».
Шаг 6: разделить метрики retrieval и generation. Результат шага сохраняется отдельно.
Шаг «разделить метрики retrieval и generation» проверяет элемент «генерация и цитирование».
Шаг «разделить метрики retrieval и generation» исключает сбой «единый непрозрачный вызов».
Azure AI Search описывает классический RAG как передачу найденного набора результатов языковой модели. основание
Итерация «сквозной конвейер RAG» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «сквозной конвейер RAG» начинается с наиболее раннего наблюдаемого сбоя.
Единый непрозрачный вызов. Такой дефект относится к «приём и нормализация запроса».
Сбой «единый непрозрачный вызов» воспроизводится через действие «описать классы запросов».
Исправление «единый непрозрачный вызов» проверяется без смены остальных факторов.
Потеря идентификатора источника. Такой дефект относится к «поиск кандидатов».
Сбой «потеря идентификатора источника» воспроизводится через действие «подготовить корпус и метаданные».
Исправление «потеря идентификатора источника» проверяется без смены остальных факторов.
Поиск после генерации. Такой дефект относится к «фильтрация прав доступа».
Сбой «поиск после генерации» воспроизводится через действие «выбрать baseline поиска».
Исправление «поиск после генерации» проверяется без смены остальных факторов.
Смешение прав доступа с постфильтром. Такой дефект относится к «ранжирование».
Сбой «смешение прав доступа с постфильтром» воспроизводится через действие «ввести трассировку результатов».
Исправление «смешение прав доступа с постфильтром» проверяется без смены остальных факторов.
Отсутствие пустого результата. Такой дефект относится к «сбор контекста».
Сбой «отсутствие пустого результата» воспроизводится через действие «настроить отказ при слабом основании».
Исправление «отсутствие пустого результата» проверяется без смены остальных факторов.
Разбор «сквозной конвейер RAG» не затушёвывает исходный сбой качественным итоговым ответом.
Рабочий пример
Условный сценарий для «сквозной конвейер RAG»: Внутренний помощник принимает вопрос о закупке, фильтрует документы по подразделению, находит действующий регламент, передаёт модели ограниченные фрагменты и показывает ссылки на пункты.
Пример «сквозной конвейер RAG» не описывает опыт конкретной организации.
Сначала «приём и нормализация запроса» фиксируется через действие «описать классы запросов».
Затем «приём и нормализация запроса» проверяется критерием «каждый ответ воспроизводим по трассе».
Результат по «приём и нормализация запроса» сравнивается с исходной версией.
Сначала «поиск кандидатов» фиксируется через действие «подготовить корпус и метаданные».
Затем «поиск кандидатов» проверяется критерием «поиск измеряется отдельно».
Результат по «поиск кандидатов» сравнивается с исходной версией.
Сначала «фильтрация прав доступа» фиксируется через действие «выбрать baseline поиска».
Затем «фильтрация прав доступа» проверяется критерием «доступ применяется до передачи модели».
Результат по «фильтрация прав доступа» сравнивается с исходной версией.
Сначала «ранжирование» фиксируется через действие «ввести трассировку результатов».
Затем «ранжирование» проверяется критерием «контекст имеет ограниченный размер».
Результат по «ранжирование» сравнивается с исходной версией.
Неудачный прогон «сквозной конвейер RAG» откатывается до повторной диагностики.
Успешный прогон «сквозной конвейер RAG» расширяется только после контрольной выборки.
Критерии качества
Качество «сквозной конвейер RAG» определяется совокупностью независимых признаков.
Каждый ответ воспроизводим по трассе. Признак проверяется на элементе «приём и нормализация запроса».
Критерий «каждый ответ воспроизводим по трассе» имеет порог и владельца решения.
Доказательство «каждый ответ воспроизводим по трассе» сохраняется рядом с версией системы.
Поиск измеряется отдельно. Признак проверяется на элементе «поиск кандидатов».
Критерий «поиск измеряется отдельно» имеет порог и владельца решения.
Доказательство «поиск измеряется отдельно» сохраняется рядом с версией системы.
Доступ применяется до передачи модели. Признак проверяется на элементе «фильтрация прав доступа».
Критерий «доступ применяется до передачи модели» имеет порог и владельца решения.
Доказательство «доступ применяется до передачи модели» сохраняется рядом с версией системы.
Контекст имеет ограниченный размер. Признак проверяется на элементе «ранжирование».
Критерий «контекст имеет ограниченный размер» имеет порог и владельца решения.
Доказательство «контекст имеет ограниченный размер» сохраняется рядом с версией системы.
Ответ умеет отказаться. Признак проверяется на элементе «сбор контекста».
Критерий «ответ умеет отказаться» имеет порог и владельца решения.
Доказательство «ответ умеет отказаться» сохраняется рядом с версией системы.
Источники доступны пользователю. Признак проверяется на элементе «генерация и цитирование».
Критерий «источники доступны пользователю» имеет порог и владельца решения.
Доказательство «источники доступны пользователю» сохраняется рядом с версией системы.
RAGAS разделяет оценку контекста и ответа на несколько измерений. основание
Выпуск «сквозной конвейер RAG» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «сквозной конвейер RAG» публикуются рядом с результатами проверки.
Rag не гарантирует истинность ответа. Ограничение связано с «приём и нормализация запроса».
Риск «RAG не гарантирует истинность ответа» получает владельца и дату пересмотра.
Вывод по «RAG не гарантирует истинность ответа» не переносится автоматически на другой контекст.
Качество ограничено корпусом. Ограничение связано с «поиск кандидатов».
Риск «качество ограничено корпусом» получает владельца и дату пересмотра.
Вывод по «качество ограничено корпусом» не переносится автоматически на другой контекст.
Поиск может пропустить нужный фрагмент. Ограничение связано с «фильтрация прав доступа».
Риск «поиск может пропустить нужный фрагмент» получает владельца и дату пересмотра.
Вывод по «поиск может пропустить нужный фрагмент» не переносится автоматически на другой контекст.
Длинный контекст создаёт шум. Ограничение связано с «ранжирование».
Риск «длинный контекст создаёт шум» получает владельца и дату пересмотра.
Вывод по «длинный контекст создаёт шум» не переносится автоматически на другой контекст.
Архитектура повышает операционную сложность. Ограничение связано с «сбор контекста».
Риск «архитектура повышает операционную сложность» получает владельца и дату пересмотра.
Вывод по «архитектура повышает операционную сложность» не переносится автоматически на другой контекст.
Рамка «сквозной конвейер RAG» не заменяет профильную правовую экспертизу.
Критичное применение «сквозной конвейер RAG» требует независимого человеческого контроля.
Вывод
Подход «сквозной конвейер RAG» превращает общую рекомендацию в проверяемый контракт.
Элемент «приём и нормализация запроса» связывается с действием «описать классы запросов».
Действие «описать классы запросов» подтверждается критерием «каждый ответ воспроизводим по трассе».
Элемент «поиск кандидатов» связывается с действием «подготовить корпус и метаданные».
Действие «подготовить корпус и метаданные» подтверждается критерием «поиск измеряется отдельно».
Элемент «фильтрация прав доступа» связывается с действием «выбрать baseline поиска».
Действие «выбрать baseline поиска» подтверждается критерием «доступ применяется до передачи модели».
Главный результат «сквозной конвейер RAG» — воспроизводимое продуктовое решение.
Решение «сквозной конвейер RAG» показывает основание, ограничение и безопасный следующий шаг.
