Подход «диагностическая панель retrieval» решает отдельную продуктовую задачу. Качество retrieval измеряют до генерации: нужно знать, найден ли правильный документ, на какой позиции он появился и сколько нерелевантного контекста попало в top-k.
Рамка «диагностическая панель retrieval» отделяет проверяемые решения от стилистических предпочтений.
DPR оценивает retriever через top-k retrieval accuracy отдельно от reader. основание
Редакционная схема «диагностическая панель retrieval» проверяется на запросах про «набор запросов» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «диагностическая панель retrieval» начинается с пользователя и его следующего действия.
Цель «диагностическая панель retrieval» связывается с допустимой ошибкой и способом проверки.
Элемент «набор запросов» уточняет границу решения «диагностическая панель retrieval».
Действие «собрать реальные запросы» превращает эту границу в рабочий артефакт.
Связка «набор запросов — собрать реальные запросы» получает владельца и версию.
Элемент «релевантные документы» уточняет границу решения «диагностическая панель retrieval».
Действие «назначить экспертные документы» превращает эту границу в рабочий артефакт.
Связка «релевантные документы — назначить экспертные документы» получает владельца и версию.
Элемент «relevance judgments» уточняет границу решения «диагностическая панель retrieval».
Действие «зафиксировать corpus version» превращает эту границу в рабочий артефакт.
Связка «relevance judgments — зафиксировать corpus version» получает владельца и версию.
BEIR предоставляет разнородный benchmark для сравнения retrieval-систем и показывает различия между доменами. основание
Постановка «диагностическая панель retrieval» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «диагностическая панель retrieval» включает шесть наблюдаемых элементов.
Набор запросов. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «набор запросов» выполняется действие «собрать реальные запросы».
Проверка «набор запросов» использует критерий «набор отражает рабочую нагрузку».
Релевантные документы. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «релевантные документы» выполняется действие «назначить экспертные документы».
Проверка «релевантные документы» использует критерий «релевантность размечена по инструкции».
Relevance judgments. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «relevance judgments» выполняется действие «зафиксировать corpus version».
Проверка «relevance judgments» использует критерий «версия корпуса фиксируется».
Recall@k. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «recall@k» выполняется действие «измерить несколько k».
Проверка «recall@k» использует критерий «метрики считаются по сегментам».
Precision@k или ndcg. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «precision@k или NDCG» выполняется действие «разобрать ошибки по классам».
Проверка «precision@k или NDCG» использует критерий «ошибки воспроизводимы».
Разрезы по типам запросов. Этот элемент задаёт часть рамки «диагностическая панель retrieval».
Для «разрезы по типам запросов» выполняется действие «связать retrieval с качеством ответа».
Проверка «разрезы по типам запросов» использует критерий «изменение retrieval проверяется downstream».
Связи элементов «диагностическая панель retrieval» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «диагностическая панель retrieval» меняет один существенный фактор за итерацию.
Шаг 1: собрать реальные запросы. Результат шага сохраняется отдельно.
Шаг «собрать реальные запросы» проверяет элемент «набор запросов».
Шаг «собрать реальные запросы» исключает сбой «оценка только конечного текста».
Шаг 2: назначить экспертные документы. Результат шага сохраняется отдельно.
Шаг «назначить экспертные документы» проверяет элемент «релевантные документы».
Шаг «назначить экспертные документы» исключает сбой «один средний показатель».
Шаг 3: зафиксировать corpus version. Результат шага сохраняется отдельно.
Шаг «зафиксировать corpus version» проверяет элемент «relevance judgments».
Шаг «зафиксировать corpus version» исключает сбой «неполная экспертная разметка».
Шаг 4: измерить несколько k. Результат шага сохраняется отдельно.
Шаг «измерить несколько k» проверяет элемент «recall@k».
Шаг «измерить несколько k» исключает сбой «смешение версий индекса».
Шаг 5: разобрать ошибки по классам. Результат шага сохраняется отдельно.
Шаг «разобрать ошибки по классам» проверяет элемент «precision@k или NDCG».
Шаг «разобрать ошибки по классам» исключает сбой «подбор k по тестовой выборке».
Шаг 6: связать retrieval с качеством ответа. Результат шага сохраняется отдельно.
Шаг «связать retrieval с качеством ответа» проверяет элемент «разрезы по типам запросов».
Шаг «связать retrieval с качеством ответа» исключает сбой «оценка только конечного текста».
RAGAS разделяет context relevance и свойства ответа в оценке RAG. основание
Итерация «диагностическая панель retrieval» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «диагностическая панель retrieval» начинается с наиболее раннего наблюдаемого сбоя.
Оценка только конечного текста. Такой дефект относится к «набор запросов».
Сбой «оценка только конечного текста» воспроизводится через действие «собрать реальные запросы».
Исправление «оценка только конечного текста» проверяется без смены остальных факторов.
Один средний показатель. Такой дефект относится к «релевантные документы».
Сбой «один средний показатель» воспроизводится через действие «назначить экспертные документы».
Исправление «один средний показатель» проверяется без смены остальных факторов.
Неполная экспертная разметка. Такой дефект относится к «relevance judgments».
Сбой «неполная экспертная разметка» воспроизводится через действие «зафиксировать corpus version».
Исправление «неполная экспертная разметка» проверяется без смены остальных факторов.
Смешение версий индекса. Такой дефект относится к «recall@k».
Сбой «смешение версий индекса» воспроизводится через действие «измерить несколько k».
Исправление «смешение версий индекса» проверяется без смены остальных факторов.
Подбор k по тестовой выборке. Такой дефект относится к «precision@k или NDCG».
Сбой «подбор k по тестовой выборке» воспроизводится через действие «разобрать ошибки по классам».
Исправление «подбор k по тестовой выборке» проверяется без смены остальных факторов.
Разбор «диагностическая панель retrieval» не затушёвывает исходный сбой качественным итоговым текстом.
Практический пример
Условный сценарий для «диагностическая панель retrieval»: Для базы поддержки эксперты отмечают допустимые статьи по каждому вопросу; команда считает recall@5, NDCG и долю запросов без релевантного результата, затем анализирует сегменты.
Пример «диагностическая панель retrieval» не описывает опыт конкретной организации.
Сначала «набор запросов» фиксируется через действие «собрать реальные запросы».
Затем «набор запросов» проверяется критерием «набор отражает рабочую нагрузку».
Результат по «набор запросов» сравнивается с исходной версией.
Сначала «релевантные документы» фиксируется через действие «назначить экспертные документы».
Затем «релевантные документы» проверяется критерием «релевантность размечена по инструкции».
Результат по «релевантные документы» сравнивается с исходной версией.
Сначала «relevance judgments» фиксируется через действие «зафиксировать corpus version».
Затем «relevance judgments» проверяется критерием «версия корпуса фиксируется».
Результат по «relevance judgments» сравнивается с исходной версией.
Сначала «recall@k» фиксируется через действие «измерить несколько k».
Затем «recall@k» проверяется критерием «метрики считаются по сегментам».
Результат по «recall@k» сравнивается с исходной версией.
Неудачный прогон «диагностическая панель retrieval» откатывается до повторной диагностики.
Успешный прогон «диагностическая панель retrieval» расширяется только после контрольной выборки.
Критерии качества
Качество «диагностическая панель retrieval» определяется совокупностью независимых признаков.
Набор отражает рабочую нагрузку. Признак проверяется на элементе «набор запросов».
Критерий «набор отражает рабочую нагрузку» имеет порог и владельца решения.
Доказательство «набор отражает рабочую нагрузку» сохраняется рядом с версией системы.
Релевантность размечена по инструкции. Признак проверяется на элементе «релевантные документы».
Критерий «релевантность размечена по инструкции» имеет порог и владельца решения.
Доказательство «релевантность размечена по инструкции» сохраняется рядом с версией системы.
Версия корпуса фиксируется. Признак проверяется на элементе «relevance judgments».
Критерий «версия корпуса фиксируется» имеет порог и владельца решения.
Доказательство «версия корпуса фиксируется» сохраняется рядом с версией системы.
Метрики считаются по сегментам. Признак проверяется на элементе «recall@k».
Критерий «метрики считаются по сегментам» имеет порог и владельца решения.
Доказательство «метрики считаются по сегментам» сохраняется рядом с версией системы.
Ошибки воспроизводимы. Признак проверяется на элементе «precision@k или NDCG».
Критерий «ошибки воспроизводимы» имеет порог и владельца решения.
Доказательство «ошибки воспроизводимы» сохраняется рядом с версией системы.
Изменение retrieval проверяется downstream. Признак проверяется на элементе «разрезы по типам запросов».
Критерий «изменение retrieval проверяется downstream» имеет порог и владельца решения.
Доказательство «изменение retrieval проверяется downstream» сохраняется рядом с версией системы.
Azure Architecture Center рекомендует оценивать retrieval и generation как отдельные части RAG-решения. основание
Выпуск «диагностическая панель retrieval» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «диагностическая панель retrieval» публикуются рядом с результатами проверки.
Экспертная релевантность может быть неоднозначной. Ограничение связано с «набор запросов».
Риск «экспертная релевантность может быть неоднозначной» получает владельца и дату пересмотра.
Вывод по «экспертная релевантность может быть неоднозначной» не переносится автоматически на другой контекст.
Неполная разметка занижает метрики. Ограничение связано с «релевантные документы».
Риск «неполная разметка занижает метрики» получает владельца и дату пересмотра.
Вывод по «неполная разметка занижает метрики» не переносится автоматически на другой контекст.
Высокий recall может добавить шум. Ограничение связано с «relevance judgments».
Риск «высокий recall может добавить шум» получает владельца и дату пересмотра.
Вывод по «высокий recall может добавить шум» не переносится автоматически на другой контекст.
Offline результат не равен пользовательской пользе. Ограничение связано с «recall@k».
Риск «offline результат не равен пользовательской пользе» получает владельца и дату пересмотра.
Вывод по «offline результат не равен пользовательской пользе» не переносится автоматически на другой контекст.
Метрики зависят от значения k. Ограничение связано с «precision@k или NDCG».
Риск «метрики зависят от значения k» получает владельца и дату пересмотра.
Вывод по «метрики зависят от значения k» не переносится автоматически на другой контекст.
Рамка «диагностическая панель retrieval» не заменяет профильную правовую экспертизу.
Критичное применение «диагностическая панель retrieval» требует независимого человеческого контроля.
Вывод
Подход «диагностическая панель retrieval» превращает общую рекомендацию в проверяемый контракт.
Элемент «набор запросов» связывается с действием «собрать реальные запросы».
Действие «собрать реальные запросы» подтверждается критерием «набор отражает рабочую нагрузку».
Элемент «релевантные документы» связывается с действием «назначить экспертные документы».
Действие «назначить экспертные документы» подтверждается критерием «релевантность размечена по инструкции».
Элемент «relevance judgments» связывается с действием «зафиксировать corpus version».
Действие «зафиксировать corpus version» подтверждается критерием «версия корпуса фиксируется».
Главный результат «диагностическая панель retrieval» — воспроизводимое продуктовое решение.
Решение «диагностическая панель retrieval» показывает основание, ограничение и безопасный следующий шаг.
