Подход «атомарная привязка утверждений» решает отдельную продуктовую задачу. Цитата должна подтверждать конкретное утверждение, а не просто находиться рядом с абзацем; система хранит идентификатор фрагмента, документа, версии и позицию.
Рамка «атомарная привязка утверждений» отделяет проверяемые решения от стилистических предпочтений.
ALCE оценивает генерацию с цитатами по корректности, полноте и качеству citation support. основание
Редакционная схема «атомарная привязка утверждений» проверяется на запросах про «атомарные утверждения» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «атомарная привязка утверждений» начинается с пользователя и его следующего действия.
Цель «атомарная привязка утверждений» связывается с допустимой ошибкой и способом проверки.
Элемент «атомарные утверждения» уточняет границу решения «атомарная привязка утверждений».
Действие «разбить ответ на проверяемые claims» превращает эту границу в рабочий артефакт.
Связка «атомарные утверждения — разбить ответ на проверяемые claims» получает владельца и версию.
Элемент «supporting passages» уточняет границу решения «атомарная привязка утверждений».
Действие «сопоставить каждый claim фрагменту» превращает эту границу в рабочий артефакт.
Связка «supporting passages — сопоставить каждый claim фрагменту» получает владельца и версию.
Элемент «идентификатор версии» уточняет границу решения «атомарная привязка утверждений».
Действие «запретить ссылку без поддержки» превращает эту границу в рабочий артефакт.
Связка «идентификатор версии — запретить ссылку без поддержки» получает владельца и версию.
RAG использует найденные документы как внешнее основание для генерации. основание
Постановка «атомарная привязка утверждений» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «атомарная привязка утверждений» включает шесть наблюдаемых элементов.
Атомарные утверждения. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «атомарные утверждения» выполняется действие «разбить ответ на проверяемые claims».
Проверка «атомарные утверждения» использует критерий «каждый факт имеет поддержку».
Supporting passages. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «supporting passages» выполняется действие «сопоставить каждый claim фрагменту».
Проверка «supporting passages» использует критерий «ссылка ведёт к доступному пользователю месту».
Идентификатор версии. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «идентификатор версии» выполняется действие «запретить ссылку без поддержки».
Проверка «идентификатор версии» использует критерий «версия источника видима».
Позиция в источнике. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «позиция в источнике» выполняется действие «показывать несколько источников при синтезе».
Проверка «позиция в источнике» использует критерий «синтез показывает несколько оснований».
Проверка entailment. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «проверка entailment» выполняется действие «проверять недостающие ссылки».
Проверка «проверка entailment» использует критерий «неподдержанный claim удаляется или маркируется».
Интерфейс просмотра. Этот элемент задаёт часть рамки «атомарная привязка утверждений».
Для «интерфейс просмотра» выполняется действие «оценивать citation precision и recall».
Проверка «интерфейс просмотра» использует критерий «цитаты проверяются выборкой экспертов».
Связи элементов «атомарная привязка утверждений» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «атомарная привязка утверждений» меняет один существенный фактор за итерацию.
Шаг 1: разбить ответ на проверяемые claims. Результат шага сохраняется отдельно.
Шаг «разбить ответ на проверяемые claims» проверяет элемент «атомарные утверждения».
Шаг «разбить ответ на проверяемые claims» исключает сбой «одна ссылка на длинный абзац».
Шаг 2: сопоставить каждый claim фрагменту. Результат шага сохраняется отдельно.
Шаг «сопоставить каждый claim фрагменту» проверяет элемент «supporting passages».
Шаг «сопоставить каждый claim фрагменту» исключает сбой «ссылка на документ без нужного тезиса».
Шаг 3: запретить ссылку без поддержки. Результат шага сохраняется отдельно.
Шаг «запретить ссылку без поддержки» проверяет элемент «идентификатор версии».
Шаг «запретить ссылку без поддержки» исключает сбой «цитирование устаревшей версии».
Шаг 4: показывать несколько источников при синтезе. Результат шага сохраняется отдельно.
Шаг «показывать несколько источников при синтезе» проверяет элемент «позиция в источнике».
Шаг «показывать несколько источников при синтезе» исключает сбой «выдуманный идентификатор».
Шаг 5: проверять недостающие ссылки. Результат шага сохраняется отдельно.
Шаг «проверять недостающие ссылки» проверяет элемент «проверка entailment».
Шаг «проверять недостающие ссылки» исключает сбой «скрытие противоречащего источника».
Шаг 6: оценивать citation precision и recall. Результат шага сохраняется отдельно.
Шаг «оценивать citation precision и recall» проверяет элемент «интерфейс просмотра».
Шаг «оценивать citation precision и recall» исключает сбой «одна ссылка на длинный абзац».
RAGAS включает faithfulness и relevance среди измерений RAG-ответа. основание
Итерация «атомарная привязка утверждений» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «атомарная привязка утверждений» начинается с наиболее раннего наблюдаемого сбоя.
Одна ссылка на длинный абзац. Такой дефект относится к «атомарные утверждения».
Сбой «одна ссылка на длинный абзац» воспроизводится через действие «разбить ответ на проверяемые claims».
Исправление «одна ссылка на длинный абзац» проверяется без смены остальных факторов.
Ссылка на документ без нужного тезиса. Такой дефект относится к «supporting passages».
Сбой «ссылка на документ без нужного тезиса» воспроизводится через действие «сопоставить каждый claim фрагменту».
Исправление «ссылка на документ без нужного тезиса» проверяется без смены остальных факторов.
Цитирование устаревшей версии. Такой дефект относится к «идентификатор версии».
Сбой «цитирование устаревшей версии» воспроизводится через действие «запретить ссылку без поддержки».
Исправление «цитирование устаревшей версии» проверяется без смены остальных факторов.
Выдуманный идентификатор. Такой дефект относится к «позиция в источнике».
Сбой «выдуманный идентификатор» воспроизводится через действие «показывать несколько источников при синтезе».
Исправление «выдуманный идентификатор» проверяется без смены остальных факторов.
Скрытие противоречащего источника. Такой дефект относится к «проверка entailment».
Сбой «скрытие противоречащего источника» воспроизводится через действие «проверять недостающие ссылки».
Исправление «скрытие противоречащего источника» проверяется без смены остальных факторов.
Разбор «атомарная привязка утверждений» не затушёвывает исходный сбой качественным итоговым ответом.
Рабочий сценарий
Условный сценарий для «атомарная привязка утверждений»: Помощник по политике отпусков ставит локальную ссылку после каждого срока и условия, а интерфейс открывает конкретный пункт действующей редакции регламента.
Пример «атомарная привязка утверждений» не описывает опыт конкретной организации.
Сначала «атомарные утверждения» фиксируется через действие «разбить ответ на проверяемые claims».
Затем «атомарные утверждения» проверяется критерием «каждый факт имеет поддержку».
Результат по «атомарные утверждения» сравнивается с исходной версией.
Сначала «supporting passages» фиксируется через действие «сопоставить каждый claim фрагменту».
Затем «supporting passages» проверяется критерием «ссылка ведёт к доступному пользователю месту».
Результат по «supporting passages» сравнивается с исходной версией.
Сначала «идентификатор версии» фиксируется через действие «запретить ссылку без поддержки».
Затем «идентификатор версии» проверяется критерием «версия источника видима».
Результат по «идентификатор версии» сравнивается с исходной версией.
Сначала «позиция в источнике» фиксируется через действие «показывать несколько источников при синтезе».
Затем «позиция в источнике» проверяется критерием «синтез показывает несколько оснований».
Результат по «позиция в источнике» сравнивается с исходной версией.
Неудачный прогон «атомарная привязка утверждений» откатывается до повторной диагностики.
Успешный прогон «атомарная привязка утверждений» расширяется только после контрольной выборки.
Критерии качества
Качество «атомарная привязка утверждений» определяется совокупностью независимых признаков.
Каждый факт имеет поддержку. Признак проверяется на элементе «атомарные утверждения».
Критерий «каждый факт имеет поддержку» имеет порог и владельца решения.
Доказательство «каждый факт имеет поддержку» сохраняется рядом с версией системы.
Ссылка ведёт к доступному пользователю месту. Признак проверяется на элементе «supporting passages».
Критерий «ссылка ведёт к доступному пользователю месту» имеет порог и владельца решения.
Доказательство «ссылка ведёт к доступному пользователю месту» сохраняется рядом с версией системы.
Версия источника видима. Признак проверяется на элементе «идентификатор версии».
Критерий «версия источника видима» имеет порог и владельца решения.
Доказательство «версия источника видима» сохраняется рядом с версией системы.
Синтез показывает несколько оснований. Признак проверяется на элементе «позиция в источнике».
Критерий «синтез показывает несколько оснований» имеет порог и владельца решения.
Доказательство «синтез показывает несколько оснований» сохраняется рядом с версией системы.
Неподдержанный claim удаляется или маркируется. Признак проверяется на элементе «проверка entailment».
Критерий «неподдержанный claim удаляется или маркируется» имеет порог и владельца решения.
Доказательство «неподдержанный claim удаляется или маркируется» сохраняется рядом с версией системы.
Цитаты проверяются выборкой экспертов. Признак проверяется на элементе «интерфейс просмотра».
Критерий «цитаты проверяются выборкой экспертов» имеет порог и владельца решения.
Доказательство «цитаты проверяются выборкой экспертов» сохраняется рядом с версией системы.
Azure Architecture Center рассматривает provenance и evaluation как части проектирования RAG. основание
Выпуск «атомарная привязка утверждений» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «атомарная привязка утверждений» публикуются рядом с результатами проверки.
Наличие ссылки не доказывает корректность. Ограничение связано с «атомарные утверждения».
Риск «наличие ссылки не доказывает корректность» получает владельца и дату пересмотра.
Вывод по «наличие ссылки не доказывает корректность» не переносится автоматически на другой контекст.
Источник может быть ошибочным. Ограничение связано с «supporting passages».
Риск «источник может быть ошибочным» получает владельца и дату пересмотра.
Вывод по «источник может быть ошибочным» не переносится автоматически на другой контекст.
Автоматическая entailment-проверка несовершенна. Ограничение связано с «идентификатор версии».
Риск «автоматическая entailment-проверка несовершенна» получает владельца и дату пересмотра.
Вывод по «автоматическая entailment-проверка несовершенна» не переносится автоматически на другой контекст.
Слишком частые ссылки ухудшают чтение. Ограничение связано с «позиция в источнике».
Риск «слишком частые ссылки ухудшают чтение» получает владельца и дату пересмотра.
Вывод по «слишком частые ссылки ухудшают чтение» не переносится автоматически на другой контекст.
Динамический источник требует фиксации версии. Ограничение связано с «проверка entailment».
Риск «динамический источник требует фиксации версии» получает владельца и дату пересмотра.
Вывод по «динамический источник требует фиксации версии» не переносится автоматически на другой контекст.
Рамка «атомарная привязка утверждений» не заменяет профильную правовую экспертизу.
Критичное применение «атомарная привязка утверждений» требует независимого человеческого контроля.
Вывод
Подход «атомарная привязка утверждений» превращает общую рекомендацию в проверяемый контракт.
Элемент «атомарные утверждения» связывается с действием «разбить ответ на проверяемые claims».
Действие «разбить ответ на проверяемые claims» подтверждается критерием «каждый факт имеет поддержку».
Элемент «supporting passages» связывается с действием «сопоставить каждый claim фрагменту».
Действие «сопоставить каждый claim фрагменту» подтверждается критерием «ссылка ведёт к доступному пользователю месту».
Элемент «идентификатор версии» связывается с действием «запретить ссылку без поддержки».
Действие «запретить ссылку без поддержки» подтверждается критерием «версия источника видима».
Главный результат «атомарная привязка утверждений» — воспроизводимое продуктовое решение.
Решение «атомарная привязка утверждений» показывает основание, ограничение и безопасный следующий шаг.
