Подход «карта смысловых фрагментов» решает отдельную продуктовую задачу. Разбиение документов выбирают по структуре материала и типу вопросов: фрагмент должен содержать достаточный смысл, сохранять происхождение и не объединять несовместимые части.
Рамка «карта смысловых фрагментов» отделяет проверяемые решения от стилистических предпочтений.
Azure Architecture Center перечисляет фиксированное, предложенческое, структурное и другие подходы к chunking. основание
Редакционная схема «карта смысловых фрагментов» проверяется на запросах про «границы разделов» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «карта смысловых фрагментов» начинается с пользователя и его следующего действия.
Цель «карта смысловых фрагментов» связывается с допустимой ошибкой и способом проверки.
Элемент «границы разделов» уточняет границу решения «карта смысловых фрагментов».
Действие «классифицировать типы документов» превращает эту границу в рабочий артефакт.
Связка «границы разделов — классифицировать типы документов» получает владельца и версию.
Элемент «размер смысловой единицы» уточняет границу решения «карта смысловых фрагментов».
Действие «собрать реальные вопросы» превращает эту границу в рабочий артефакт.
Связка «размер смысловой единицы — собрать реальные вопросы» получает владельца и версию.
Элемент «перекрытие соседних частей» уточняет границу решения «карта смысловых фрагментов».
Действие «создать несколько стратегий разбиения» превращает эту границу в рабочий артефакт.
Связка «перекрытие соседних частей — создать несколько стратегий разбиения» получает владельца и версию.
Microsoft относит preprocessing и chunking к ключевым этапам ingestion для RAG. основание
Постановка «карта смысловых фрагментов» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «карта смысловых фрагментов» включает шесть наблюдаемых элементов.
Границы разделов. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «границы разделов» выполняется действие «классифицировать типы документов».
Проверка «границы разделов» использует критерий «фрагмент отвечает одному смысловому вопросу».
Размер смысловой единицы. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «размер смысловой единицы» выполняется действие «собрать реальные вопросы».
Проверка «размер смысловой единицы» использует критерий «сохраняется иерархический контекст».
Перекрытие соседних частей. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «перекрытие соседних частей» выполняется действие «создать несколько стратегий разбиения».
Проверка «перекрытие соседних частей» использует критерий «таблицы не теряют строки заголовков».
Заголовки и иерархия. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «заголовки и иерархия» выполняется действие «измерить попадание нужного фрагмента».
Проверка «заголовки и иерархия» использует критерий «дубликаты контролируются».
Таблицы и списки. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «таблицы и списки» выполняется действие «проверить соседний контекст».
Проверка «таблицы и списки» использует критерий «качество проверяется на запросах».
Ссылка на исходный документ. Этот элемент задаёт часть рамки «карта смысловых фрагментов».
Для «ссылка на исходный документ» выполняется действие «версионировать преобразование».
Проверка «ссылка на исходный документ» использует критерий «изменение стратегии воспроизводимо».
Связи элементов «карта смысловых фрагментов» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «карта смысловых фрагментов» меняет один существенный фактор за итерацию.
Шаг 1: классифицировать типы документов. Результат шага сохраняется отдельно.
Шаг «классифицировать типы документов» проверяет элемент «границы разделов».
Шаг «классифицировать типы документов» исключает сбой «фиксированный размер для всех форматов».
Шаг 2: собрать реальные вопросы. Результат шага сохраняется отдельно.
Шаг «собрать реальные вопросы» проверяет элемент «размер смысловой единицы».
Шаг «собрать реальные вопросы» исключает сбой «разрыв таблицы посередине строки».
Шаг 3: создать несколько стратегий разбиения. Результат шага сохраняется отдельно.
Шаг «создать несколько стратегий разбиения» проверяет элемент «перекрытие соседних частей».
Шаг «создать несколько стратегий разбиения» исключает сбой «потеря заголовка раздела».
Шаг 4: измерить попадание нужного фрагмента. Результат шага сохраняется отдельно.
Шаг «измерить попадание нужного фрагмента» проверяет элемент «заголовки и иерархия».
Шаг «измерить попадание нужного фрагмента» исключает сбой «чрезмерное перекрытие».
Шаг 5: проверить соседний контекст. Результат шага сохраняется отдельно.
Шаг «проверить соседний контекст» проверяет элемент «таблицы и списки».
Шаг «проверить соседний контекст» исключает сбой «фрагмент без идентификатора версии».
Шаг 6: версионировать преобразование. Результат шага сохраняется отдельно.
Шаг «версионировать преобразование» проверяет элемент «ссылка на исходный документ».
Шаг «версионировать преобразование» исключает сбой «фиксированный размер для всех форматов».
В исходной работе RAG извлекаемые фрагменты выступают внешней памятью генератора. основание
Итерация «карта смысловых фрагментов» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «карта смысловых фрагментов» начинается с наиболее раннего наблюдаемого сбоя.
Фиксированный размер для всех форматов. Такой дефект относится к «границы разделов».
Сбой «фиксированный размер для всех форматов» воспроизводится через действие «классифицировать типы документов».
Исправление «фиксированный размер для всех форматов» проверяется без смены остальных факторов.
Разрыв таблицы посередине строки. Такой дефект относится к «размер смысловой единицы».
Сбой «разрыв таблицы посередине строки» воспроизводится через действие «собрать реальные вопросы».
Исправление «разрыв таблицы посередине строки» проверяется без смены остальных факторов.
Потеря заголовка раздела. Такой дефект относится к «перекрытие соседних частей».
Сбой «потеря заголовка раздела» воспроизводится через действие «создать несколько стратегий разбиения».
Исправление «потеря заголовка раздела» проверяется без смены остальных факторов.
Чрезмерное перекрытие. Такой дефект относится к «заголовки и иерархия».
Сбой «чрезмерное перекрытие» воспроизводится через действие «измерить попадание нужного фрагмента».
Исправление «чрезмерное перекрытие» проверяется без смены остальных факторов.
Фрагмент без идентификатора версии. Такой дефект относится к «таблицы и списки».
Сбой «фрагмент без идентификатора версии» воспроизводится через действие «проверить соседний контекст».
Исправление «фрагмент без идентификатора версии» проверяется без смены остальных факторов.
Разбор «карта смысловых фрагментов» не маскирует ранний дефект удачным финальным текстом.
Практический пример
Условный сценарий для «карта смысловых фрагментов»: Регламент разбивается по пунктам и подпунктам, а таблица лимитов хранится единым блоком; каждый фрагмент получает заголовок, дату действия и ссылку на исходную позицию.
Пример «карта смысловых фрагментов» не описывает опыт конкретной организации.
Сначала «границы разделов» фиксируется через действие «классифицировать типы документов».
Затем «границы разделов» проверяется критерием «фрагмент отвечает одному смысловому вопросу».
Результат по «границы разделов» сравнивается с исходной версией.
Сначала «размер смысловой единицы» фиксируется через действие «собрать реальные вопросы».
Затем «размер смысловой единицы» проверяется критерием «сохраняется иерархический контекст».
Результат по «размер смысловой единицы» сравнивается с исходной версией.
Сначала «перекрытие соседних частей» фиксируется через действие «создать несколько стратегий разбиения».
Затем «перекрытие соседних частей» проверяется критерием «таблицы не теряют строки заголовков».
Результат по «перекрытие соседних частей» сравнивается с исходной версией.
Сначала «заголовки и иерархия» фиксируется через действие «измерить попадание нужного фрагмента».
Затем «заголовки и иерархия» проверяется критерием «дубликаты контролируются».
Результат по «заголовки и иерархия» сравнивается с исходной версией.
Неудачный прогон «карта смысловых фрагментов» откатывается до повторной диагностики.
Успешный прогон «карта смысловых фрагментов» расширяется только после контрольной выборки.
Критерии качества
Качество «карта смысловых фрагментов» определяется совокупностью независимых признаков.
Фрагмент отвечает одному смысловому вопросу. Признак проверяется на элементе «границы разделов».
Критерий «фрагмент отвечает одному смысловому вопросу» имеет порог и владельца решения.
Доказательство «фрагмент отвечает одному смысловому вопросу» сохраняется рядом с версией системы.
Сохраняется иерархический контекст. Признак проверяется на элементе «размер смысловой единицы».
Критерий «сохраняется иерархический контекст» имеет порог и владельца решения.
Доказательство «сохраняется иерархический контекст» сохраняется рядом с версией системы.
Таблицы не теряют строки заголовков. Признак проверяется на элементе «перекрытие соседних частей».
Критерий «таблицы не теряют строки заголовков» имеет порог и владельца решения.
Доказательство «таблицы не теряют строки заголовков» сохраняется рядом с версией системы.
Дубликаты контролируются. Признак проверяется на элементе «заголовки и иерархия».
Критерий «дубликаты контролируются» имеет порог и владельца решения.
Доказательство «дубликаты контролируются» сохраняется рядом с версией системы.
Качество проверяется на запросах. Признак проверяется на элементе «таблицы и списки».
Критерий «качество проверяется на запросах» имеет порог и владельца решения.
Доказательство «качество проверяется на запросах» сохраняется рядом с версией системы.
Изменение стратегии воспроизводимо. Признак проверяется на элементе «ссылка на исходный документ».
Критерий «изменение стратегии воспроизводимо» имеет порог и владельца решения.
Доказательство «изменение стратегии воспроизводимо» сохраняется рядом с версией системы.
Исследование длинного контекста показывает, что положение релевантной информации может влиять на использование контекста моделью. основание
Выпуск «карта смысловых фрагментов» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «карта смысловых фрагментов» публикуются рядом с результатами проверки.
Универсального размера chunk не существует. Ограничение связано с «границы разделов».
Риск «универсального размера chunk не существует» получает владельца и дату пересмотра.
Вывод по «универсального размера chunk не существует» не переносится автоматически на другой контекст.
Малый фрагмент теряет контекст. Ограничение связано с «размер смысловой единицы».
Риск «малый фрагмент теряет контекст» получает владельца и дату пересмотра.
Вывод по «малый фрагмент теряет контекст» не переносится автоматически на другой контекст.
Крупный фрагмент снижает точность. Ограничение связано с «перекрытие соседних частей».
Риск «крупный фрагмент снижает точность» получает владельца и дату пересмотра.
Вывод по «крупный фрагмент снижает точность» не переносится автоматически на другой контекст.
Ocr может разрушить структуру. Ограничение связано с «заголовки и иерархия».
Риск «OCR может разрушить структуру» получает владельца и дату пересмотра.
Вывод по «OCR может разрушить структуру» не переносится автоматически на другой контекст.
Новые типы документов требуют отдельной проверки. Ограничение связано с «таблицы и списки».
Риск «новые типы документов требуют отдельной проверки» получает владельца и дату пересмотра.
Вывод по «новые типы документов требуют отдельной проверки» не переносится автоматически на другой контекст.
Рамка «карта смысловых фрагментов» не заменяет профильную правовую экспертизу.
Критичное применение «карта смысловых фрагментов» требует независимого человеческого контроля.
Вывод
Подход «карта смысловых фрагментов» превращает общую рекомендацию в проверяемый контракт.
Элемент «границы разделов» связывается с действием «классифицировать типы документов».
Действие «классифицировать типы документов» подтверждается критерием «фрагмент отвечает одному смысловому вопросу».
Элемент «размер смысловой единицы» связывается с действием «собрать реальные вопросы».
Действие «собрать реальные вопросы» подтверждается критерием «сохраняется иерархический контекст».
Элемент «перекрытие соседних частей» связывается с действием «создать несколько стратегий разбиения».
Действие «создать несколько стратегий разбиения» подтверждается критерием «таблицы не теряют строки заголовков».
Главный результат «карта смысловых фрагментов» — воспроизводимое продуктовое решение.
Решение «карта смысловых фрагментов» показывает основание, ограничение и безопасный следующий шаг.
