Подход «набор контрастных демонстраций» решает отдельную продуктовую задачу. Few-shot примеры должны показывать пространство решений: обычный случай, границу, отказ и контрастный вариант, а не заставлять модель копировать одну поверхность текста.
Рамка «набор контрастных демонстраций» отделяет проверяемые решения от стилистических предпочтений.
Работа GPT-3 демонстрирует выполнение ряда задач через инструкции и несколько примеров без обновления весов модели. основание
Редакционная схема «набор контрастных демонстраций» проверяется на запросах про «распределение входов» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «набор контрастных демонстраций» начинается с пользователя и его следующего действия.
Цель «набор контрастных демонстраций» связывается с допустимой ошибкой и способом проверки.
Элемент «распределение входов» уточняет границу решения «набор контрастных демонстраций».
Действие «собрать реальные типы входов» превращает эту границу в рабочий артефакт.
Связка «распределение входов — собрать реальные типы входов» получает владельца и версию.
Элемент «набор допустимых меток» уточняет границу решения «набор контрастных демонстраций».
Действие «выбрать минимально различимые примеры» превращает эту границу в рабочий артефакт.
Связка «набор допустимых меток — выбрать минимально различимые примеры» получает владельца и версию.
Элемент «разнообразие формулировок» уточняет границу решения «набор контрастных демонстраций».
Действие «проверить корректность меток» превращает эту границу в рабочий артефакт.
Связка «разнообразие формулировок — проверить корректность меток» получает владельца и версию.
Исследование Min и соавторов показывает важность формата, распределения входов и пространства меток в демонстрациях. основание
Постановка «набор контрастных демонстраций» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «набор контрастных демонстраций» включает шесть наблюдаемых элементов.
Распределение входов. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «распределение входов» выполняется действие «собрать реальные типы входов».
Проверка «распределение входов» использует критерий «покрыты основные классы входов».
Набор допустимых меток. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «набор допустимых меток» выполняется действие «выбрать минимально различимые примеры».
Проверка «набор допустимых меток» использует критерий «есть отрицательный и граничный пример».
Разнообразие формулировок. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «разнообразие формулировок» выполняется действие «проверить корректность меток».
Проверка «разнообразие формулировок» использует критерий «метки согласованы экспертами».
Сложные граничные случаи. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «сложные граничные случаи» выполняется действие «перемешать порядок демонстраций».
Проверка «сложные граничные случаи» использует критерий «новые формулировки не ломают результат».
Отрицательный пример. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «отрицательный пример» выполняется действие «протестировать новые формулировки».
Проверка «отрицательный пример» использует критерий «порядок примеров не определяет ответ».
Стабильный формат результата. Этот элемент задаёт часть рамки «набор контрастных демонстраций».
Для «стабильный формат результата» выполняется действие «удалить пример без измеримого вклада».
Проверка «стабильный формат результата» использует критерий «каждый пример имеет понятную функцию».
Связи элементов «набор контрастных демонстраций» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «набор контрастных демонстраций» меняет один существенный фактор за итерацию.
Шаг 1: собрать реальные типы входов. Результат шага сохраняется отдельно.
Шаг «собрать реальные типы входов» проверяет элемент «распределение входов».
Шаг «собрать реальные типы входов» исключает сбой «одинаковая структура всех входов».
Шаг 2: выбрать минимально различимые примеры. Результат шага сохраняется отдельно.
Шаг «выбрать минимально различимые примеры» проверяет элемент «набор допустимых меток».
Шаг «выбрать минимально различимые примеры» исключает сбой «случайные или спорные метки».
Шаг 3: проверить корректность меток. Результат шага сохраняется отдельно.
Шаг «проверить корректность меток» проверяет элемент «разнообразие формулировок».
Шаг «проверить корректность меток» исключает сбой «демонстрация только успешных случаев».
Шаг 4: перемешать порядок демонстраций. Результат шага сохраняется отдельно.
Шаг «перемешать порядок демонстраций» проверяет элемент «сложные граничные случаи».
Шаг «перемешать порядок демонстраций» исключает сбой «копирование содержания вместо правила».
Шаг 5: протестировать новые формулировки. Результат шага сохраняется отдельно.
Шаг «протестировать новые формулировки» проверяет элемент «отрицательный пример».
Шаг «протестировать новые формулировки» исключает сбой «зависимость от порядка примеров».
Шаг 6: удалить пример без измеримого вклада. Результат шага сохраняется отдельно.
Шаг «удалить пример без измеримого вклада» проверяет элемент «стабильный формат результата».
Шаг «удалить пример без измеримого вклада» исключает сбой «одинаковая структура всех входов».
OpenAI включает примеры среди средств управления поведением модели. основание
Итерация «набор контрастных демонстраций» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «набор контрастных демонстраций» начинается с наиболее раннего наблюдаемого сбоя.
Одинаковая структура всех входов. Такой дефект относится к «распределение входов».
Сбой «одинаковая структура всех входов» воспроизводится через действие «собрать реальные типы входов».
Исправление «одинаковая структура всех входов» проверяется без смены остальных факторов.
Случайные или спорные метки. Такой дефект относится к «набор допустимых меток».
Сбой «случайные или спорные метки» воспроизводится через действие «выбрать минимально различимые примеры».
Исправление «случайные или спорные метки» проверяется без смены остальных факторов.
Демонстрация только успешных случаев. Такой дефект относится к «разнообразие формулировок».
Сбой «демонстрация только успешных случаев» воспроизводится через действие «проверить корректность меток».
Исправление «демонстрация только успешных случаев» проверяется без смены остальных факторов.
Копирование содержания вместо правила. Такой дефект относится к «сложные граничные случаи».
Сбой «копирование содержания вместо правила» воспроизводится через действие «перемешать порядок демонстраций».
Исправление «копирование содержания вместо правила» проверяется без смены остальных факторов.
Зависимость от порядка примеров. Такой дефект относится к «отрицательный пример».
Сбой «зависимость от порядка примеров» воспроизводится через действие «протестировать новые формулировки».
Исправление «зависимость от порядка примеров» проверяется без смены остальных факторов.
Разбор «набор контрастных демонстраций» не скрывает ранний дефект удачным финальным текстом.
Практический пример
Условный сценарий для «набор контрастных демонстраций»: Команда классифицирует обращения поддержки и добавляет примеры короткого запроса, длинной переписки, смешанной темы, запроса вне области и случая с недостатком данных.
Пример «набор контрастных демонстраций» не описывает опыт конкретной организации.
Сначала «распределение входов» фиксируется через действие «собрать реальные типы входов».
Затем «распределение входов» проверяется критерием «покрыты основные классы входов».
Результат по «распределение входов» сравнивается с исходной версией.
Сначала «набор допустимых меток» фиксируется через действие «выбрать минимально различимые примеры».
Затем «набор допустимых меток» проверяется критерием «есть отрицательный и граничный пример».
Результат по «набор допустимых меток» сравнивается с исходной версией.
Сначала «разнообразие формулировок» фиксируется через действие «проверить корректность меток».
Затем «разнообразие формулировок» проверяется критерием «метки согласованы экспертами».
Результат по «разнообразие формулировок» сравнивается с исходной версией.
Сначала «сложные граничные случаи» фиксируется через действие «перемешать порядок демонстраций».
Затем «сложные граничные случаи» проверяется критерием «новые формулировки не ломают результат».
Результат по «сложные граничные случаи» сравнивается с исходной версией.
Неудачный прогон «набор контрастных демонстраций» откатывается до повторной диагностики.
Успешный прогон «набор контрастных демонстраций» расширяется только после контрольной выборки.
Критерии качества
Качество «набор контрастных демонстраций» определяется совокупностью независимых признаков.
Покрыты основные классы входов. Признак проверяется на элементе «распределение входов».
Критерий «покрыты основные классы входов» имеет порог и владельца решения.
Доказательство «покрыты основные классы входов» сохраняется рядом с версией системы.
Есть отрицательный и граничный пример. Признак проверяется на элементе «набор допустимых меток».
Критерий «есть отрицательный и граничный пример» имеет порог и владельца решения.
Доказательство «есть отрицательный и граничный пример» сохраняется рядом с версией системы.
Метки согласованы экспертами. Признак проверяется на элементе «разнообразие формулировок».
Критерий «метки согласованы экспертами» имеет порог и владельца решения.
Доказательство «метки согласованы экспертами» сохраняется рядом с версией системы.
Новые формулировки не ломают результат. Признак проверяется на элементе «сложные граничные случаи».
Критерий «новые формулировки не ломают результат» имеет порог и владельца решения.
Доказательство «новые формулировки не ломают результат» сохраняется рядом с версией системы.
Порядок примеров не определяет ответ. Признак проверяется на элементе «отрицательный пример».
Критерий «порядок примеров не определяет ответ» имеет порог и владельца решения.
Доказательство «порядок примеров не определяет ответ» сохраняется рядом с версией системы.
Каждый пример имеет понятную функцию. Признак проверяется на элементе «стабильный формат результата».
Критерий «каждый пример имеет понятную функцию» имеет порог и владельца решения.
Доказательство «каждый пример имеет понятную функцию» сохраняется рядом с версией системы.
Google рекомендует использовать примеры, когда одной инструкции недостаточно для желаемого шаблона ответа. основание
Выпуск «набор контрастных демонстраций» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «набор контрастных демонстраций» публикуются рядом с результатами проверки.
Few-shot не гарантирует перенос на другую модель. Ограничение связано с «распределение входов».
Риск «few-shot не гарантирует перенос на другую модель» получает владельца и дату пересмотра.
Вывод по «few-shot не гарантирует перенос на другую модель» не переносится автоматически на другой контекст.
Примеры занимают контекстное окно. Ограничение связано с «набор допустимых меток».
Риск «примеры занимают контекстное окно» получает владельца и дату пересмотра.
Вывод по «примеры занимают контекстное окно» не переносится автоматически на другой контекст.
Ошибка разметки становится частью инструкции. Ограничение связано с «разнообразие формулировок».
Риск «ошибка разметки становится частью инструкции» получает владельца и дату пересмотра.
Вывод по «ошибка разметки становится частью инструкции» не переносится автоматически на другой контекст.
Слишком много демонстраций создаёт шум. Ограничение связано с «сложные граничные случаи».
Риск «слишком много демонстраций создаёт шум» получает владельца и дату пересмотра.
Вывод по «слишком много демонстраций создаёт шум» не переносится автоматически на другой контекст.
Исследовательские результаты зависят от задач и моделей. Ограничение связано с «отрицательный пример».
Риск «исследовательские результаты зависят от задач и моделей» получает владельца и дату пересмотра.
Вывод по «исследовательские результаты зависят от задач и моделей» не переносится автоматически на другой контекст.
Рамка «набор контрастных демонстраций» не заменяет профильную правовую экспертизу.
Критичное применение «набор контрастных демонстраций» требует независимого человеческого контроля.
Вывод
Подход «набор контрастных демонстраций» превращает общую рекомендацию в проверяемый контракт.
Элемент «распределение входов» связывается с действием «собрать реальные типы входов».
Действие «собрать реальные типы входов» подтверждается критерием «покрыты основные классы входов».
Элемент «набор допустимых меток» связывается с действием «выбрать минимально различимые примеры».
Действие «выбрать минимально различимые примеры» подтверждается критерием «есть отрицательный и граничный пример».
Элемент «разнообразие формулировок» связывается с действием «проверить корректность меток».
Действие «проверить корректность меток» подтверждается критерием «метки согласованы экспертами».
Главный результат «набор контрастных демонстраций» — воспроизводимое продуктовое решение.
Решение «набор контрастных демонстраций» показывает основание, ограничение и безопасный следующий шаг.
