Подход «матрица приоритетов инструкций» решает отдельную продуктовую задачу. Конфликты в промптах нужно разрешать до генерации через явную иерархию: правила платформы, политика продукта, задача пользователя, данные и предпочтения оформления.
Рамка «матрица приоритетов инструкций» отделяет проверяемые решения от стилистических предпочтений.
OpenAI Model Spec формализует chain of command для разрешения конфликтов между уровнями инструкций. основание
Редакционная схема «матрица приоритетов инструкций» проверяется на запросах про «уровень обязательности» и данных конкретного продукта.
Рабочая постановка задачи
Постановка «матрица приоритетов инструкций» начинается с пользователя и его следующего действия.
Цель «матрица приоритетов инструкций» связывается с допустимой ошибкой и способом проверки.
Элемент «уровень обязательности» уточняет границу решения «матрица приоритетов инструкций».
Действие «перечислить уровни инструкций» превращает эту границу в рабочий артефакт.
Связка «уровень обязательности — перечислить уровни инструкций» получает владельца и версию.
Элемент «владелец правила» уточняет границу решения «матрица приоритетов инструкций».
Действие «разнести команды и данные» превращает эту границу в рабочий артефакт.
Связка «владелец правила — разнести команды и данные» получает владельца и версию.
Элемент «область действия» уточняет границу решения «матрица приоритетов инструкций».
Действие «задать правило приоритета» превращает эту границу в рабочий артефакт.
Связка «область действия — задать правило приоритета» получает владельца и версию.
OWASP описывает direct и indirect prompt injection как способы нежелательно изменить поведение модели. основание
Постановка «матрица приоритетов инструкций» считается готовой после проверки неоднозначностей.
Состав решения и границы компонентов
Модель «матрица приоритетов инструкций» включает шесть наблюдаемых элементов.
Уровень обязательности. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «уровень обязательности» выполняется действие «перечислить уровни инструкций».
Проверка «уровень обязательности» использует критерий «каждый уровень имеет владельца».
Владелец правила. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «владелец правила» выполняется действие «разнести команды и данные».
Проверка «владелец правила» использует критерий «конфликт приводит к предсказуемому ответу».
Область действия. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «область действия» выполняется действие «задать правило приоритета».
Проверка «область действия» использует критерий «данные не получают полномочия команды».
Дата версии. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «дата версии» выполняется действие «добавить отказ для запрещённой цели».
Проверка «дата версии» использует критерий «исключения ограничены».
Условие исключения. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «условие исключения» выполняется действие «проверить прямые конфликты».
Проверка «условие исключения» использует критерий «опасные действия требуют отдельного контроля».
Безопасное поведение при конфликте. Этот элемент задаёт часть рамки «матрица приоритетов инструкций».
Для «безопасное поведение при конфликте» выполняется действие «проверить косвенные инструкции в документах».
Проверка «безопасное поведение при конфликте» использует критерий «тесты включают prompt injection».
Связи элементов «матрица приоритетов инструкций» сохраняются в технической трассе.
Порядок внедрения и проверки
Процедура «матрица приоритетов инструкций» меняет один существенный фактор за итерацию.
Шаг 1: перечислить уровни инструкций. Результат шага сохраняется отдельно.
Шаг «перечислить уровни инструкций» проверяет элемент «уровень обязательности».
Шаг «перечислить уровни инструкций» исключает сбой «равноправные несовместимые команды».
Шаг 2: разнести команды и данные. Результат шага сохраняется отдельно.
Шаг «разнести команды и данные» проверяет элемент «владелец правила».
Шаг «разнести команды и данные» исключает сбой «данные, написанные как приказ».
Шаг 3: задать правило приоритета. Результат шага сохраняется отдельно.
Шаг «задать правило приоритета» проверяет элемент «область действия».
Шаг «задать правило приоритета» исключает сбой «скрытые правила в шаблоне».
Шаг 4: добавить отказ для запрещённой цели. Результат шага сохраняется отдельно.
Шаг «добавить отказ для запрещённой цели» проверяет элемент «дата версии».
Шаг «добавить отказ для запрещённой цели» исключает сбой «исключение без срока».
Шаг 5: проверить прямые конфликты. Результат шага сохраняется отдельно.
Шаг «проверить прямые конфликты» проверяет элемент «условие исключения».
Шаг «проверить прямые конфликты» исключает сбой «попытка решить безопасность одной фразой».
Шаг 6: проверить косвенные инструкции в документах. Результат шага сохраняется отдельно.
Шаг «проверить косвенные инструкции в документах» проверяет элемент «безопасное поведение при конфликте».
Шаг «проверить косвенные инструкции в документах» исключает сбой «равноправные несовместимые команды».
OpenAI рекомендует отделять инструкции от контекстных данных с помощью явной структуры. основание
Итерация «матрица приоритетов инструкций» завершается решением владельца, а не впечатлением.
Типовые сбои и диагностика
Диагностика «матрица приоритетов инструкций» начинается с наиболее раннего наблюдаемого сбоя.
Равноправные несовместимые команды. Такой дефект относится к «уровень обязательности».
Сбой «равноправные несовместимые команды» воспроизводится через действие «перечислить уровни инструкций».
Исправление «равноправные несовместимые команды» проверяется без смены остальных факторов.
Данные, написанные как приказ. Такой дефект относится к «владелец правила».
Сбой «данные, написанные как приказ» воспроизводится через действие «разнести команды и данные».
Исправление «данные, написанные как приказ» проверяется без смены остальных факторов.
Скрытые правила в шаблоне. Такой дефект относится к «область действия».
Сбой «скрытые правила в шаблоне» воспроизводится через действие «задать правило приоритета».
Исправление «скрытые правила в шаблоне» проверяется без смены остальных факторов.
Исключение без срока. Такой дефект относится к «дата версии».
Сбой «исключение без срока» воспроизводится через действие «добавить отказ для запрещённой цели».
Исправление «исключение без срока» проверяется без смены остальных факторов.
Попытка решить безопасность одной фразой. Такой дефект относится к «условие исключения».
Сбой «попытка решить безопасность одной фразой» воспроизводится через действие «проверить прямые конфликты».
Исправление «попытка решить безопасность одной фразой» проверяется без смены остальных факторов.
Разбор «матрица приоритетов инструкций» не затушёвывает исходный дефект удачным финальным текстом.
Практический пример
Условный сценарий для «матрица приоритетов инструкций»: Агент обработки документов игнорирует инструкции внутри загруженного файла, если они требуют изменить задачу; файл рассматривается как данные, а действия разрешаются отдельной политикой продукта.
Пример «матрица приоритетов инструкций» не описывает опыт конкретной организации.
Сначала «уровень обязательности» фиксируется через действие «перечислить уровни инструкций».
Затем «уровень обязательности» проверяется критерием «каждый уровень имеет владельца».
Результат по «уровень обязательности» сравнивается с исходной версией.
Сначала «владелец правила» фиксируется через действие «разнести команды и данные».
Затем «владелец правила» проверяется критерием «конфликт приводит к предсказуемому ответу».
Результат по «владелец правила» сравнивается с исходной версией.
Сначала «область действия» фиксируется через действие «задать правило приоритета».
Затем «область действия» проверяется критерием «данные не получают полномочия команды».
Результат по «область действия» сравнивается с исходной версией.
Сначала «дата версии» фиксируется через действие «добавить отказ для запрещённой цели».
Затем «дата версии» проверяется критерием «исключения ограничены».
Результат по «дата версии» сравнивается с исходной версией.
Неудачный прогон «матрица приоритетов инструкций» откатывается до повторной диагностики.
Успешный прогон «матрица приоритетов инструкций» расширяется только после контрольной выборки.
Критерии качества
Качество «матрица приоритетов инструкций» определяется совокупностью независимых признаков.
Каждый уровень имеет владельца. Признак проверяется на элементе «уровень обязательности».
Критерий «каждый уровень имеет владельца» имеет порог и владельца решения.
Доказательство «каждый уровень имеет владельца» сохраняется рядом с версией системы.
Конфликт приводит к предсказуемому ответу. Признак проверяется на элементе «владелец правила».
Критерий «конфликт приводит к предсказуемому ответу» имеет порог и владельца решения.
Доказательство «конфликт приводит к предсказуемому ответу» сохраняется рядом с версией системы.
Данные не получают полномочия команды. Признак проверяется на элементе «область действия».
Критерий «данные не получают полномочия команды» имеет порог и владельца решения.
Доказательство «данные не получают полномочия команды» сохраняется рядом с версией системы.
Исключения ограничены. Признак проверяется на элементе «дата версии».
Критерий «исключения ограничены» имеет порог и владельца решения.
Доказательство «исключения ограничены» сохраняется рядом с версией системы.
Опасные действия требуют отдельного контроля. Признак проверяется на элементе «условие исключения».
Критерий «опасные действия требуют отдельного контроля» имеет порог и владельца решения.
Доказательство «опасные действия требуют отдельного контроля» сохраняется рядом с версией системы.
Тесты включают prompt injection. Признак проверяется на элементе «безопасное поведение при конфликте».
Критерий «тесты включают prompt injection» имеет порог и владельца решения.
Доказательство «тесты включают prompt injection» сохраняется рядом с версией системы.
NIST рекомендует управлять рисками генеративного ИИ на уровне всей системы, а не только модели. основание
Выпуск «матрица приоритетов инструкций» блокируется заранее определёнными критическими дефектами.
Ограничения применимости
Ограничения «матрица приоритетов инструкций» публикуются рядом с результатами проверки.
Иерархия зависит от архитектуры конкретной платформы. Ограничение связано с «уровень обязательности».
Риск «иерархия зависит от архитектуры конкретной платформы» получает владельца и дату пересмотра.
Вывод по «иерархия зависит от архитектуры конкретной платформы» не переносится автоматически на другой контекст.
Модель может ошибиться при конфликте. Ограничение связано с «владелец правила».
Риск «модель может ошибиться при конфликте» получает владельца и дату пересмотра.
Вывод по «модель может ошибиться при конфликте» не переносится автоматически на другой контекст.
Неявные инструкции трудно обнаруживать. Ограничение связано с «область действия».
Риск «неявные инструкции трудно обнаруживать» получает владельца и дату пересмотра.
Вывод по «неявные инструкции трудно обнаруживать» не переносится автоматически на другой контекст.
Prompt injection остаётся системным риском. Ограничение связано с «дата версии».
Риск «prompt injection остаётся системным риском» получает владельца и дату пересмотра.
Вывод по «prompt injection остаётся системным риском» не переносится автоматически на другой контекст.
Внешние авторизации обязательны для действий. Ограничение связано с «условие исключения».
Риск «внешние авторизации обязательны для действий» получает владельца и дату пересмотра.
Вывод по «внешние авторизации обязательны для действий» не переносится автоматически на другой контекст.
Рамка «матрица приоритетов инструкций» не заменяет профильную правовую экспертизу.
Критичное применение «матрица приоритетов инструкций» требует независимого человеческого контроля.
Вывод
Подход «матрица приоритетов инструкций» превращает общую рекомендацию в проверяемый контракт.
Элемент «уровень обязательности» связывается с действием «перечислить уровни инструкций».
Действие «перечислить уровни инструкций» подтверждается критерием «каждый уровень имеет владельца».
Элемент «владелец правила» связывается с действием «разнести команды и данные».
Действие «разнести команды и данные» подтверждается критерием «конфликт приводит к предсказуемому ответу».
Элемент «область действия» связывается с действием «задать правило приоритета».
Действие «задать правило приоритета» подтверждается критерием «данные не получают полномочия команды».
Главный результат «матрица приоритетов инструкций» — воспроизводимое продуктовое решение.
Решение «матрица приоритетов инструкций» показывает основание, ограничение и безопасный следующий шаг.
