Тема «безопасное обновление модели» отвечает на решение: какой набор тестов и этапов выпуска предотвращает незаметную поломку рабочих сценариев. Практика «безопасное обновление модели» помогает обновлять веса, runtime и шаблоны чата как связанные версии с возможностью измерить регрессию и быстро вернуться назад.
Model card предназначен для документирования версии, назначения, ограничений и условий оценки модели. основание
В материале «безопасное обновление модели» факт, локальный замер и гипотеза разделяются. Факт «безопасное обновление модели» получает источник. Замер «безопасное обновление модели» получает версию. Гипотеза «безопасное обновление модели» получает отдельную проверку.
Google SRE связывает release engineering с canarying, безопасным развёртыванием и rollback проблемных изменений. основание
Задача и границы решения
Решение «безопасное обновление модели» формулируется через вопрос «какой набор тестов и этапов выпуска предотвращает незаметную поломку рабочих сценариев». Такой вопрос удерживает тему «безопасное обновление модели» возле проверяемого результата.
Компонент «версия весов» задаёт первый вход темы «безопасное обновление модели». Для «версия весов» команда фиксирует источник, владельца и дату.
Компонент «версия tokenizer» задаёт точку сравнения темы «безопасное обновление модели». Изменение «версия tokenizer» требует нового вывода по теме «безопасное обновление модели».
Компонент «шаблон сообщений» отделяет факт темы «безопасное обновление модели» от предположения. Для «шаблон сообщений» гипотеза хранится рядом с проверкой.
Граница темы «безопасное обновление модели» проходит возле отраслевого решения. Метод «безопасное обновление модели» организует данные, но профильный специалист сохраняет полномочия.
Google SRE рекомендует проверять новую версию на небольшой доле типичной нагрузки до широкого выпуска. основание
Состав рабочего контура
Компонент 1: версия весов. Тема «безопасное обновление модели» связывает «версия весов» с действием «прочитать документацию новой версии». Критерий «canary имеет критерии остановки» проверяет «версия весов»; риск «одновременное обновление драйвера и модели» блокирует вывод.
Компонент 2: версия tokenizer. Тема «безопасное обновление модели» связывает «версия tokenizer» с действием «прогнать offline-регрессию». Критерий «rollback проверен заранее» проверяет «версия tokenizer»; риск «отсутствие сохранённого tokenizer» блокирует вывод.
Компонент 3: шаблон сообщений. Тема «безопасное обновление модели» связывает «шаблон сообщений» с действием «включить малой группе запросов». Критерий «изменения качества и скорости разделены» проверяет «шаблон сообщений»; риск «долгий ручной rollback» блокирует вывод.
Компонент 4: runtime и драйвер. Тема «безопасное обновление модели» связывает «runtime и драйвер» с действием «сравнить качество и эксплуатационные метрики». Критерий «решение записано с причиной» проверяет «runtime и драйвер»; риск «замена файла модели без manifest» блокирует вывод.
Компонент 5: контрольный набор. Тема «безопасное обновление модели» связывает «контрольный набор» с действием «зафиксировать решение или откат». Критерий «все компоненты имеют контрольные суммы» проверяет «контрольный набор»; риск «сравнение на новых тестах без старой базы» блокирует вывод.
Компонент 6: процедура rollback. Тема «безопасное обновление модели» связывает «процедура rollback» с действием «сохранить текущий комплект артефактов». Критерий «регрессия запускается до переключения» проверяет «процедура rollback»; риск «одновременное обновление драйвера и модели» блокирует вывод.
Порядок работы
Шаг 1: сохранить текущий комплект артефактов. В теме «безопасное обновление модели» действие «сохранить текущий комплект артефактов» изменяет «версия tokenizer». Критерий «все компоненты имеют контрольные суммы» проверяет результат; ошибка «замена файла модели без manifest» останавливает переход.
Шаг 2: прочитать документацию новой версии. В теме «безопасное обновление модели» действие «прочитать документацию новой версии» изменяет «шаблон сообщений». Критерий «регрессия запускается до переключения» проверяет результат; ошибка «сравнение на новых тестах без старой базы» останавливает переход.
Шаг 3: прогнать offline-регрессию. В теме «безопасное обновление модели» действие «прогнать offline-регрессию» изменяет «runtime и драйвер». Критерий «canary имеет критерии остановки» проверяет результат; ошибка «одновременное обновление драйвера и модели» останавливает переход.
Шаг 4: включить малой группе запросов. В теме «безопасное обновление модели» действие «включить малой группе запросов» изменяет «контрольный набор». Критерий «rollback проверен заранее» проверяет результат; ошибка «отсутствие сохранённого tokenizer» останавливает переход.
Шаг 5: сравнить качество и эксплуатационные метрики. В теме «безопасное обновление модели» действие «сравнить качество и эксплуатационные метрики» изменяет «процедура rollback». Критерий «изменения качества и скорости разделены» проверяет результат; ошибка «долгий ручной rollback» останавливает переход.
Шаг 6: зафиксировать решение или откат. В теме «безопасное обновление модели» действие «зафиксировать решение или откат» изменяет «версия весов». Критерий «решение записано с причиной» проверяет результат; ошибка «замена файла модели без manifest» останавливает переход.
Типовые ошибки и диагностика
Ошибка 1: замена файла модели без manifest. В теме «безопасное обновление модели» ошибка «замена файла модели без manifest» искажает «runtime и драйвер». Действие «прогнать offline-регрессию» проверяет исправление по критерию «rollback проверен заранее».
Ошибка 2: сравнение на новых тестах без старой базы. В теме «безопасное обновление модели» ошибка «сравнение на новых тестах без старой базы» искажает «процедура rollback». Действие «включить малой группе запросов» проверяет исправление по критерию «изменения качества и скорости разделены».
Ошибка 3: одновременное обновление драйвера и модели. В теме «безопасное обновление модели» ошибка «одновременное обновление драйвера и модели» искажает «версия tokenizer». Действие «сравнить качество и эксплуатационные метрики» проверяет исправление по критерию «решение записано с причиной».
Ошибка 4: отсутствие сохранённого tokenizer. В теме «безопасное обновление модели» ошибка «отсутствие сохранённого tokenizer» искажает «runtime и драйвер». Действие «зафиксировать решение или откат» проверяет исправление по критерию «все компоненты имеют контрольные суммы».
Ошибка 5: долгий ручной rollback. В теме «безопасное обновление модели» ошибка «долгий ручной rollback» искажает «процедура rollback». Действие «сохранить текущий комплект артефактов» проверяет исправление по критерию «регрессия запускается до переключения».
Практический пример
Практический сценарий «безопасное обновление модели»: Новая квантизация сначала работает на копии сервиса и получает пять процентов внутренних запросов. Старая версия остаётся загруженной до завершения сравнения критических ошибок.
Этап 1 сценария «безопасное обновление модели» связывает «версия весов» и действие «сохранить текущий комплект артефактов». Критерий «все компоненты имеют контрольные суммы» оценивает этап; риск «замена файла модели без manifest» остаётся блокером.
Этап 2 сценария «безопасное обновление модели» связывает «версия tokenizer» и действие «прочитать документацию новой версии». Критерий «регрессия запускается до переключения» оценивает этап; риск «сравнение на новых тестах без старой базы» остаётся блокером.
Этап 3 сценария «безопасное обновление модели» связывает «шаблон сообщений» и действие «прогнать offline-регрессию». Критерий «canary имеет критерии остановки» оценивает этап; риск «одновременное обновление драйвера и модели» остаётся блокером.
Этап 4 сценария «безопасное обновление модели» связывает «runtime и драйвер» и действие «включить малой группе запросов». Критерий «rollback проверен заранее» оценивает этап; риск «отсутствие сохранённого tokenizer» остаётся блокером.
Этап 5 сценария «безопасное обновление модели» связывает «контрольный набор» и действие «сравнить качество и эксплуатационные метрики». Критерий «изменения качества и скорости разделены» оценивает этап; риск «долгий ручной rollback» остаётся блокером.
Финальная запись «безопасное обновление модели» объединяет «процедура rollback», критерий «решение записано с причиной» и риск «долгий ручной rollback». Изменение «процедура rollback» переводит вывод «безопасное обновление модели» в исторический статус.
Критерии качества
Критерии темы «безопасное обновление модели» оцениваются раздельно. Средний балл «безопасное обновление модели» не отменяет критический дефект.
Критерий 1: все компоненты имеют контрольные суммы. В теме «безопасное обновление модели» признак относится к «шаблон сообщений». Действие «включить малой группе запросов» подтверждает его; риск «одновременное обновление драйвера и модели» проверяется отдельно.
Критерий 2: регрессия запускается до переключения. В теме «безопасное обновление модели» признак относится к «runtime и драйвер». Действие «зафиксировать решение или откат» подтверждает его; риск «отсутствие сохранённого tokenizer» проверяется отдельно.
Критерий 3: canary имеет критерии остановки. В теме «безопасное обновление модели» признак относится к «контрольный набор». Действие «прочитать документацию новой версии» подтверждает его; риск «долгий ручной rollback» проверяется отдельно.
Критерий 4: rollback проверен заранее. В теме «безопасное обновление модели» признак относится к «процедура rollback». Действие «включить малой группе запросов» подтверждает его; риск «замена файла модели без manifest» проверяется отдельно.
Критерий 5: изменения качества и скорости разделены. В теме «безопасное обновление модели» признак относится к «версия весов». Действие «зафиксировать решение или откат» подтверждает его; риск «сравнение на новых тестах без старой базы» проверяется отдельно.
Критерий 6: решение записано с причиной. В теме «безопасное обновление модели» признак относится к «версия tokenizer». Действие «прочитать документацию новой версии» подтверждает его; риск «одновременное обновление драйвера и модели» проверяется отдельно.
Benchmark-инструменты vLLM позволяют повторять измерения serving после изменения runtime или модели. основание
Ограничения применимости
Ограничения темы «безопасное обновление модели» публикуются вместе с выводом. Контекст «безопасное обновление модели» определяет допустимый перенос результата.
Ограничение 1: закрытые модели могут меняться без доступного diff. Ограничение «безопасное обновление модели» относится к «runtime и драйвер». Перенос темы «безопасное обновление модели» требует повторить действие «сравнить качество и эксплуатационные метрики».
Ограничение 2: две версии одновременно требуют памяти. Ограничение «безопасное обновление модели» относится к «контрольный набор». Перенос темы «безопасное обновление модели» требует повторить действие «зафиксировать решение или откат».
Ограничение 3: не каждый дефект проявляется на малом трафике. Ограничение «безопасное обновление модели» относится к «процедура rollback». Перенос темы «безопасное обновление модели» требует повторить действие «сохранить текущий комплект артефактов».
Ограничение 4: контрольный набор стареет. Ограничение «безопасное обновление модели» относится к «версия весов». Перенос темы «безопасное обновление модели» требует повторить действие «прочитать документацию новой версии».
Ограничение 5: новый runtime может не читать прежний формат. Ограничение «безопасное обновление модели» относится к «версия tokenizer». Перенос темы «безопасное обновление модели» требует повторить действие «прогнать offline-регрессию».
Вывод
Тема «безопасное обновление модели» связывает решение «какой набор тестов и этапов выпуска предотвращает незаметную поломку рабочих сценариев» с проверяемым результатом. Комплект «безопасное обновление модели» содержит вход, версию, отклонения и дату.
Критерий «все компоненты имеют контрольные суммы» направляет следующий шаг темы «безопасное обновление модели». Риск «долгий ручной rollback» остаётся видимым после решения «безопасное обновление модели».
Практика «безопасное обновление модели» автоматизирует повторяемое измерение. Ответственный человек подтверждает границы «безопасное обновление модели» при неполных данных или высокой цене ошибки.
