Как измерять скорость локального инференса
Практический разбор темы «как измерять скорость локального инференса»: как сравнивать задержку первого токена, генерацию и пропускную способность и применить это в рабочем продукте.
Тег · 2 материалов
#benchmark
Материалы из разных направлений, связанные одной рабочей практикой.
Как сравнивать две LLM на своей задаче
Практический разбор темы «как сравнивать две llm на своей задаче»: как провести честное парное сравнение на одинаковых данных и критериях и применить это в рабочем продукте.