Qwen3.8-27B INT4 (готовый AWQ cyankiwi) на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.8-27BINT4 AWQ g32
- асимметричный
- готовый: cyankiwi
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- cyankiwi/Qwen3.8-27B-AWQ-INT4, ревизия
e3a700906e6a73ba 4290b187 3dc2ba81 98527ab5 - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Лицензия
- apache-2.0
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
compressed-tensors, int4 group 32, асимметричное, наблюдатель mse; ядро MarlinLinearKernel; квантованы только веса
Не квантованы (16)
linear_attn, linear_attn.in_proj_a, linear_attn.in_proj_b, linear_attn.norm, linear_attn.out_proj, lm_head, mtp.fc, mtp.layers.N.mlp.down_proj, mtp.layers.N.mlp.gate_proj, mtp.layers.N.mlp.gate_up_proj, mtp.layers.N.mlp.up_proj, mtp.layers.N.self_attn.k_proj, mtp.layers.N.self_attn.o_proj, mtp.layers.N.self_attn.q_proj, mtp.layers.N.self_attn.qkv_proj, mtp.layers.N.self_attn.v_proj
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
3d8838ab); план s1-qwen3.8-27b-awq-int4-cyankiwi (f80e0cd0 8812c963 b5ea179d 838efc0e 8f4e3115 c5404150 91368665 26b6786b)6dbfbc92 f7b07b9e af2e6efc aa2bf051 079f510a 6281c08c 5597d4a9
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name cyankiwi/Qwen3.8-27B-AWQ-INT4 --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 71,0 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 80,0 °C
- Мощность, максимум
- 359 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 217,9 ± 0,8 | [216,0; 219,8] | 3 | 218,7; 217,9; 217,1 |
| До первого токена, с | 218,0 ± 0,8 | [216,1; 219,9] | 3 | 218,8; 218,0; 217,3 |
| Загрузка весов, с | 10,11 ± 0,12 | [9,81; 10,41] | 3 | 10,22; 9,98; 10,13 |
| Загрузка модели, с | 22,83 ± 0,17 | [22,42; 23,24] | 3 | 22,93; 22,92; 22,64 |
| torch.compile, с | 48,7 ± 0,4 | [47,8; 49,6] | 3 | 48,8; 49,0; 48,3 |
| Профилирование памяти, с | 85,8 ± 0,8 | [83,8; 87,8] | 3 | 84,9; 85,9; 86,5 |
| Захват CUDA graphs, с | 10,0 | [10,0; 10,0] | 3 | 10,0; 10,0; 10,0 |
| Инициализация движка, с | 155,1 ± 0,6 | [153,6; 156,5] | 3 | 154,4; 155,4; 155,4 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 65,1 ± 2,1 | [60,0; 70,2] | 3 | 67,2; 65,1; 63,1 |
| До первого токена, с | 65,2 ± 2,1 | [60,1; 70,4] | 3 | 67,3; 65,2; 63,2 |
| Загрузка весов, с | 4,88 ± 0,03 | [4,81; 4,95] | 3 | 4,88; 4,85; 4,91 |
| Загрузка модели, с | 17,3 ± 0,5 | [16,0; 18,6] | 3 | 17,8; 17,4; 16,8 |
| torch.compile, с | 1,41 ± 0,16 | [1,00; 1,81] | 3 | 1,55; 1,44; 1,23 |
| Профилирование памяти, с | 5,98 ± 0,07 | [5,81; 6,16] | 3 | 5,97; 6,06; 5,92 |
| Захват CUDA graphs, с | 6,3 ± 0,6 | [4,9; 7,8] | 3 | 7,0; 6,0; 6,0 |
| Инициализация движка, с | 18,9 ± 0,6 | [17,3; 20,5] | 3 | 19,4; 19,1; 18,2 |
| Весов в кэше ОС перед стартом, % | 93,7 | [93,7; 93,7] | 3 | 93,7; 93,7; 93,7 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 58,38 ± 0,08 | [58,18; 58,57] | 3 | 58,42; 58,29; 58,42 |
| Вход и выход, всего, ток/с | 175,13 ± 0,23 | [174,55; 175,71] | 3 | 175,27; 174,86; 175,26 |
| Запросов в секунду, запр/с | 0,11402 ± 0,00015 | [0,11364; 0,11439] | 3 | 0,11411; 0,11384; 0,11410 |
| Первый токен, медиана, мс | 379,1 ± 0,3 | [378,4; 379,9] | 3 | 379,5; 379,0; 378,9 |
| Первый токен, 95-й процентиль, мс | 387 ± 3 | [378; 395] | 3 | 383; 390; 387 |
| Полная задержка, медиана, мс | 8 771 ± 11 | [8 744; 8 798] | 3 | 8 764; 8 784; 8 766 |
| Полная задержка, 95-й процентиль, мс | 8 787 ± 17 | [8 744; 8 829] | 3 | 8 774; 8 806; 8 780 |
| Время на токен, медиана, мс | 16,421 ± 0,023 | [16,365; 16,478] | 3 | 16,408; 16,448; 16,408 |
| Пауза между токенами, 99-й процентиль, мс | 21,52 ± 0,06 | [21,37; 21,68] | 3 | 21,54; 21,45; 21,57 |
| Скорость на пользователя, медиана, ток/с | 60,90 ± 0,08 | [60,69; 61,11] | 3 | 60,94; 60,80; 60,95 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,59744 ± 0,00000 | [1,59744; 1,59744] | 3 | 1,59744; 1,59744; 1,59744 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 379 |
| Первый токен, 95-й процентиль, мс | 389 |
| Полная задержка, медиана, мс | 8 770 |
| Полная задержка, 95-й процентиль, мс | 8 800 |
| Скорость на пользователя, медиана, ток/с | 60,9 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 44,64 ± 0,08 | [44,43; 44,84] | 3 | 44,66; 44,71; 44,55 |
| Вход и выход, всего, ток/с | 758,8 ± 1,4 | [755,3; 762,3] | 3 | 759,2; 760,1; 757,3 |
| Запросов в секунду, запр/с | 0,08718 ± 0,00016 | [0,08678; 0,08758] | 3 | 0,08722; 0,08732; 0,08701 |
| Первый токен, медиана, мс | 2 884 ± 5 | [2 870; 2 897] | 3 | 2 883; 2 879; 2 889 |
| Первый токен, 95-й процентиль, мс | 2 896 ± 13 | [2 864; 2 929] | 3 | 2 885; 2 893; 2 911 |
| Полная задержка, медиана, мс | 11 470 ± 26 | [11 406; 11 534] | 3 | 11 471; 11 444; 11 495 |
| Полная задержка, 95-й процентиль, мс | 11 500 ± 30 | [11 420; 11 580] | 3 | 11 480; 11 480; 11 540 |
| Время на токен, медиана, мс | 16,801 ± 0,030 | [16,727; 16,874] | 3 | 16,806; 16,769; 16,827 |
| Пауза между токенами, 99-й процентиль, мс | 21,999 ± 0,018 | [21,955; 22,044] | 3 | 22,017; 21,982; 21,999 |
| Скорость на пользователя, медиана, ток/с | 59,52 ± 0,11 | [59,26; 59,78] | 3 | 59,50; 59,64; 59,43 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,79 | [4,79; 4,79] | 3 | 4,79; 4,79; 4,79 |
| Пик памяти карты, ГиБ | 38,0960 ± 0,0011 | [38,0932; 38,0988] | 3 | 38,0947; 38,0967; 38,0967 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 880 |
| Первый токен, 95-й процентиль, мс | 2 900 |
| Полная задержка, медиана, мс | 11 500 |
| Полная задержка, 95-й процентиль, мс | 11 500 |
| Скорость на пользователя, медиана, ток/с | 59,5 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 23,33 ± 0,07 | [23,15; 23,51] | 3 | 23,37; 23,38; 23,25 |
| Вход и выход, всего, ток/с | 1 516 ± 5 | [1 505; 1 528] | 3 | 1 519; 1 519; 1 511 |
| Запросов в секунду, запр/с | 0,04556 ± 0,00014 | [0,04521; 0,04592] | 3 | 0,04564; 0,04566; 0,04540 |
| Первый токен, медиана, мс | 12 700 ± 50 | [12 570; 12 830] | 3 | 12 660; 12 680; 12 760 |
| Первый токен, 95-й процентиль, мс | 12 780 ± 80 | [12 590; 12 980] | 3 | 12 800; 12 700; 12 850 |
| Полная задержка, медиана, мс | 21 950 ± 60 | [21 790; 22 110] | 3 | 21 900; 21 920; 22 020 |
| Полная задержка, 95-й процентиль, мс | 22 060 ± 90 | [21 820; 22 290] | 3 | 22 080; 21 960; 22 140 |
| Время на токен, медиана, мс | 18,103 ± 0,021 | [18,052; 18,155] | 3 | 18,090; 18,093; 18,127 |
| Пауза между токенами, 99-й процентиль, мс | 23,33 ± 0,06 | [23,18; 23,47] | 3 | 23,26; 23,36; 23,36 |
| Скорость на пользователя, медиана, ток/с | 55,24 ± 0,06 | [55,08; 55,40] | 3 | 55,28; 55,27; 55,17 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 14,7 | [14,7; 14,7] | 3 | 14,7; 14,7; 14,7 |
| Пик памяти карты, ГиБ | 38,0960 ± 0,0011 | [38,0932; 38,0988] | 3 | 38,0947; 38,0967; 38,0967 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 12 700 |
| Первый токен, 95-й процентиль, мс | 12 800 |
| Полная задержка, медиана, мс | 21 900 |
| Полная задержка, 95-й процентиль, мс | 22 100 |
| Скорость на пользователя, медиана, ток/с | 55,2 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 46,80 ± 0,09 | [46,58; 47,03] | 3 | 46,84; 46,70; 46,86 |
| Вход и выход, всего, ток/с | 685,8 ± 1,3 | [682,5; 689,1] | 3 | 686,4; 684,3; 686,7 |
| Запросов в секунду, запр/с | 0,1560 ± 0,0003 | [0,1553; 0,1568] | 3 | 0,1561; 0,1557; 0,1562 |
| Первый токен, медиана, мс | 1 435 ± 4 | [1 424; 1 446] | 3 | 1 434; 1 440; 1 431 |
| Первый токен, 95-й процентиль, мс | 1 454 ± 15 | [1 417; 1 491] | 3 | 1 443; 1 471; 1 448 |
| Полная задержка, медиана, мс | 6 410 ± 10 | [6 385; 6 436] | 3 | 6 404; 6 422; 6 404 |
| Полная задержка, 95-й процентиль, мс | 6 432 ± 21 | [6 379; 6 485] | 3 | 6 416; 6 456; 6 423 |
| Время на токен, медиана, мс | 16,633 ± 0,006 | [16,619; 16,648] | 3 | 16,628; 16,640; 16,632 |
| Пауза между токенами, 99-й процентиль, мс | 21,79 ± 0,05 | [21,66; 21,91] | 3 | 21,78; 21,84; 21,74 |
| Скорость на пользователя, медиана, ток/с | 60,121 ± 0,021 | [60,067; 60,174] | 3 | 60,139; 60,097; 60,126 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 2,87540 ± 0,00000 | [2,87540; 2,87540] | 3 | 2,87540; 2,87540; 2,87540 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 430 |
| Первый токен, 95-й процентиль, мс | 1 470 |
| Полная задержка, медиана, мс | 6 410 |
| Полная задержка, 95-й процентиль, мс | 6 450 |
| Скорость на пользователя, медиана, ток/с | 60,1 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 75,28 ± 0,16 | [74,87; 75,69] | 3 | 75,25; 75,14; 75,46 |
| Вход и выход, всего, ток/с | 1 103,1 ± 2,4 | [1 097,2; 1 109,1] | 3 | 1 102,6; 1 101,0; 1 105,7 |
| Запросов в секунду, запр/с | 0,2509 ± 0,0005 | [0,2496; 0,2523] | 3 | 0,2508; 0,2505; 0,2515 |
| Первый токен, медиана, мс | 2 554 ± 16 | [2 513; 2 594] | 3 | 2 560; 2 565; 2 535 |
| Первый токен, 95-й процентиль, мс | 2 820 ± 20 | [2 770; 2 871] | 3 | 2 826; 2 838; 2 798 |
| Полная задержка, медиана, мс | 7 969 ± 13 | [7 936; 8 002] | 3 | 7 977; 7 977; 7 954 |
| Полная задержка, 95-й процентиль, мс | 7 985 ± 25 | [7 923; 8 047] | 3 | 7 984; 8 010; 7 960 |
| Время на токен, медиана, мс | 18,102 ± 0,021 | [18,051; 18,153] | 3 | 18,090; 18,126; 18,090 |
| Пауза между токенами, 99-й процентиль, мс | 22,42 ± 0,16 | [22,03; 22,82] | 3 | 22,42; 22,27; 22,58 |
| Скорость на пользователя, медиана, ток/с | 55,36 ± 0,06 | [55,21; 55,50] | 3 | 55,39; 55,29; 55,39 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 5,75080 ± 0,00000 | [5,75080; 5,75080] | 3 | 5,75080; 5,75080; 5,75080 |
| Пик памяти карты, ГиБ | 38,0960 ± 0,0011 | [38,0932; 38,0988] | 3 | 38,0947; 38,0967; 38,0967 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 550 |
| Первый токен, 95-й процентиль, мс | 2 830 |
| Полная задержка, медиана, мс | 7 970 |
| Полная задержка, 95-й процентиль, мс | 8 000 |
| Скорость на пользователя, медиана, ток/с | 55,4 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 108,64 ± 0,07 | [108,46; 108,83] | 3 | 108,70; 108,56; 108,67 |
| Вход и выход, всего, ток/с | 1 592,0 ± 1,1 | [1 589,3; 1 594,7] | 3 | 1 592,8; 1 590,8; 1 592,4 |
| Запросов в секунду, запр/с | 0,36214 ± 0,00024 | [0,36153; 0,36275] | 3 | 0,36233; 0,36187; 0,36223 |
| Первый токен, медиана, мс | 5 564 ± 8 | [5 544; 5 584] | 3 | 5 563; 5 573; 5 557 |
| Первый токен, 95-й процентиль, мс | 5 582 ± 9 | [5 561; 5 603] | 3 | 5 573; 5 590; 5 582 |
| Полная задержка, медиана, мс | 11 042 ± 8 | [11 022; 11 062] | 3 | 11 039; 11 051; 11 035 |
| Полная задержка, 95-й процентиль, мс | 11 060 ± 8 | [11 040; 11 080] | 3 | 11 051; 11 064; 11 066 |
| Время на токен, медиана, мс | 18,321 ± 0,004 | [18,310; 18,332] | 3 | 18,317; 18,326; 18,321 |
| Пауза между токенами, 99-й процентиль, мс | 23,579 ± 0,005 | [23,566; 23,593] | 3 | 23,580; 23,585; 23,574 |
| Скорость на пользователя, медиана, ток/с | 54,582 ± 0,013 | [54,549; 54,615] | 3 | 54,594; 54,568; 54,583 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 11,5 | [11,5; 11,5] | 3 | 11,5; 11,5; 11,5 |
| Пик памяти карты, ГиБ | 38,0960 ± 0,0011 | [38,0932; 38,0988] | 3 | 38,0947; 38,0967; 38,0967 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 570 |
| Первый токен, 95-й процентиль, мс | 5 590 |
| Полная задержка, медиана, мс | 11 000 |
| Полная задержка, 95-й процентиль, мс | 11 100 |
| Скорость на пользователя, медиана, ток/с | 54,6 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 140,55 ± 0,07 | [140,38; 140,73] | 3 | 140,58; 140,48; 140,61 |
| Вход и выход, всего, ток/с | 2 059,6 ± 1,0 | [2 057,1; 2 062,1] | 3 | 2 060,0; 2 058,4; 2 060,3 |
| Запросов в секунду, запр/с | 0,46851 ± 0,00023 | [0,46794; 0,46909] | 3 | 0,46860; 0,46825; 0,46869 |
| Первый токен, медиана, мс | 10 641 ± 8 | [10 622; 10 661] | 3 | 10 639; 10 650; 10 635 |
| Первый токен, 95-й процентиль, мс | 11 120 ± 4 | [11 111; 11 130] | 3 | 11 116; 11 120; 11 124 |
| Полная задержка, медиана, мс | 17 072 ± 10 | [17 048; 17 097] | 3 | 17 066; 17 084; 17 067 |
| Полная задержка, 95-й процентиль, мс | 17 108 ± 20 | [17 058; 17 158] | 3 | 17 085; 17 118; 17 121 |
| Время на токен, медиана, мс | 21,497 ± 0,009 | [21,475; 21,520] | 3 | 21,498; 21,506; 21,488 |
| Пауза между токенами, 99-й процентиль, мс | 25,39 ± 0,07 | [25,23; 25,56] | 3 | 25,36; 25,47; 25,35 |
| Скорость на пользователя, медиана, ток/с | 46,723 ± 0,023 | [46,667; 46,779] | 3 | 46,724; 46,700; 46,745 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 23,0 | [23,0; 23,0] | 3 | 23,0; 23,0; 23,0 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 10 600 |
| Первый токен, 95-й процентиль, мс | 11 100 |
| Полная задержка, медиана, мс | 17 100 |
| Полная задержка, 95-й процентиль, мс | 17 100 |
| Скорость на пользователя, медиана, ток/с | 46,7 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 153,62 ± 0,09 | [153,39; 153,85] | 3 | 153,51; 153,66; 153,68 |
| Вход и выход, всего, ток/с | 2 251,1 ± 1,4 | [2 247,7; 2 254,5] | 3 | 2 249,5; 2 251,7; 2 252,0 |
| Запросов в секунду, запр/с | 0,5121 ± 0,0003 | [0,5113; 0,5128] | 3 | 0,5117; 0,5122; 0,5123 |
| Первый токен, медиана, мс | 15 744 ± 14 | [15 710; 15 778] | 3 | 15 760; 15 734; 15 738 |
| Первый токен, 95-й процентиль, мс | 16 670 ± 40 | [16 570; 16 760] | 3 | 16 690; 16 620; 16 690 |
| Полная задержка, медиана, мс | 23 431 ± 17 | [23 389; 23 474] | 3 | 23 451; 23 421; 23 422 |
| Полная задержка, 95-й процентиль, мс | 24 000 ± 400 | [23 000; 25 000] | 3 | 23 500; 24 200; 24 200 |
| Время на токен, медиана, мс | 25,709 ± 0,013 | [25,676; 25,742] | 3 | 25,724; 25,706; 25,698 |
| Пауза между токенами, 99-й процентиль, мс | 28,20 ± 0,03 | [28,12; 28,28] | 3 | 28,22; 28,22; 28,16 |
| Скорость на пользователя, медиана, ток/с | 38,897 ± 0,020 | [38,847; 38,947] | 3 | 38,875; 38,902; 38,914 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 34,5 | [34,5; 34,5] | 3 | 34,5; 34,5; 34,5 |
| Пик памяти карты, ГиБ | 38,0960 ± 0,0011 | [38,0932; 38,0988] | 3 | 38,0947; 38,0967; 38,0967 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 15 700 |
| Первый токен, 95-й процентиль, мс | 16 700 |
| Полная задержка, медиана, мс | 23 400 |
| Полная задержка, 95-й процентиль, мс | 24 200 |
| Скорость на пользователя, медиана, ток/с | 38,9 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 162,96 ± 0,28 | [162,26; 163,66] | 3 | 162,70; 162,91; 163,26 |
| Вход и выход, всего, ток/с | 2 388 ± 4 | [2 378; 2 398] | 3 | 2 384; 2 387; 2 392 |
| Запросов в секунду, запр/с | 0,5432 ± 0,0009 | [0,5409; 0,5455] | 3 | 0,5423; 0,5430; 0,5442 |
| Первый токен, медиана, мс | 17 060 ± 80 | [16 850; 17 270] | 3 | 17 120; 17 100; 16 960 |
| Первый токен, 95-й процентиль, мс | 22 040 ± 160 | [21 650; 22 420] | 3 | 22 220; 21 940; 21 950 |
| Полная задержка, медиана, мс | 29 480 ± 50 | [29 360; 29 590] | 3 | 29 480; 29 520; 29 430 |
| Полная задержка, 95-й процентиль, мс | 34 500 ± 500 | [33 200; 35 700] | 3 | 34 000; 35 000; 34 400 |
| Время на токен, медиана, мс | 41,46 ± 0,05 | [41,32; 41,59] | 3 | 41,41; 41,51; 41,45 |
| Пауза между токенами, 99-й процентиль, мс | 29,88 ± 0,22 | [29,34; 30,42] | 3 | 30,12; 29,70; 29,83 |
| Скорость на пользователя, медиана, ток/с | 24,12 ± 0,03 | [24,04; 24,20] | 3 | 24,15; 24,09; 24,12 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 46,0 | [46,0; 46,0] | 3 | 46,0; 46,0; 46,0 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 17 100 |
| Первый токен, 95-й процентиль, мс | 22 000 |
| Полная задержка, медиана, мс | 29 500 |
| Полная задержка, 95-й процентиль, мс | 34 800 |
| Скорость на пользователя, медиана, ток/с | 24,1 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 171,2 ± 0,5 | [170,0; 172,4] | 3 | 171,5; 170,7; 171,5 |
| Вход и выход, всего, ток/с | 2 509 ± 7 | [2 491; 2 527] | 3 | 2 513; 2 501; 2 513 |
| Запросов в секунду, запр/с | 0,5707 ± 0,0016 | [0,5667; 0,5748] | 3 | 0,5716; 0,5689; 0,5717 |
| Первый токен, медиана, мс | 21 140 ± 160 | [20 760; 21 530] | 3 | 21 320; 21 080; 21 030 |
| Первый токен, 95-й процентиль, мс | 32 280 ± 170 | [31 860; 32 700] | 3 | 32 310; 32 440; 32 100 |
| Полная задержка, медиана, мс | 42 080 ± 110 | [41 800; 42 350] | 3 | 41 970; 42 190; 42 060 |
| Полная задержка, 95-й процентиль, мс | 52 000 ± 3 000 | [43 000; 60 000] | 3 | 48 000; 54 000; 53 000 |
| Время на токен, медиана, мс | 70,0 ± 0,9 | [67,9; 72,2] | 3 | 69,1; 70,8; 70,3 |
| Пауза между токенами, 99-й процентиль, мс | 900 ± 6 | [884; 915] | 3 | 896; 907; 896 |
| Скорость на пользователя, медиана, ток/с | 14,28 ± 0,18 | [13,82; 14,73] | 3 | 14,48; 14,13; 14,22 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 69,0 | [69,0; 69,0] | 3 | 69,0; 69,0; 69,0 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 21 100 |
| Первый токен, 95-й процентиль, мс | 32 400 |
| Полная задержка, медиана, мс | 42 100 |
| Полная задержка, 95-й процентиль, мс | 53 400 |
| Скорость на пользователя, медиана, ток/с | 14,2 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 176,74 ± 0,22 | [176,20; 177,28] | 3 | 176,76; 176,51; 176,95 |
| Вход и выход, всего, ток/с | 2 590 ± 3 | [2 582; 2 598] | 3 | 2 590; 2 587; 2 593 |
| Запросов в секунду, запр/с | 0,5891 ± 0,0007 | [0,5873; 0,5909] | 3 | 0,5892; 0,5884; 0,5898 |
| Первый токен, медиана, мс | 21 796 ± 10 | [21 772; 21 820] | 3 | 21 796; 21 806; 21 786 |
| Первый токен, 95-й процентиль, мс | 43 450 ± 130 | [43 120; 43 780] | 3 | 43 450; 43 590; 43 320 |
| Полная задержка, медиана, мс | 54 380 ± 30 | [54 300; 54 460] | 3 | 54 400; 54 400; 54 340 |
| Полная задержка, 95-й процентиль, мс | 76 690 ± 210 | [76 160; 77 220] | 3 | 76 670; 76 920; 76 490 |
| Время на токен, медиана, мс | 108,82 ± 0,28 | [108,11; 109,53] | 3 | 108,80; 109,12; 108,55 |
| Пауза между токенами, 99-й процентиль, мс | 5 066,7 ± 0,9 | [5 064,4; 5 068,9] | 3 | 5 067,1; 5 067,2; 5 065,6 |
| Скорость на пользователя, медиана, ток/с | 9,190 ± 0,024 | [9,130; 9,249] | 3 | 9,192; 9,164; 9,212 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 92,0 | [92,0; 92,0] | 3 | 92,0; 92,0; 92,0 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 21 800 |
| Первый токен, 95-й процентиль, мс | 43 400 |
| Полная задержка, медиана, мс | 54 400 |
| Полная задержка, 95-й процентиль, мс | 76 600 |
| Скорость на пользователя, медиана, ток/с | 9,18 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,574 ± 0,010 | [43,549; 43,599] | 3 | 43,580; 43,580; 43,563 |
| Вход и выход, всего, ток/с | 638,51 ± 0,15 | [638,14; 638,87] | 3 | 638,59; 638,60; 638,34 |
| Запросов в секунду, запр/с | 0,14525 ± 0,00003 | [0,14516; 0,14533] | 3 | 0,14527; 0,14527; 0,14521 |
| Первый токен, медиана, мс | 1 465 ± 9 | [1 442; 1 488] | 3 | 1 467; 1 474; 1 455 |
| Первый токен, 95-й процентиль, мс | 2 760 ± 200 | [2 250; 3 260] | 3 | 2 890; 2 860; 2 520 |
| Полная задержка, медиана, мс | 8 300 ± 300 | [7 500; 9 100] | 3 | 8 600; 8 300; 8 000 |
| Полная задержка, 95-й процентиль, мс | 11 800 ± 1 300 | [8 700; 14 900] | 3 | 13 100; 11 800; 10 600 |
| Время на токен, медиана, мс | 22,3 ± 0,6 | [20,7; 23,8] | 3 | 22,8; 22,3; 21,6 |
| Пауза между токенами, 99-й процентиль, мс | 24,1 ± 0,9 | [21,7; 26,4] | 3 | 24,9; 24,3; 23,0 |
| Скорость на пользователя, медиана, ток/с | 45,0 ± 1,2 | [41,9; 48,1] | 3 | 43,8; 44,8; 46,3 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 14,4 ± 2,9 | [7,2; 21,5] | 3 | 17,3; 14,4; 11,5 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 470 |
| Первый токен, 95-й процентиль, мс | 2 870 |
| Полная задержка, медиана, мс | 8 150 |
| Полная задержка, 95-й процентиль, мс | 12 300 |
| Скорость на пользователя, медиана, ток/с | 45,5 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 87,15 ± 0,05 | [87,03; 87,27] | 3 | 87,21; 87,12; 87,13 |
| Вход и выход, всего, ток/с | 1 277,0 ± 0,7 | [1 275,3; 1 278,8] | 3 | 1 277,9; 1 276,5; 1 276,7 |
| Запросов в секунду, запр/с | 0,29050 ± 0,00016 | [0,29010; 0,29091] | 3 | 0,29069; 0,29039; 0,29043 |
| Первый токен, медиана, мс | 2 100 ± 400 | [1 200; 3 000] | 3 | 1 700; 2 200; 2 300 |
| Первый токен, 95-й процентиль, мс | 6 600 ± 1 400 | [3 100; 10 100] | 3 | 5 000; 7 500; 7 400 |
| Полная задержка, медиана, мс | 11 020 ± 210 | [10 490; 11 550] | 3 | 11 270; 10 890; 10 900 |
| Полная задержка, 95-й процентиль, мс | 23 900 ± 2 200 | [18 400; 29 500] | 3 | 21 800; 23 700; 26 300 |
| Время на токен, медиана, мс | 27,4 ± 0,5 | [26,2; 28,6] | 3 | 27,2; 28,0; 27,1 |
| Пауза между токенами, 99-й процентиль, мс | 600 ± 140 | [260; 950] | 3 | 530; 510; 760 |
| Скорость на пользователя, медиана, ток/с | 36,5 ± 0,6 | [35,0; 38,0] | 3 | 36,8; 35,8; 36,9 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 40 ± 5 | [28; 53] | 3 | 37; 37; 46 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 180 |
| Первый токен, 95-й процентиль, мс | 7 180 |
| Полная задержка, медиана, мс | 11 000 |
| Полная задержка, 95-й процентиль, мс | 23 700 |
| Скорость на пользователя, медиана, ток/с | 36,8 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 129,7 ± 1,8 | [125,1; 134,2] | 3 | 127,5; 130,7; 130,7 |
| Вход и выход, всего, ток/с | 1 900 ± 27 | [1 833; 1 967] | 3 | 1 869; 1 915; 1 915 |
| Запросов в секунду, запр/с | 0,432 ± 0,006 | [0,417; 0,447] | 3 | 0,425; 0,436; 0,436 |
| Первый токен, медиана, мс | 3 100 ± 600 | [1 600; 4 600] | 3 | 2 700; 2 800; 3 800 |
| Первый токен, 95-й процентиль, мс | 8 400 ± 2 300 | [2 800; 14 000] | 3 | 6 700; 7 500; 11 000 |
| Полная задержка, медиана, мс | 22 000 ± 4 000 | [13 000; 31 000] | 3 | 19 000; 21 000; 26 000 |
| Полная задержка, 95-й процентиль, мс | 50 000 ± 7 000 | [33 000; 66 000] | 3 | 42 000; 52 000; 55 000 |
| Время на токен, медиана, мс | 61 ± 9 | [38; 84] | 3 | 51; 62; 70 |
| Пауза между токенами, 99-й процентиль, мс | 1 300 ± 400 | [400; 2 300] | 3 | 900; 1 400; 1 700 |
| Скорость на пользователя, медиана, ток/с | 16,6 ± 2,6 | [10,1; 23,1] | 3 | 19,5; 16,0; 14,3 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 88 ± 7 | [72; 105] | 3 | 81; 92; 92 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 860 |
| Первый токен, 95-й процентиль, мс | 8 170 |
| Полная задержка, медиана, мс | 21 100 |
| Полная задержка, 95-й процентиль, мс | 52 300 |
| Скорость на пользователя, медиана, ток/с | 16,7 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 18,3 — одинаково при обоих видах старта | 6 | 18,3; 18,3; 18,3; 18,3; 18,3; 18,3 | |
| KV-кэш, ГиБ | 15,0 | 12,7 | 6 | х 12,7; т 15,0; х 12,7; т 15,0; х 12,7; т 15,0 |
| KV-кэш по журналу vLLM, токенов | 230 000 | 194 000 | 6 | х 194 000; т 230 000; х 194 000; т 230 000; х 194 000; т 230 000 |
| Пик активаций, ГиБ | 2,80 | 2,93 | 6 | х 2,93; т 2,80; х 2,93; т 2,80; х 2,93; т 2,80 |
| CUDA graphs, ГиБ | 0,0800 — одинаково при обоих видах старта | 6 | 0,0800; 0,0800; 0,0800; 0,0800; 0,0800; 0,0800 | |
| Веса и память вне PyTorch, ГиБ | 18,5 | 20,7 | 6 | х 20,7; т 18,5; х 20,7; т 18,5; х 20,7; т 18,5 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 34,08 ± 0,08 — одинаково при обоих видах старта | 6 | 34,01; 34,16; 34,01; 34,16; 34,01; 34,16 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,4 | 1 | 39,4 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 5,61
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 19,57
- Пул CUDA graphs, ГиБ
- 0,08
Из отчёта серии
- «Вопросов по документу» одновременно: 34 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 29 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 317 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 91,9 | 0,911 |
| belebele_rus_Cyrl | 900 | acc_norm | 91,9 | 0,911 |
global_mmlu_ru
lm-eval 0.4.13, 3 090 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 77,0 | 0,342 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_anatomy | 135 | acc | 76,3 | 3,67 |
| global_mmlu_full_ru_astronomy | 152 | acc | 92,8 | 2,11 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 71,0 | 4,56 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 84,5 | 2,23 |
| global_mmlu_full_ru_college_biology | 144 | acc | 92,4 | 2,22 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 60,0 | 4,92 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 66,0 | 4,76 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 80,3 | 3,03 |
| global_mmlu_full_ru_college_physics | 102 | acc | 65,7 | 4,72 |
| global_mmlu_full_ru_computer_security | 100 | acc | 79,0 | 4,09 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 87,7 | 2,15 |
| global_mmlu_full_ru_econometrics | 114 | acc | 75,4 | 4,05 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 76,6 | 3,53 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 75,4 | 2,22 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 63,5 | 4,31 |
| global_mmlu_full_ru_global_facts | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,5 | 1,40 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 79,3 | 2,85 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 90,0 | 3,02 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 84,8 | 2,80 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 87,4 | 2,37 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 90,2 | 2,15 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 85,1 | 1,80 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 52,6 | 3,04 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 93,3 | 1,63 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 72,2 | 3,66 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 92,1 | 1,16 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 79,6 | 2,75 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 92,2 | 1,89 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 92,8 | 1,68 |
| global_mmlu_full_ru_human_aging | 223 | acc | 75,3 | 2,89 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 83,2 | 3,28 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 71,5 | 0,638 |
| global_mmlu_full_ru_international_law | 121 | acc | 83,5 | 3,39 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 87,0 | 3,25 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 79,1 | 3,19 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 70,5 | 4,33 |
| global_mmlu_full_ru_management | 103 | acc | 81,6 | 3,84 |
| global_mmlu_full_ru_marketing | 234 | acc | 88,0 | 2,13 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 87,0 | 3,38 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 82,1 | 1,37 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 74,9 | 2,34 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 62,6 | 1,62 |
| global_mmlu_full_ru_nutrition | 306 | acc | 83,7 | 2,12 |
| global_mmlu_full_ru_other | 3 107 | acc | 78,5 | 0,711 |
| global_mmlu_full_ru_philosophy | 311 | acc | 77,5 | 2,37 |
| global_mmlu_full_ru_prehistory | 324 | acc | 82,4 | 2,12 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 57,1 | 2,95 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 61,3 | 1,24 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 91,9 | 1,66 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 76,1 | 1,72 |
| global_mmlu_full_ru_public_relations | 110 | acc | 63,6 | 4,61 |
| global_mmlu_full_ru_security_studies | 245 | acc | 73,9 | 2,81 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 83,9 | 0,648 |
| global_mmlu_full_ru_sociology | 201 | acc | 89,6 | 2,16 |
| global_mmlu_full_ru_stem | 3 153 | acc | 77,0 | 0,721 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 87,0 | 3,38 |
| global_mmlu_full_ru_virology | 166 | acc | 53,0 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 85,4 | 2,71 |
mgsm_ru
lm-eval 0.4.13, 186 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 79,2 | 2,57 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 1 030 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 72,5 | 2,88 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 80,3 | 1,22 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 87,5 | 8,27 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 75,0 | 8,84 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 68,8 | 11,6 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 86,8 | 2,11 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 97,5 | 1,10 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 75,0 | 3,06 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 86,5 | 2,42 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 97,0 | 0,853 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BBF16.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,9 | −0,4 | [−1,3; +0,3] | 0,424 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 77,0 | −0,4 | [−0,7; −0,1] | 0,00903 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−2,8; +1,2] | 0,688 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 79,2 | −0,4 | [−2,8; +2,0] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,1 | −0,4 | [−1,2; +0,4] | 0,343 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,0 | 0,0 | [−0,8; +0,8] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,5 | +1,0 | [−1,5; +3,5] | 0,688 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 75,0 | −7 | [−13; −2] | 0,0161 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 72,5 | 0 | [−3; +4] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 86,5 | +3 | [−1; +7] | 0,180 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 86,8 | −0,8 | [−3,1; +1,2] | 0,727 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,3 | −0,5 | [−1,5; +0,6] | 0,458 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0244 нат в среднем, 0,383 нат на 99-м процентиле; первый токен совпал в 96,1 % позиций (68 806 позиций). По фрагментам: 0,025 ± 0,011 [0,023; 0,027], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BFP8, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BFP8.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,6 | 91,9 | −0,7 | [−1,6; +0,1] | 0,180 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,2 | 77,0 | −0,2 | [−0,5; +0,1] | 0,352 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 92,0 | 0,0 | [−2,0; +2,0] | 1,00 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 79,2 | −0,8 | [−3,2; +1,2] | 0,727 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,1 | −0,3 | [−1,2; +0,5] | 0,474 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,5 | 97,0 | −0,5 | [−1,3; 0,0] | 0,500 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,0 | 97,5 | +0,5 | [−1,5; +3,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 83,0 | 75,0 | −8 | [−14; −3] | 0,00700 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 69,6 | 72,5 | +3 | [−1; +7] | 0,210 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,0 | 86,5 | +4 | [0; +7] | 0,0923 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 86,8 | −0,8 | [−3,1; +1,2] | 0,727 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,7 | 80,3 | −0,4 | [−1,5; +0,8] | 0,636 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [0; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0263 нат в среднем, 0,402 нат на 99-м процентиле; первый токен совпал в 95,9 % позиций (68 806 позиций). По фрагментам: 0,027 ± 0,011 [0,025; 0,029], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 GPTQ g128, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BINT4 GPTQ g128.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,6 | 91,9 | +0,3 | [−0,6; +1,3] | 0,648 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 76,4 | 77,0 | +0,6 | [+0,2; +1,0] | 0,00588 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 91,2 | 92,0 | +0,8 | [−1,2; +3,2] | 0,727 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 79,2 | −0,8 | [−3,6; +1,6] | 0,754 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 83,1 | 84,1 | +1,0 | [0,0; +2,0] | 0,0680 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 96,8 | 97,0 | +0,3 | [−0,8; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,0 | 97,5 | +1,5 | [−0,5; +4,0] | 0,375 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 71,0 | 75,0 | +4 | [−3; +11] | 0,268 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 70,4 | 72,5 | +2 | [−3; +8] | 0,551 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 84,5 | 86,5 | +2 | [−2; +6] | 0,388 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 88,0 | 86,8 | −1,2 | [−3,9; +1,6] | 0,581 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 79,5 | 80,3 | +0,9 | [−0,6; +2,4] | 0,314 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 75,0 | 68,8 | −6 | [−25; +13] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0561 нат в среднем, 0,870 нат на 99-м процентиле; первый токен совпал в 93,9 % позиций (68 806 позиций). По фрагментам: 0,058 ± 0,026 [0,053; 0,062], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 AWQ g32, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BINT4 GPTQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,9 | 91,8 | −0,1 | [−1,1; +0,8] | 1,00 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,0 | 76,7 | −0,3 | [−0,7; 0,0] | 0,0798 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 92,0 | 0,0 | [−2,8; +2,8] | 1,00 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,2 | 81,2 | +2 | [−1; +5] | 0,302 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,1 | 85,3 | +1,2 | [+0,4; +2,1] | 0,00718 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,5 | −0,5 | [−1,8; +0,8] | 0,688 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,5 | 96,0 | −1,5 | [−3,5; 0,0] | 0,250 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 75,0 | 84,0 | +9 | [+4; +15] | 0,00210 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,5 | 81,3 | +9 | [+5; +13] | 1,04·10⁻⁴ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 86,5 | 82,5 | −4 | [−9; 0] | 0,0963 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 86,8 | 88,4 | +1,6 | [−0,4; +3,5] | 0,219 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,3 | 80,6 | +0,3 | [−0,9; +1,4] | 0,743 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 87,5 | 81,3 | −6 | [−19; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [−19; +19] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0333 нат в среднем, 0,513 нат на 99-м процентиле; первый токен совпал в 95,4 % позиций (68 806 позиций). По фрагментам: 0,034 ± 0,014 [0,032; 0,037], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 AWQ g32, вариант Qwen3.6-35B-A3BINT4 AWQ g128
Против Qwen3.6-35B-A3BINT4 AWQ g128.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,9 | 84,2 | −7,7 | [−9,8; −5,7] | 4,22·10⁻¹³ | разность есть |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,0 | 77,4 | +0,4 | [−0,3; +1,0] | 0,258 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 90,4 | −1,6 | [−4,4; +0,8] | 0,344 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,2 | 79,2 | 0 | [−3; +3] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,1 | 84,5 | +0,3 | [−1,0; +1,8] | 0,668 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 92,8 | −4,3 | [−7,0; −1,8] | 0,00232 | разность есть |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,5 | 87,5 | −10 | [−15; −6] | 1,10·10⁻⁵ | разность есть |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 75,0 | 91,0 | +16 | [+10; +22] | 4,43·10⁻⁷ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,5 | 90,4 | +18 | [+13; +23] | 2,61·10⁻¹² | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 86,5 | 89,5 | +3 | [−2; +8] | 0,263 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 86,8 | 81,8 | −5 | [−10; 0] | 0,0533 | разность есть |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,3 | 78,1 | −2,3 | [−4,6; −0,2] | 0,0498 | разность есть |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 87,5 | 81,3 | −6 | [−31; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [−8; +21] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 81,3 | +13 | [−6; +38] | 0,625 | в пределах шума |
KL между разными моделями не приводим: сравнивать их распределения по токенам некорректно.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- готовый квант: AWQ W4A16, группа 32, асимметричный, калибровка cyankiwi/calibration-medium