Qwen3.8-27B INT8 W8A8 (свой GPTQ) на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.8-27BINT8 W8A8
- GPTQ
- симметричный
- свой
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- Qwen/Qwen3.8-27B, ревизия
37561816e66b5b91 53b1b64c 10968c18 c1e6f4a0 - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
compressed-tensors, int8 channel, симметричное, наблюдатель memoryless_minmax, активации: int; ядро CutlassInt8ScaledMMLinearKernel
Не квантованы (18)
linear_attn.in_proj_a, linear_attn.in_proj_b, lm_head, mtp.fc, mtp.layers.N.input_layernorm, mtp.layers.N.mlp.down_proj, mtp.layers.N.mlp.gate_proj, mtp.layers.N.mlp.up_proj, mtp.layers.N.post_attention_layernorm, mtp.layers.N.self_attn.k_norm, mtp.layers.N.self_attn.k_proj, mtp.layers.N.self_attn.o_proj, mtp.layers.N.self_attn.q_norm, mtp.layers.N.self_attn.q_proj, mtp.layers.N.self_attn.v_proj, mtp.norm, mtp.pre_fc_norm_embedding, mtp.pre_fc_norm_hidden
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
8cd136b3); план s1-qwen3.8-27b-w8a8-gptq-own (186139f5 7fcaca3b 861c0e66 a39b601d 0dac74ad 16a34f72 32953547 f711f252)f4ef6202 9b8e92cd b01440f7 0dd0edd7 01728fb3 95cc744e 82cc54c1
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name bench/Qwen3.8-27B-W8A8-GPTQ --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 46,0 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 82,0 °C
- Мощность, максимум
- 366 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 213,2 ± 2,1 | [208,1; 218,3] | 3 | 213,9; 214,9; 210,9 |
| До первого токена, с | 213,3 ± 2,1 | [208,2; 218,5] | 3 | 214,0; 215,0; 211,0 |
| Загрузка весов, с | 12,61 ± 0,28 | [11,92; 13,31] | 3 | 12,90; 12,34; 12,60 |
| Загрузка модели, с | 16,88 ± 0,15 | [16,51; 17,26] | 3 | 17,06; 16,80; 16,80 |
| torch.compile, с | 53,6 ± 0,7 | [51,8; 55,4] | 3 | 54,4; 53,3; 53,1 |
| Профилирование памяти, с | 85,2 ± 1,2 | [82,2; 88,1] | 3 | 84,6; 86,5; 84,4 |
| Захват CUDA graphs, с | 9,00 | [9,00; 9,00] | 3 | 9,00; 9,00; 9,00 |
| Инициализация движка, с | 157,0 ± 1,5 | [153,3; 160,8] | 3 | 157,2; 158,5; 155,4 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 56,7 ± 0,8 | [54,6; 58,7] | 3 | 57,2; 57,1; 55,7 |
| До первого токена, с | 56,8 ± 0,8 | [54,7; 58,9] | 3 | 57,4; 57,2; 55,9 |
| Загрузка весов, с | 6,12 ± 0,05 | [6,00; 6,24] | 3 | 6,17; 6,12; 6,07 |
| Загрузка модели, с | 10,36 ± 0,05 | [10,22; 10,49] | 3 | 10,42; 10,33; 10,32 |
| torch.compile, с | 1,58 ± 0,16 | [1,20; 1,97] | 3 | 1,74; 1,58; 1,43 |
| Профилирование памяти, с | 4,99 ± 0,05 | [4,86; 5,12] | 3 | 4,95; 5,05; 4,97 |
| Захват CUDA graphs, с | 6,3 ± 0,6 | [4,9; 7,8] | 3 | 7,0; 6,0; 6,0 |
| Инициализация движка, с | 16,6 ± 0,8 | [14,6; 18,7] | 3 | 17,6; 16,1; 16,2 |
| Весов в кэше ОС перед стартом, % | 95,8 | [95,8; 95,8] | 3 | 95,8; 95,8; 95,8 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 37,337 ± 0,010 | [37,312; 37,362] | 3 | 37,341; 37,325; 37,344 |
| Вход и выход, всего, ток/с | 112,01 ± 0,03 | [111,94; 112,09] | 3 | 112,02; 111,98; 112,03 |
| Запросов в секунду, запр/с | 0,072924 ± 0,000020 | [0,072874; 0,072973] | 3 | 0,072932; 0,072901; 0,072938 |
| Первый токен, медиана, мс | 223,7 ± 2,4 | [217,8; 229,6] | 3 | 225,7; 224,5; 221,1 |
| Первый токен, 95-й процентиль, мс | 228,9 ± 0,7 | [227,1; 230,7] | 3 | 229,0; 228,2; 229,6 |
| Полная задержка, медиана, мс | 13 710,7 ± 2,9 | [13 703,5; 13 718,0] | 3 | 13 710,5; 13 713,7; 13 707,9 |
| Полная задержка, 95-й процентиль, мс | 13 719 ± 7 | [13 702; 13 736] | 3 | 13 714; 13 727; 13 716 |
| Время на токен, медиана, мс | 26,395 ± 0,005 | [26,384; 26,407] | 3 | 26,392; 26,401; 26,393 |
| Пауза между токенами, 99-й процентиль, мс | 31,52 ± 0,07 | [31,35; 31,70] | 3 | 31,45; 31,57; 31,56 |
| Скорость на пользователя, медиана, ток/с | 37,886 ± 0,007 | [37,869; 37,902] | 3 | 37,890; 37,878; 37,889 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,39 | [4,39; 4,39] | 3 | 4,39; 4,39; 4,39 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 224 |
| Первый токен, 95-й процентиль, мс | 230 |
| Полная задержка, медиана, мс | 13 700 |
| Полная задержка, 95-й процентиль, мс | 13 700 |
| Скорость на пользователя, медиана, ток/с | 37,9 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 33,781 ± 0,014 | [33,747; 33,815] | 3 | 33,768; 33,778; 33,795 |
| Вход и выход, всего, ток/с | 574,27 ± 0,23 | [573,70; 574,85] | 3 | 574,06; 574,23; 574,52 |
| Запросов в секунду, запр/с | 0,065978 ± 0,000027 | [0,065912; 0,066044] | 3 | 0,065954; 0,065973; 0,066006 |
| Первый токен, медиана, мс | 1 477 ± 5 | [1 466; 1 488] | 3 | 1 477; 1 481; 1 472 |
| Первый токен, 95-й процентиль, мс | 1 492 ± 3 | [1 484; 1 500] | 3 | 1 496; 1 490; 1 490 |
| Полная задержка, медиана, мс | 15 156 ± 5 | [15 143; 15 168] | 3 | 15 155; 15 161; 15 151 |
| Полная задержка, 95-й процентиль, мс | 15 177 ± 18 | [15 132; 15 222] | 3 | 15 198; 15 166; 15 166 |
| Время на токен, медиана, мс | 26,7684 ± 0,0014 | [26,7649; 26,7718] | 3 | 26,7672; 26,7699; 26,7680 |
| Пауза между токенами, 99-й процентиль, мс | 31,93 ± 0,06 | [31,78; 32,09] | 3 | 31,87; 31,99; 31,93 |
| Скорость на пользователя, медиана, ток/с | 37,3575 ± 0,0019 | [37,3528; 37,3623] | 3 | 37,3592; 37,3554; 37,3581 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 13,2 | [13,2; 13,2] | 3 | 13,2; 13,2; 13,2 |
| Пик памяти карты, ГиБ | 37,9046 ± 0,0011 | [37,9018; 37,9074] | 3 | 37,9033; 37,9053; 37,9053 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 480 |
| Первый токен, 95-й процентиль, мс | 1 490 |
| Полная задержка, медиана, мс | 15 200 |
| Полная задержка, 95-й процентиль, мс | 15 200 |
| Скорость на пользователя, медиана, ток/с | 37,4 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 23,93 ± 0,05 | [23,80; 24,05] | 3 | 23,91; 23,98; 23,89 |
| Вход и выход, всего, ток/с | 1 555 ± 3 | [1 547; 1 563] | 3 | 1 554; 1 559; 1 553 |
| Запросов в секунду, запр/с | 0,04673 ± 0,00010 | [0,04649; 0,04697] | 3 | 0,04670; 0,04684; 0,04665 |
| Первый токен, медиана, мс | 7 078 ± 25 | [7 015; 7 141] | 3 | 7 100; 7 050; 7 085 |
| Первый токен, 95-й процентиль, мс | 7 140 ± 70 | [6 970; 7 310] | 3 | 7 180; 7 060; 7 170 |
| Полная задержка, медиана, мс | 21 400 ± 30 | [21 320; 21 490] | 3 | 21 420; 21 360; 21 420 |
| Полная задержка, 95-й процентиль, мс | 21 470 ± 80 | [21 260; 21 680] | 3 | 21 510; 21 370; 21 520 |
| Время на токен, медиана, мс | 28,025 ± 0,021 | [27,974; 28,077] | 3 | 28,020; 28,007; 28,048 |
| Пауза между токенами, 99-й процентиль, мс | 33,22 ± 0,11 | [32,94; 33,50] | 3 | 33,27; 33,09; 33,30 |
| Скорость на пользователя, медиана, ток/с | 35,682 ± 0,026 | [35,617; 35,748] | 3 | 35,688; 35,705; 35,653 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 40,4 | [40,4; 40,4] | 3 | 40,4; 40,4; 40,4 |
| Пик памяти карты, ГиБ | 37,9046 ± 0,0011 | [37,9018; 37,9074] | 3 | 37,9033; 37,9053; 37,9053 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 7 060 |
| Первый токен, 95-й процентиль, мс | 7 180 |
| Полная задержка, медиана, мс | 21 400 |
| Полная задержка, 95-й процентиль, мс | 21 500 |
| Скорость на пользователя, медиана, ток/с | 35,7 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 34,479 ± 0,010 | [34,456; 34,503] | 3 | 34,490; 34,471; 34,478 |
| Вход и выход, всего, ток/с | 505,24 ± 0,14 | [504,89; 505,58] | 3 | 505,39; 505,11; 505,21 |
| Запросов в секунду, запр/с | 0,11493 ± 0,00003 | [0,11485; 0,11501] | 3 | 0,11497; 0,11490; 0,11493 |
| Первый токен, медиана, мс | 745,0 ± 2,6 | [738,5; 751,5] | 3 | 743,9; 743,1; 748,0 |
| Первый токен, 95-й процентиль, мс | 759 ± 5 | [746; 773] | 3 | 766; 757; 756 |
| Полная задержка, медиана, мс | 8 697 ± 4 | [8 688; 8 706] | 3 | 8 695; 8 696; 8 702 |
| Полная задержка, 95-й процентиль, мс | 8 718 ± 11 | [8 690; 8 745] | 3 | 8 717; 8 729; 8 707 |
| Время на токен, медиана, мс | 26,603 ± 0,009 | [26,581; 26,625] | 3 | 26,598; 26,613; 26,599 |
| Пауза между токенами, 99-й процентиль, мс | 31,743 ± 0,006 | [31,729; 31,757] | 3 | 31,738; 31,741; 31,749 |
| Скорость на пользователя, медиана, ток/с | 37,590 ± 0,013 | [37,559; 37,621] | 3 | 37,598; 37,575; 37,596 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 7,89474 ± 0,00000 | [7,89474; 7,89474] | 3 | 7,89474; 7,89474; 7,89474 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 745 |
| Первый токен, 95-й процентиль, мс | 762 |
| Полная задержка, медиана, мс | 8 700 |
| Полная задержка, 95-й процентиль, мс | 8 730 |
| Скорость на пользователя, медиана, ток/с | 37,6 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 62,70 ± 0,05 | [62,59; 62,81] | 3 | 62,73; 62,65; 62,72 |
| Вход и выход, всего, ток/с | 918,8 ± 0,7 | [917,1; 920,4] | 3 | 919,2; 918,0; 919,1 |
| Запросов в секунду, запр/с | 0,20900 ± 0,00015 | [0,20863; 0,20938] | 3 | 0,20910; 0,20883; 0,20908 |
| Первый токен, медиана, мс | 1 250,7 ± 0,8 | [1 248,8; 1 252,6] | 3 | 1 251,0; 1 251,3; 1 249,9 |
| Первый токен, 95-й процентиль, мс | 1 445,7 ± 1,9 | [1 441,1; 1 450,4] | 3 | 1 444,5; 1 447,9; 1 444,8 |
| Полная задержка, медиана, мс | 9 564 ± 12 | [9 534; 9 595] | 3 | 9 559; 9 578; 9 556 |
| Полная задержка, 95-й процентиль, мс | 9 584 ± 7 | [9 567; 9 600] | 3 | 9 576; 9 588; 9 588 |
| Время на токен, медиана, мс | 27,800 ± 0,023 | [27,743; 27,856] | 3 | 27,777; 27,823; 27,800 |
| Пауза между токенами, 99-й процентиль, мс | 32,46 ± 0,11 | [32,19; 32,73] | 3 | 32,36; 32,58; 32,44 |
| Скорость на пользователя, медиана, ток/с | 35,99 ± 0,03 | [35,91; 36,06] | 3 | 36,02; 35,96; 35,99 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 15,7895 ± 0,0000 | [15,7895; 15,7895] | 3 | 15,7895; 15,7895; 15,7895 |
| Пик памяти карты, ГиБ | 37,9046 ± 0,0011 | [37,9018; 37,9074] | 3 | 37,9033; 37,9053; 37,9053 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 250 |
| Первый токен, 95-й процентиль, мс | 1 450 |
| Полная задержка, медиана, мс | 9 560 |
| Полная задержка, 95-й процентиль, мс | 9 590 |
| Скорость на пользователя, медиана, ток/с | 36,0 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 107,14 ± 0,17 | [106,73; 107,55] | 3 | 107,30; 107,14; 106,97 |
| Вход и выход, всего, ток/с | 1 569,9 ± 2,4 | [1 563,9; 1 576,0] | 3 | 1 572,3; 1 570,0; 1 567,5 |
| Запросов в секунду, запр/с | 0,3571 ± 0,0006 | [0,3558; 0,3585] | 3 | 0,3577; 0,3571; 0,3566 |
| Первый токен, медиана, мс | 2 781 ± 13 | [2 749; 2 812] | 3 | 2 769; 2 778; 2 794 |
| Первый токен, 95-й процентиль, мс | 2 818 ± 15 | [2 781; 2 855] | 3 | 2 803; 2 833; 2 818 |
| Полная задержка, медиана, мс | 11 199 ± 24 | [11 138; 11 259] | 3 | 11 175; 11 197; 11 224 |
| Полная задержка, 95-й процентиль, мс | 11 225 ± 19 | [11 179; 11 272] | 3 | 11 204; 11 231; 11 241 |
| Время на токен, медиана, мс | 28,14 ± 0,03 | [28,05; 28,22] | 3 | 28,10; 28,13; 28,17 |
| Пауза между токенами, 99-й процентиль, мс | 33,29 ± 0,10 | [33,05; 33,53] | 3 | 33,30; 33,19; 33,38 |
| Скорость на пользователя, медиана, ток/с | 35,54 ± 0,04 | [35,43; 35,65] | 3 | 35,58; 35,55; 35,50 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 31,6 | [31,6; 31,6] | 3 | 31,6; 31,6; 31,6 |
| Пик памяти карты, ГиБ | 37,9046 ± 0,0011 | [37,9018; 37,9074] | 3 | 37,9033; 37,9053; 37,9053 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 770 |
| Первый токен, 95-й процентиль, мс | 2 830 |
| Полная задержка, медиана, мс | 11 200 |
| Полная задержка, 95-й процентиль, мс | 11 200 |
| Скорость на пользователя, медиана, ток/с | 35,5 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 166,14 ± 0,30 | [165,41; 166,88] | 3 | 166,26; 166,36; 165,81 |
| Вход и выход, всего, ток/с | 2 435 ± 4 | [2 424; 2 445] | 3 | 2 436; 2 438; 2 430 |
| Запросов в секунду, запр/с | 0,5538 ± 0,0010 | [0,5514; 0,5563] | 3 | 0,5542; 0,5545; 0,5527 |
| Первый токен, медиана, мс | 5 022 ± 20 | [4 972; 5 072] | 3 | 5 009; 5 011; 5 045 |
| Первый токен, 95-й процентиль, мс | 5 550 ± 21 | [5 497; 5 602] | 3 | 5 553; 5 527; 5 569 |
| Полная задержка, медиана, мс | 14 442 ± 24 | [14 382; 14 501] | 3 | 14 433; 14 423; 14 468 |
| Полная задержка, 95-й процентиль, мс | 14 470 ± 30 | [14 390; 14 550] | 3 | 14 480; 14 440; 14 500 |
| Время на токен, медиана, мс | 31,47 ± 0,03 | [31,39; 31,55] | 3 | 31,45; 31,45; 31,51 |
| Пауза между токенами, 99-й процентиль, мс | 35,17 ± 0,14 | [34,82; 35,51] | 3 | 35,32; 35,05; 35,13 |
| Скорость на пользователя, медиана, ток/с | 31,86 ± 0,03 | [31,78; 31,94] | 3 | 31,87; 31,89; 31,83 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 63,2 | [63,2; 63,2] | 3 | 63,2; 63,2; 63,2 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 020 |
| Первый токен, 95-й процентиль, мс | 5 550 |
| Полная задержка, медиана, мс | 14 400 |
| Полная задержка, 95-й процентиль, мс | 14 500 |
| Скорость на пользователя, медиана, ток/с | 31,9 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 202,87 ± 0,23 | [202,29; 203,44] | 3 | 203,08; 202,90; 202,62 |
| Вход и выход, всего, ток/с | 2 973 ± 3 | [2 964; 2 981] | 3 | 2 976; 2 973; 2 969 |
| Запросов в секунду, запр/с | 0,6762 ± 0,0008 | [0,6743; 0,6781] | 3 | 0,6769; 0,6763; 0,6754 |
| Первый токен, медиана, мс | 7 191 ± 18 | [7 147; 7 234] | 3 | 7 170; 7 200; 7 202 |
| Первый токен, 95-й процентиль, мс | 8 244 ± 20 | [8 194; 8 293] | 3 | 8 239; 8 226; 8 265 |
| Полная задержка, медиана, мс | 17 730 ± 15 | [17 692; 17 768] | 3 | 17 712; 17 737; 17 740 |
| Полная задержка, 95-й процентиль, мс | 18 073 ± 28 | [18 004; 18 142] | 3 | 18 066; 18 050; 18 104 |
| Время на токен, медиана, мс | 35,265 ± 0,019 | [35,217; 35,312] | 3 | 35,264; 35,246; 35,284 |
| Пауза между токенами, 99-й процентиль, мс | 37,31 ± 0,10 | [37,06; 37,57] | 3 | 37,43; 37,27; 37,24 |
| Скорость на пользователя, медиана, ток/с | 28,357 ± 0,015 | [28,319; 28,395] | 3 | 28,358; 28,372; 28,341 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 94,7 | [94,7; 94,7] | 3 | 94,7; 94,7; 94,7 |
| Пик памяти карты, ГиБ | 37,9046 ± 0,0011 | [37,9018; 37,9074] | 3 | 37,9033; 37,9053; 37,9053 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 7 190 |
| Первый токен, 95-й процентиль, мс | 8 240 |
| Полная задержка, медиана, мс | 17 700 |
| Полная задержка, 95-й процентиль, мс | 18 100 |
| Скорость на пользователя, медиана, ток/с | 28,4 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 191,4 ± 0,4 | [190,5; 192,3] | 3 | 191,2; 191,8; 191,2 |
| Вход и выход, всего, ток/с | 2 805 ± 5 | [2 792; 2 817] | 3 | 2 801; 2 811; 2 802 |
| Запросов в секунду, запр/с | 0,6380 ± 0,0012 | [0,6350; 0,6409] | 3 | 0,6372; 0,6393; 0,6374 |
| Первый токен, медиана, мс | 7 070 ± 50 | [6 950; 7 200] | 3 | 7 100; 7 020; 7 110 |
| Первый токен, 95-й процентиль, мс | 19 240 ± 70 | [19 070; 19 420] | 3 | 19 280; 19 160; 19 290 |
| Полная задержка, медиана, мс | 19 973 ± 21 | [19 919; 20 026] | 3 | 19 993; 19 950; 19 975 |
| Полная задержка, 95-й процентиль, мс | 35 000 ± 130 | [34 670; 35 330] | 3 | 35 070; 34 840; 35 080 |
| Время на токен, медиана, мс | 45,77 ± 0,07 | [45,60; 45,95] | 3 | 45,77; 45,71; 45,84 |
| Пауза между токенами, 99-й процентиль, мс | 391 ± 3 | [383; 399] | 3 | 392; 387; 394 |
| Скорость на пользователя, медиана, ток/с | 21,85 ± 0,03 | [21,76; 21,93] | 3 | 21,85; 21,88; 21,81 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 94,7 | [94,7; 94,7] | 3 | 94,7; 94,7; 94,7 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 7 080 |
| Первый токен, 95-й процентиль, мс | 19 500 |
| Полная задержка, медиана, мс | 20 000 |
| Полная задержка, 95-й процентиль, мс | 35 600 |
| Скорость на пользователя, медиана, ток/с | 21,8 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 201,76 ± 0,11 | [201,50; 202,03] | 3 | 201,88; 201,73; 201,68 |
| Вход и выход, всего, ток/с | 2 956,5 ± 1,6 | [2 952,7; 2 960,4] | 3 | 2 958,3; 2 956,0; 2 955,3 |
| Запросов в секунду, запр/с | 0,6725 ± 0,0004 | [0,6717; 0,6734] | 3 | 0,6729; 0,6724; 0,6723 |
| Первый токен, медиана, мс | 21 591 ± 16 | [21 552; 21 630] | 3 | 21 579; 21 586; 21 609 |
| Первый токен, 95-й процентиль, мс | 25 060 ± 60 | [24 900; 25 210] | 3 | 25 030; 25 010; 25 130 |
| Полная задержка, медиана, мс | 35 660 ± 30 | [35 580; 35 740] | 3 | 35 630; 35 700; 35 650 |
| Полная задержка, 95-й процентиль, мс | 38 244 ± 12 | [38 214; 38 275] | 3 | 38 230; 38 252; 38 250 |
| Время на токен, медиана, мс | 46,834 ± 0,017 | [46,792; 46,876] | 3 | 46,831; 46,852; 46,818 |
| Пауза между токенами, 99-й процентиль, мс | 392,4 ± 1,4 | [388,9; 395,8] | 3 | 392,8; 390,8; 393,5 |
| Скорость на пользователя, медиана, ток/с | 21,352 ± 0,008 | [21,333; 21,371] | 3 | 21,353; 21,344; 21,359 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 94,7 | [94,7; 94,7] | 3 | 94,7; 94,7; 94,7 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 21 600 |
| Первый токен, 95-й процентиль, мс | 25 600 |
| Полная задержка, медиана, мс | 35 700 |
| Полная задержка, 95-й процентиль, мс | 38 900 |
| Скорость на пользователя, медиана, ток/с | 21,4 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 199,449 ± 0,022 | [199,394; 199,504] | 3 | 199,427; 199,471; 199,449 |
| Вход и выход, всего, ток/с | 2 922,6 ± 0,3 | [2 921,8; 2 923,4] | 3 | 2 922,3; 2 922,9; 2 922,6 |
| Запросов в секунду, запр/с | 0,66483 ± 0,00007 | [0,66465; 0,66501] | 3 | 0,66476; 0,66490; 0,66483 |
| Первый токен, медиана, мс | 35 591 ± 8 | [35 571; 35 611] | 3 | 35 584; 35 589; 35 600 |
| Первый токен, 95-й процентиль, мс | 39 340 ± 40 | [39 230; 39 450] | 3 | 39 390; 39 320; 39 300 |
| Полная задержка, медиана, мс | 48 738 ± 16 | [48 697; 48 778] | 3 | 48 719; 48 745; 48 749 |
| Полная задержка, 95-й процентиль, мс | 53 650 ± 60 | [53 500; 53 800] | 3 | 53 720; 53 630; 53 610 |
| Время на токен, медиана, мс | 46,869 ± 0,011 | [46,843; 46,895] | 3 | 46,860; 46,866; 46,880 |
| Пауза между токенами, 99-й процентиль, мс | 390,9 ± 1,4 | [387,5; 394,4] | 3 | 392,3; 391,1; 389,5 |
| Скорость на пользователя, медиана, ток/с | 21,336 ± 0,005 | [21,324; 21,348] | 3 | 21,340; 21,337; 21,331 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 94,7 | [94,7; 94,7] | 3 | 94,7; 94,7; 94,7 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 35 600 |
| Первый токен, 95-й процентиль, мс | 39 400 |
| Полная задержка, медиана, мс | 48 700 |
| Полная задержка, 95-й процентиль, мс | 53 700 |
| Скорость на пользователя, медиана, ток/с | 21,3 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,080 ± 0,013 | [43,048; 43,112] | 3 | 43,083; 43,091; 43,066 |
| Вход и выход, всего, ток/с | 631,27 ± 0,19 | [630,80; 631,73] | 3 | 631,31; 631,43; 631,06 |
| Запросов в секунду, запр/с | 0,14360 ± 0,00004 | [0,14350; 0,14371] | 3 | 0,14361; 0,14364; 0,14355 |
| Первый токен, медиана, мс | 805 ± 4 | [795; 816] | 3 | 801; 810; 804 |
| Первый токен, 95-й процентиль, мс | 1 170 ± 140 | [820; 1 510] | 3 | 1 270; 1 220; 1 010 |
| Полная задержка, медиана, мс | 9 980 ± 130 | [9 660; 10 300] | 3 | 10 050; 10 060; 9 830 |
| Полная задержка, 95-й процентиль, мс | 11 600 ± 600 | [10 200; 13 100] | 3 | 12 300; 11 600; 11 100 |
| Время на токен, медиана, мс | 30,6 ± 0,5 | [29,4; 31,7] | 3 | 30,6; 31,0; 30,1 |
| Пауза между токенами, 99-й процентиль, мс | 140 ± 190 | [−320; 610] | 3 | 360; 40; 40 |
| Скорость на пользователя, медиана, ток/с | 32,7 ± 0,5 | [31,5; 33,9] | 3 | 32,7; 32,3; 33,2 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 42 ± 5 | [31; 53] | 3 | 47; 39; 39 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 805 |
| Первый токен, 95-й процентиль, мс | 1 220 |
| Полная задержка, медиана, мс | 9 880 |
| Полная задержка, 95-й процентиль, мс | 12 000 |
| Скорость на пользователя, медиана, ток/с | 33,1 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 86,17 ± 0,03 | [86,09; 86,25] | 3 | 86,21; 86,14; 86,17 |
| Вход и выход, всего, ток/с | 1 262,7 ± 0,5 | [1 261,6; 1 263,9] | 3 | 1 263,2; 1 262,3; 1 262,7 |
| Запросов в секунду, запр/с | 0,28725 ± 0,00011 | [0,28698; 0,28751] | 3 | 0,28736; 0,28715; 0,28724 |
| Первый токен, медиана, мс | 815 ± 4 | [805; 825] | 3 | 815; 819; 811 |
| Первый токен, 95-й процентиль, мс | 1 690 ± 180 | [1 240; 2 130] | 3 | 1 750; 1 830; 1 480 |
| Полная задержка, медиана, мс | 11 170 ± 70 | [10 990; 11 350] | 3 | 11 090; 11 240; 11 170 |
| Полная задержка, 95-й процентиль, мс | 15 810 ± 140 | [15 460; 16 150] | 3 | 15 830; 15 930; 15 660 |
| Время на токен, медиана, мс | 34,35 ± 0,22 | [33,82; 34,89] | 3 | 34,20; 34,60; 34,26 |
| Пауза между токенами, 99-й процентиль, мс | 376,5 ± 1,1 | [373,8; 379,3] | 3 | 377,7; 376,5; 375,5 |
| Скорость на пользователя, медиана, ток/с | 29,11 ± 0,18 | [28,66; 29,56] | 3 | 29,24; 28,90; 29,19 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 86,8 | [86,8; 86,8] | 3 | 86,8; 86,8; 86,8 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 817 |
| Первый токен, 95-й процентиль, мс | 1 740 |
| Полная задержка, медиана, мс | 11 200 |
| Полная задержка, 95-й процентиль, мс | 15 900 |
| Скорость на пользователя, медиана, ток/с | 29,1 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 128,9 ± 0,6 | [127,5; 130,4] | 3 | 128,2; 129,2; 129,3 |
| Вход и выход, всего, ток/с | 1 889 ± 9 | [1 868; 1 910] | 3 | 1 879; 1 894; 1 894 |
| Запросов в секунду, запр/с | 0,4297 ± 0,0020 | [0,4249; 0,4346] | 3 | 0,4275; 0,4308; 0,4309 |
| Первый токен, медиана, мс | 960 ± 170 | [530; 1 380] | 3 | 840; 880; 1 150 |
| Первый токен, 95-й процентиль, мс | 3 300 ± 1 200 | [300; 6 300] | 3 | 3 000; 2 300; 4 700 |
| Полная задержка, медиана, мс | 14 300 ± 1 000 | [11 900; 16 700] | 3 | 13 500; 14 100; 15 400 |
| Полная задержка, 95-й процентиль, мс | 18 900 ± 1 900 | [14 100; 23 600] | 3 | 18 000; 17 500; 21 000 |
| Время на токен, медиана, мс | 43,5 ± 2,0 | [38,6; 48,3] | 3 | 41,6; 43,3; 45,5 |
| Пауза между токенами, 99-й процентиль, мс | 386,3 ± 1,3 | [383,0; 389,6] | 3 | 385,5; 385,6; 387,8 |
| Скорость на пользователя, медиана, ток/с | 23,0 ± 1,0 | [20,5; 25,6] | 3 | 24,1; 23,1; 22,0 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 94,7 | [94,7; 94,7] | 3 | 94,7; 94,7; 94,7 |
| Пик памяти карты, ГиБ | 37,9 | [37,9; 37,9] | 3 | 37,9; 37,9; 37,9 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 993 |
| Первый токен, 95-й процентиль, мс | 3 460 |
| Полная задержка, медиана, мс | 14 100 |
| Полная задержка, 95-й процентиль, мс | 19 600 |
| Скорость на пользователя, медиана, ток/с | 23,2 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 27,6 — одинаково при обоих видах старта | 6 | 27,6; 27,6; 27,6; 27,6; 27,6; 27,6 | |
| KV-кэш, ГиБ | 5,53 | 3,34 | 6 | х 3,34; т 5,53; х 3,34; т 5,53; х 3,34; т 5,53 |
| KV-кэш по журналу vLLM, токенов | 84 100 | 50 500 | 6 | х 50 500; т 84 100; х 50 500; т 84 100; х 50 500; т 84 100 |
| Пик активаций, ГиБ | 3,08 — одинаково при обоих видах старта | 6 | 3,08; 3,08; 3,08; 3,08; 3,08; 3,08 | |
| CUDA graphs, ГиБ | 0,0900000 ± 0,0000000 — одинаково при обоих видах старта | 6 | 0,0900000; 0,0900000; 0,0900000; 0,0900000; 0,0900000; 0,0900000 | |
| Веса и память вне PyTorch, ГиБ | 27,7 | 29,9 | 6 | х 29,9; т 27,7; х 29,9; т 27,7; х 29,9; т 27,7 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 33,8838 ± 0,0021 — одинаково при обоих видах старта | 6 | 33,8818; 33,8857; 33,8818; 33,8857; 33,8818; 33,8857 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,1 | 1 | 39,1 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 2,05
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 29,1
- Пул CUDA graphs, ГиБ
- 0,09
Из отчёта серии
- «Вопросов по документу» одновременно: 12 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 7 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 204 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 91,8 | 0,916 |
| belebele_rus_Cyrl | 900 | acc_norm | 91,8 | 0,916 |
global_mmlu_ru
lm-eval 0.4.13, 2 030 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 76,3 | 0,345 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 64,0 | 4,82 |
| global_mmlu_full_ru_anatomy | 135 | acc | 76,3 | 3,67 |
| global_mmlu_full_ru_astronomy | 152 | acc | 92,1 | 2,19 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 71,0 | 4,56 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 83,0 | 2,31 |
| global_mmlu_full_ru_college_biology | 144 | acc | 93,1 | 2,13 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 56,0 | 4,99 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 58,0 | 4,96 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 79,8 | 3,06 |
| global_mmlu_full_ru_college_physics | 102 | acc | 63,7 | 4,78 |
| global_mmlu_full_ru_computer_security | 100 | acc | 83,0 | 3,78 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 87,7 | 2,15 |
| global_mmlu_full_ru_econometrics | 114 | acc | 75,4 | 4,05 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 77,9 | 3,46 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 74,6 | 2,24 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 64,3 | 4,29 |
| global_mmlu_full_ru_global_facts | 100 | acc | 54,0 | 5,01 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,5 | 1,40 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 80,3 | 2,80 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 89,0 | 3,14 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 85,5 | 2,75 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 86,4 | 2,45 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 89,1 | 2,25 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 82,8 | 1,91 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 54,4 | 3,04 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 90,3 | 1,92 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 74,8 | 3,54 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 90,6 | 1,25 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 75,9 | 2,92 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 90,7 | 2,04 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 91,6 | 1,81 |
| global_mmlu_full_ru_human_aging | 223 | acc | 74,4 | 2,93 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 84,0 | 3,22 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 70,2 | 0,644 |
| global_mmlu_full_ru_international_law | 121 | acc | 82,6 | 3,46 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 87,0 | 3,25 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 76,1 | 3,35 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 67,9 | 4,43 |
| global_mmlu_full_ru_management | 103 | acc | 82,5 | 3,76 |
| global_mmlu_full_ru_marketing | 234 | acc | 90,2 | 1,95 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 84,0 | 3,68 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 81,9 | 1,38 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 74,6 | 2,34 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 60,9 | 1,63 |
| global_mmlu_full_ru_nutrition | 306 | acc | 85,0 | 2,05 |
| global_mmlu_full_ru_other | 3 107 | acc | 78,4 | 0,711 |
| global_mmlu_full_ru_philosophy | 311 | acc | 77,2 | 2,38 |
| global_mmlu_full_ru_prehistory | 324 | acc | 82,1 | 2,13 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 59,6 | 2,93 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 59,1 | 1,26 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 92,6 | 1,59 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 76,8 | 1,71 |
| global_mmlu_full_ru_public_relations | 110 | acc | 62,7 | 4,63 |
| global_mmlu_full_ru_security_studies | 245 | acc | 74,3 | 2,80 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 83,0 | 0,667 |
| global_mmlu_full_ru_sociology | 201 | acc | 86,1 | 2,45 |
| global_mmlu_full_ru_stem | 3 153 | acc | 76,7 | 0,723 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 88,0 | 3,27 |
| global_mmlu_full_ru_virology | 166 | acc | 51,2 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 86,0 | 2,66 |
mgsm_ru
lm-eval 0.4.13, 232 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 78,8 | 2,59 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 863 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 66,7 | 3,04 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 81,0 | 1,21 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 66,7 | 9,62 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 87,2 | 2,08 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 97,0 | 1,21 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 85,5 | 2,49 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 83,0 | 2,66 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 97,3 | 0,818 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT8 W8A8
Против Qwen3.8-27BBF16.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,8 | −0,6 | [−1,7; +0,6] | 0,424 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,3 | −1,1 | [−1,5; −0,8] | 8,15·10⁻⁹ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 90,8 | −2,0 | [−4,4; +0,4] | 0,180 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 78,8 | −1 | [−4; +2] | 0,791 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 84,4 | −0,2 | [−1,0; +0,7] | 0,794 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 97,3 | +0,3 | [−1,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 97,0 | +0,5 | [−1,0; +2,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 85,5 | +4 | [−1; +8] | 0,189 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 66,7 | −5 | [−9; −2] | 0,0106 | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 83,0 | −1 | [−4; +4] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 87,2 | −0,4 | [−2,3; +1,6] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 81,0 | +0,2 | [−1,1; +1,5] | 0,888 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [−19; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 66,7 | −8 | [−21; 0] | 0,500 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 81,3 | +13 | [0; +31] | 0,500 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0361 нат в среднем, 0,542 нат на 99-м процентиле; первый токен совпал в 95,3 % позиций (68 806 позиций). По фрагментам: 0,037 ± 0,017 [0,034; 0,040], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- свой квант: llm-compressor 0.15.0, пресет W8A8 (GPTQ): веса INT8 по каналам, активации INT8 по токенам (динамически), без SmoothQuant; калибровка ru-Wikipedia + UltraChat; рецепт и калибровка открыты, описаны в отчёте серии S1