Qwen3.8-27B INT4 (свой GPTQ W4A16) на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.8-27BINT4 GPTQ g128
- симметричный
- свой
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- Qwen/Qwen3.8-27B, ревизия
37561816e66b5b91 53b1b64c 10968c18 c1e6f4a0 - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
compressed-tensors, int4 group 128, симметричное, наблюдатель memoryless_minmax; ядро MarlinLinearKernel; квантованы только веса
Не квантованы (18)
linear_attn.in_proj_a, linear_attn.in_proj_b, lm_head, mtp.fc, mtp.layers.N.input_layernorm, mtp.layers.N.mlp.down_proj, mtp.layers.N.mlp.gate_proj, mtp.layers.N.mlp.up_proj, mtp.layers.N.post_attention_layernorm, mtp.layers.N.self_attn.k_norm, mtp.layers.N.self_attn.k_proj, mtp.layers.N.self_attn.o_proj, mtp.layers.N.self_attn.q_norm, mtp.layers.N.self_attn.q_proj, mtp.layers.N.self_attn.v_proj, mtp.norm, mtp.pre_fc_norm_embedding, mtp.pre_fc_norm_hidden
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
7a7f491d); план s1-qwen3.8-27b-w4a16-gptq-own (379ba050 6fe51370 1c2c1fa8 5fbe8214 e8b33f2d 6ba7bbcf 4ae2a58b f16eb051)9df11385 4f4e0dfd 039603fd 3b8f5552 69445111 d4553856 6bc2d5d9
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name bench/Qwen3.8-27B-W4A16-GPTQ --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 77,2 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 82,0 °C
- Мощность, максимум
- 363 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- doc_qa_open-in4096-out300-r0.3-r3: неуспешных запросов: 1
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 1 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 195,0 ± 2,8 | [188,2; 201,9] | 3 | 198,1; 194,3; 192,7 |
| До первого токена, с | 195,1 ± 2,7 | [188,3; 202,0] | 3 | 198,2; 194,4; 192,8 |
| Загрузка весов, с | 8,46 ± 0,03 | [8,39; 8,54] | 3 | 8,47; 8,43; 8,49 |
| Загрузка модели, с | 13,04 ± 0,16 | [12,63; 13,44] | 3 | 13,16; 13,10; 12,85 |
| torch.compile, с | 44,2 ± 0,6 | [42,8; 45,7] | 3 | 44,5; 44,7; 43,6 |
| Профилирование памяти, с | 82,0 ± 0,7 | [80,2; 83,7] | 3 | 82,8; 81,7; 81,4 |
| Захват CUDA graphs, с | 8,3 ± 0,6 | [6,9; 9,8] | 3 | 9,0; 8,0; 8,0 |
| Инициализация движка, с | 143,4 ± 1,9 | [138,6; 148,2] | 3 | 145,4; 143,2; 141,5 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 53,61 ± 0,09 | [53,40; 53,82] | 3 | 53,65; 53,51; 53,67 |
| До первого токена, с | 53,74 ± 0,07 | [53,56; 53,93] | 3 | 53,78; 53,66; 53,79 |
| Загрузка весов, с | 3,80 ± 0,05 | [3,67; 3,93] | 3 | 3,74; 3,84; 3,82 |
| Загрузка модели, с | 8,10 ± 0,09 | [7,87; 8,33] | 3 | 8,00; 8,13; 8,18 |
| torch.compile, с | 1,440 ± 0,026 | [1,374; 1,506] | 3 | 1,450; 1,410; 1,460 |
| Профилирование памяти, с | 5,70 ± 0,19 | [5,23; 6,18] | 3 | 5,52; 5,69; 5,90 |
| Захват CUDA graphs, с | 6,00 | [6,00; 6,00] | 3 | 6,00; 6,00; 6,00 |
| Инициализация движка, с | 16,93 ± 0,24 | [16,33; 17,54] | 3 | 16,72; 16,88; 17,20 |
| Весов в кэше ОС перед стартом, % | 93,2324 ± 0,0000 | [93,2324; 93,2324] | 3 | 93,2324; 93,2324; 93,2324 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 61,16 ± 0,18 | [60,71; 61,60] | 3 | 61,15; 60,98; 61,34 |
| Вход и выход, всего, ток/с | 183,5 ± 0,5 | [182,1; 184,8] | 3 | 183,4; 183,0; 184,0 |
| Запросов в секунду, запр/с | 0,1194 ± 0,0003 | [0,1186; 0,1203] | 3 | 0,1194; 0,1191; 0,1198 |
| Первый токен, медиана, мс | 377 ± 5 | [364; 390] | 3 | 374; 383; 374 |
| Первый токен, 95-й процентиль, мс | 384 ± 8 | [365; 404] | 3 | 375; 390; 387 |
| Полная задержка, медиана, мс | 8 372 ± 28 | [8 303; 8 441] | 3 | 8 368; 8 402; 8 347 |
| Полная задержка, 95-й процентиль, мс | 8 390 ± 40 | [8 300; 8 480] | 3 | 8 410; 8 420; 8 350 |
| Время на токен, медиана, мс | 15,64 ± 0,04 | [15,55; 15,74] | 3 | 15,65; 15,68; 15,60 |
| Пауза между токенами, 99-й процентиль, мс | 20,82 ± 0,11 | [20,54; 21,09] | 3 | 20,90; 20,86; 20,69 |
| Скорость на пользователя, медиана, ток/с | 63,92 ± 0,16 | [63,52; 64,32] | 3 | 63,90; 63,77; 64,09 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,44928 ± 0,00000 | [1,44928; 1,44928] | 3 | 1,44928; 1,44928; 1,44928 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 377 |
| Первый токен, 95-й процентиль, мс | 390 |
| Полная задержка, медиана, мс | 8 360 |
| Полная задержка, 95-й процентиль, мс | 8 420 |
| Скорость на пользователя, медиана, ток/с | 64,0 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 46,32 ± 0,13 | [46,00; 46,65] | 3 | 46,22; 46,47; 46,27 |
| Вход и выход, всего, ток/с | 787,5 ± 2,2 | [781,9; 793,0] | 3 | 785,7; 790,0; 786,7 |
| Запросов в секунду, запр/с | 0,09047 ± 0,00026 | [0,08984; 0,09111] | 3 | 0,09027; 0,09076; 0,09038 |
| Первый токен, медиана, мс | 2 866 ± 9 | [2 844; 2 887] | 3 | 2 871; 2 856; 2 870 |
| Первый токен, 95-й процентиль, мс | 2 885 ± 18 | [2 839; 2 931] | 3 | 2 893; 2 864; 2 898 |
| Полная задержка, медиана, мс | 11 061 ± 29 | [10 990; 11 132] | 3 | 11 083; 11 029; 11 070 |
| Полная задержка, 95-й процентиль, мс | 11 090 ± 40 | [10 980; 11 190] | 3 | 11 120; 11 040; 11 090 |
| Время на токен, медиана, мс | 16,03 ± 0,04 | [15,95; 16,12] | 3 | 16,06; 15,99; 16,04 |
| Пауза между токенами, 99-й процентиль, мс | 21,21 ± 0,13 | [20,89; 21,52] | 3 | 21,34; 21,09; 21,18 |
| Скорость на пользователя, медиана, ток/с | 62,37 ± 0,14 | [62,03; 62,71] | 3 | 62,26; 62,52; 62,33 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,35 | [4,35; 4,35] | 3 | 4,35; 4,35; 4,35 |
| Пик памяти карты, ГиБ | 38,0824 ± 0,0011 | [38,0796; 38,0852] | 3 | 38,0811; 38,0830; 38,0830 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 860 |
| Первый токен, 95-й процентиль, мс | 2 900 |
| Полная задержка, медиана, мс | 11 000 |
| Полная задержка, 95-й процентиль, мс | 11 100 |
| Скорость на пользователя, медиана, ток/с | 62,4 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 23,82 ± 0,08 | [23,62; 24,02] | 3 | 23,73; 23,86; 23,87 |
| Вход и выход, всего, ток/с | 1 548 ± 5 | [1 535; 1 561] | 3 | 1 542; 1 551; 1 552 |
| Запросов в секунду, запр/с | 0,04652 ± 0,00016 | [0,04613; 0,04691] | 3 | 0,04634; 0,04660; 0,04662 |
| Первый токен, медиана, мс | 12 670 ± 60 | [12 510; 12 830] | 3 | 12 750; 12 620; 12 650 |
| Первый токен, 95-й процентиль, мс | 12 710 ± 60 | [12 560; 12 870] | 3 | 12 780; 12 700; 12 660 |
| Полная задержка, медиана, мс | 21 520 ± 70 | [21 340; 21 700] | 3 | 21 600; 21 470; 21 480 |
| Полная задержка, 95-й процентиль, мс | 21 560 ± 90 | [21 330; 21 800] | 3 | 21 670; 21 520; 21 500 |
| Время на токен, медиана, мс | 17,29 ± 0,03 | [17,21; 17,37] | 3 | 17,33; 17,28; 17,27 |
| Пауза между токенами, 99-й процентиль, мс | 22,48 ± 0,09 | [22,26; 22,70] | 3 | 22,55; 22,52; 22,38 |
| Скорость на пользователя, медиана, ток/с | 57,83 ± 0,11 | [57,57; 58,09] | 3 | 57,71; 57,88; 57,90 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 13,3 | [13,3; 13,3] | 3 | 13,3; 13,3; 13,3 |
| Пик памяти карты, ГиБ | 38,0824 ± 0,0011 | [38,0796; 38,0852] | 3 | 38,0811; 38,0830; 38,0830 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 12 700 |
| Первый токен, 95-й процентиль, мс | 12 800 |
| Полная задержка, медиана, мс | 21 500 |
| Полная задержка, 95-й процентиль, мс | 21 600 |
| Скорость на пользователя, медиана, ток/с | 57,8 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 48,74 ± 0,05 | [48,61; 48,87] | 3 | 48,78; 48,68; 48,76 |
| Вход и выход, всего, ток/с | 714,2 ± 0,7 | [712,4; 716,1] | 3 | 714,8; 713,4; 714,5 |
| Запросов в секунду, запр/с | 0,16247 ± 0,00017 | [0,16205; 0,16289] | 3 | 0,16260; 0,16228; 0,16253 |
| Первый токен, медиана, мс | 1 422,9 ± 2,6 | [1 416,4; 1 429,4] | 3 | 1 421,0; 1 421,7; 1 425,9 |
| Первый токен, 95-й процентиль, мс | 1 437 ± 3 | [1 429; 1 446] | 3 | 1 441; 1 435; 1 435 |
| Полная задержка, медиана, мс | 6 157 ± 10 | [6 132; 6 182] | 3 | 6 148; 6 168; 6 154 |
| Полная задержка, 95-й процентиль, мс | 6 172 ± 9 | [6 150; 6 194] | 3 | 6 169; 6 182; 6 165 |
| Время на токен, медиана, мс | 15,83 ± 0,03 | [15,75; 15,91] | 3 | 15,81; 15,87; 15,81 |
| Пауза между токенами, 99-й процентиль, мс | 21,06 ± 0,14 | [20,73; 21,40] | 3 | 21,22; 21,02; 20,95 |
| Скорость на пользователя, медиана, ток/с | 63,17 ± 0,13 | [62,85; 63,49] | 3 | 63,25; 63,02; 63,24 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 2,61 | [2,61; 2,61] | 3 | 2,61; 2,61; 2,61 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 420 |
| Первый токен, 95-й процентиль, мс | 1 440 |
| Полная задержка, медиана, мс | 6 150 |
| Полная задержка, 95-й процентиль, мс | 6 170 |
| Скорость на пользователя, медиана, ток/с | 63,2 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 77,76 ± 0,22 | [77,23; 78,30] | 3 | 77,55; 77,76; 77,98 |
| Вход и выход, всего, ток/с | 1 140 ± 3 | [1 132; 1 147] | 3 | 1 136; 1 139; 1 143 |
| Запросов в секунду, запр/с | 0,2592 ± 0,0007 | [0,2574; 0,2610] | 3 | 0,2585; 0,2592; 0,2599 |
| Первый токен, медиана, мс | 2 534 ± 9 | [2 513; 2 556] | 3 | 2 537; 2 541; 2 525 |
| Первый токен, 95-й процентиль, мс | 2 797 ± 19 | [2 750; 2 845] | 3 | 2 806; 2 811; 2 776 |
| Полная задержка, медиана, мс | 7 712 ± 18 | [7 667; 7 756] | 3 | 7 731; 7 710; 7 695 |
| Полная задержка, 95-й процентиль, мс | 7 740 ± 40 | [7 650; 7 830] | 3 | 7 780; 7 730; 7 710 |
| Время на токен, медиана, мс | 17,31 ± 0,05 | [17,20; 17,43] | 3 | 17,37; 17,29; 17,28 |
| Пауза между токенами, 99-й процентиль, мс | 21,71 ± 0,04 | [21,62; 21,80] | 3 | 21,69; 21,68; 21,75 |
| Скорость на пользователя, медиана, ток/с | 57,88 ± 0,16 | [57,48; 58,28] | 3 | 57,69; 57,95; 57,99 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 5,22 | [5,22; 5,22] | 3 | 5,22; 5,22; 5,22 |
| Пик памяти карты, ГиБ | 38,0824 ± 0,0011 | [38,0796; 38,0852] | 3 | 38,0811; 38,0830; 38,0830 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 540 |
| Первый токен, 95-й процентиль, мс | 2 810 |
| Полная задержка, медиана, мс | 7 710 |
| Полная задержка, 95-й процентиль, мс | 7 770 |
| Скорость на пользователя, медиана, ток/с | 57,8 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 111,4 ± 0,4 | [110,3; 112,5] | 3 | 110,9; 111,6; 111,8 |
| Вход и выход, всего, ток/с | 1 633 ± 7 | [1 617; 1 649] | 3 | 1 626; 1 636; 1 638 |
| Запросов в секунду, запр/с | 0,3715 ± 0,0015 | [0,3678; 0,3751] | 3 | 0,3698; 0,3721; 0,3725 |
| Первый токен, медиана, мс | 5 534 ± 22 | [5 480; 5 588] | 3 | 5 559; 5 525; 5 518 |
| Первый токен, 95-й процентиль, мс | 5 560 ± 50 | [5 440; 5 680] | 3 | 5 610; 5 540; 5 530 |
| Полная задержка, медиана, мс | 10 770 ± 40 | [10 660; 10 870] | 3 | 10 820; 10 750; 10 740 |
| Полная задержка, 95-й процентиль, мс | 10 790 ± 60 | [10 630; 10 950] | 3 | 10 870; 10 760; 10 750 |
| Время на токен, медиана, мс | 17,50 ± 0,06 | [17,34; 17,65] | 3 | 17,56; 17,47; 17,45 |
| Пауза между токенами, 99-й процентиль, мс | 22,87 ± 0,16 | [22,46; 23,27] | 3 | 23,05; 22,75; 22,79 |
| Скорость на пользователя, медиана, ток/с | 57,16 ± 0,20 | [56,67; 57,65] | 3 | 56,94; 57,23; 57,31 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 10,4 | [10,4; 10,4] | 3 | 10,4; 10,4; 10,4 |
| Пик памяти карты, ГиБ | 38,0824 ± 0,0011 | [38,0796; 38,0852] | 3 | 38,0811; 38,0830; 38,0830 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 520 |
| Первый токен, 95-й процентиль, мс | 5 610 |
| Полная задержка, медиана, мс | 10 800 |
| Полная задержка, 95-й процентиль, мс | 10 900 |
| Скорость на пользователя, медиана, ток/с | 57,2 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 143,0 ± 0,4 | [142,1; 143,9] | 3 | 142,6; 143,2; 143,2 |
| Вход и выход, всего, ток/с | 2 096 ± 5 | [2 082; 2 109] | 3 | 2 089; 2 099; 2 099 |
| Запросов в секунду, запр/с | 0,4767 ± 0,0012 | [0,4737; 0,4798] | 3 | 0,4753; 0,4775; 0,4774 |
| Первый токен, медиана, мс | 10 594 ± 26 | [10 530; 10 657] | 3 | 10 623; 10 580; 10 578 |
| Первый токен, 95-й процентиль, мс | 11 064 ± 21 | [11 013; 11 115] | 3 | 11 088; 11 049; 11 057 |
| Полная задержка, медиана, мс | 16 780 ± 40 | [16 670; 16 880] | 3 | 16 830; 16 750; 16 750 |
| Полная задержка, 95-й процентиль, мс | 16 812 ± 24 | [16 754; 16 871] | 3 | 16 836; 16 788; 16 813 |
| Время на токен, медиана, мс | 20,68 ± 0,05 | [20,55; 20,81] | 3 | 20,74; 20,64; 20,66 |
| Пауза между токенами, 99-й процентиль, мс | 24,54 ± 0,10 | [24,30; 24,78] | 3 | 24,65; 24,46; 24,51 |
| Скорость на пользователя, медиана, ток/с | 48,58 ± 0,12 | [48,27; 48,88] | 3 | 48,44; 48,67; 48,62 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 20,9 | [20,9; 20,9] | 3 | 20,9; 20,9; 20,9 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 10 600 |
| Первый токен, 95-й процентиль, мс | 11 100 |
| Полная задержка, медиана, мс | 16 800 |
| Полная задержка, 95-й процентиль, мс | 16 800 |
| Скорость на пользователя, медиана, ток/с | 48,5 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 155,5 ± 0,4 | [154,6; 156,4] | 3 | 155,1; 155,8; 155,6 |
| Вход и выход, всего, ток/с | 2 279 ± 5 | [2 265; 2 292] | 3 | 2 273; 2 284; 2 279 |
| Запросов в секунду, запр/с | 0,5184 ± 0,0012 | [0,5153; 0,5214] | 3 | 0,5171; 0,5195; 0,5185 |
| Первый токен, медиана, мс | 15 670 ± 23 | [15 614; 15 726] | 3 | 15 694; 15 649; 15 668 |
| Первый токен, 95-й процентиль, мс | 16 550 ± 18 | [16 506; 16 595] | 3 | 16 559; 16 530; 16 562 |
| Полная задержка, медиана, мс | 23 150 ± 50 | [23 030; 23 260] | 3 | 23 200; 23 110; 23 130 |
| Полная задержка, 95-й процентиль, мс | 23 700 ± 500 | [22 500; 24 800] | 3 | 23 900; 23 100; 23 900 |
| Время на токен, медиана, мс | 24,98 ± 0,06 | [24,84; 25,12] | 3 | 25,04; 24,93; 24,98 |
| Пауза между токенами, 99-й процентиль, мс | 27,52 ± 0,14 | [27,18; 27,87] | 3 | 27,49; 27,40; 27,68 |
| Скорость на пользователя, медиана, ток/с | 40,03 ± 0,09 | [39,81; 40,25] | 3 | 39,94; 40,12; 40,03 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 31,3 | [31,3; 31,3] | 3 | 31,3; 31,3; 31,3 |
| Пик памяти карты, ГиБ | 38,0824 ± 0,0011 | [38,0796; 38,0852] | 3 | 38,0811; 38,0830; 38,0830 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 15 700 |
| Первый токен, 95-й процентиль, мс | 16 600 |
| Полная задержка, медиана, мс | 23 100 |
| Полная задержка, 95-й процентиль, мс | 23 900 |
| Скорость на пользователя, медиана, ток/с | 40,0 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 165,1 ± 0,5 | [164,0; 166,3] | 3 | 164,8; 165,6; 165,0 |
| Вход и выход, всего, ток/с | 2 420 ± 7 | [2 403; 2 436] | 3 | 2 414; 2 427; 2 418 |
| Запросов в секунду, запр/с | 0,5505 ± 0,0015 | [0,5467; 0,5542] | 3 | 0,5492; 0,5522; 0,5500 |
| Первый токен, медиана, мс | 16 940 ± 50 | [16 820; 17 060] | 3 | 16 970; 16 880; 16 970 |
| Первый токен, 95-й процентиль, мс | 21 930 ± 80 | [21 730; 22 140] | 3 | 22 010; 21 850; 21 940 |
| Полная задержка, медиана, мс | 29 060 ± 60 | [28 900; 29 220] | 3 | 29 100; 28 980; 29 090 |
| Полная задержка, 95-й процентиль, мс | 34 400 ± 700 | [32 800; 36 000] | 3 | 34 900; 34 600; 33 700 |
| Время на токен, медиана, мс | 40,51 ± 0,04 | [40,41; 40,62] | 3 | 40,56; 40,47; 40,52 |
| Пауза между токенами, 99-й процентиль, мс | 28,94 ± 0,21 | [28,41; 29,48] | 3 | 28,70; 29,09; 29,05 |
| Скорость на пользователя, медиана, ток/с | 24,683 ± 0,027 | [24,616; 24,749] | 3 | 24,657; 24,710; 24,681 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 41,7 | [41,7; 41,7] | 3 | 41,7; 41,7; 41,7 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 16 900 |
| Первый токен, 95-й процентиль, мс | 22 000 |
| Полная задержка, медиана, мс | 29 100 |
| Полная задержка, 95-й процентиль, мс | 34 300 |
| Скорость на пользователя, медиана, ток/с | 24,7 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 172,3 ± 0,4 | [171,2; 173,3] | 3 | 172,0; 172,8; 172,0 |
| Вход и выход, всего, ток/с | 2 524 ± 6 | [2 509; 2 540] | 3 | 2 520; 2 531; 2 521 |
| Запросов в секунду, запр/с | 0,5742 ± 0,0014 | [0,5706; 0,5778] | 3 | 0,5733; 0,5759; 0,5735 |
| Первый токен, медиана, мс | 21 010 ± 210 | [20 500; 21 520] | 3 | 20 940; 20 850; 21 240 |
| Первый токен, 95-й процентиль, мс | 32 260 ± 170 | [31 840; 32 680] | 3 | 32 380; 32 070; 32 330 |
| Полная задержка, медиана, мс | 41 780 ± 70 | [41 600; 41 950] | 3 | 41 840; 41 700; 41 800 |
| Полная задержка, 95-й процентиль, мс | 51 000 ± 3 000 | [44 000; 59 000] | 3 | 53 000; 53 000; 48 000 |
| Время на токен, медиана, мс | 69,5 ± 0,7 | [67,8; 71,2] | 3 | 70,0; 69,8; 68,7 |
| Пауза между токенами, 99-й процентиль, мс | 897 ± 3 | [889; 905] | 3 | 896; 894; 900 |
| Скорость на пользователя, медиана, ток/с | 14,39 ± 0,15 | [14,03; 14,76] | 3 | 14,29; 14,33; 14,56 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 62,6 | [62,6; 62,6] | 3 | 62,6; 62,6; 62,6 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 20 900 |
| Первый токен, 95-й процентиль, мс | 32 400 |
| Полная задержка, медиана, мс | 41 800 |
| Полная задержка, 95-й процентиль, мс | 53 300 |
| Скорость на пользователя, медиана, ток/с | 14,3 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 177,93 ± 0,19 | [177,46; 178,39] | 3 | 177,79; 178,14; 177,85 |
| Вход и выход, всего, ток/с | 2 607,2 ± 2,7 | [2 600,4; 2 614,0] | 3 | 2 605,1; 2 610,3; 2 606,2 |
| Запросов в секунду, запр/с | 0,5931 ± 0,0006 | [0,5915; 0,5946] | 3 | 0,5926; 0,5938; 0,5928 |
| Первый токен, медиана, мс | 20 700 ± 1 600 | [16 800; 24 600] | 3 | 21 600; 18 900; 21 600 |
| Первый токен, 95-й процентиль, мс | 43 360 ± 130 | [43 050; 43 680] | 3 | 43 500; 43 250; 43 340 |
| Полная задержка, медиана, мс | 53 950 ± 30 | [53 880; 54 030] | 3 | 53 960; 53 920; 53 980 |
| Полная задержка, 95-й процентиль, мс | 77 700 ± 2 200 | [72 200; 83 300] | 3 | 76 500; 80 300; 76 400 |
| Время на токен, медиана, мс | 111 ± 5 | [99; 123] | 3 | 108; 116; 108 |
| Пауза между токенами, 99-й процентиль, мс | 5 180 ± 260 | [4 540; 5 820] | 3 | 5 040; 5 480; 5 030 |
| Скорость на пользователя, медиана, ток/с | 9,0 ± 0,4 | [8,1; 10,0] | 3 | 9,2; 8,6; 9,2 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 83,5 | [83,5; 83,5] | 3 | 83,5; 83,5; 83,5 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 21 600 |
| Первый токен, 95-й процентиль, мс | 43 300 |
| Полная задержка, медиана, мс | 54 000 |
| Полная задержка, 95-й процентиль, мс | 76 500 |
| Скорость на пользователя, медиана, ток/с | 9,06 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,625 ± 0,017 | [43,584; 43,667] | 3 | 43,627; 43,641; 43,608 |
| Вход и выход, всего, ток/с | 639,26 ± 0,24 | [638,66; 639,86] | 3 | 639,28; 639,49; 639,01 |
| Запросов в секунду, запр/с | 0,14542 ± 0,00006 | [0,14528; 0,14556] | 3 | 0,14542; 0,14547; 0,14536 |
| Первый токен, медиана, мс | 1 454 ± 7 | [1 437; 1 470] | 3 | 1 452; 1 448; 1 461 |
| Первый токен, 95-й процентиль, мс | 2 720 ± 200 | [2 230; 3 210] | 3 | 2 840; 2 830; 2 490 |
| Полная задержка, медиана, мс | 7 900 ± 300 | [7 200; 8 700] | 3 | 8 300; 7 800; 7 700 |
| Полная задержка, 95-й процентиль, мс | 11 500 ± 1 300 | [8 400; 14 700] | 3 | 12 800; 11 500; 10 300 |
| Время на токен, медиана, мс | 21,3 ± 0,5 | [19,9; 22,6] | 3 | 21,9; 21,2; 20,8 |
| Пауза между токенами, 99-й процентиль, мс | 23,1 ± 0,7 | [21,4; 24,7] | 3 | 23,7; 23,1; 22,3 |
| Скорость на пользователя, медиана, ток/с | 47,0 ± 1,2 | [44,0; 50,0] | 3 | 45,7; 47,2; 48,1 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 13,0 ± 2,6 | [6,6; 19,5] | 3 | 15,7; 13,0; 10,4 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 450 |
| Первый токен, 95-й процентиль, мс | 2 840 |
| Полная задержка, медиана, мс | 7 820 |
| Полная задержка, 95-й процентиль, мс | 11 600 |
| Скорость на пользователя, медиана, ток/с | 47,4 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 2.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 87,27 ± 0,05 | [86,79; 87,74] | 2 | 87,30; 87,23 |
| Вход и выход, всего, ток/с | 1 278,7 ± 0,8 | [1 271,7; 1 285,8] | 2 | 1 279,3; 1 278,2 |
| Запросов в секунду, запр/с | 0,29089 ± 0,00018 | [0,28929; 0,29248] | 2 | 0,29101; 0,29076 |
| Первый токен, медиана, мс | 1 900 ± 400 | [−1 900; 5 700] | 2 | 1 600; 2 200 |
| Первый токен, 95-й процентиль, мс | 6 200 ± 1 800 | [−9 800; 22 100] | 2 | 4 900; 7 400 |
| Полная задержка, медиана, мс | 10 680 ± 170 | [9 120; 12 230] | 2 | 10 800; 10 550 |
| Полная задержка, 95-й процентиль, мс | 22 000 ± 2 000 | [4 400; 39 600] | 2 | 20 600; 23 400 |
| Время на токен, медиана, мс | 26,21 ± 0,03 | [25,93; 26,50] | 2 | 26,19; 26,24 |
| Пауза между токенами, 99-й процентиль, мс | 509 ± 6 | [454; 565] | 2 | 514; 505 |
| Скорость на пользователя, медиана, ток/с | 38,15 ± 0,04 | [37,74; 38,55] | 2 | 38,18; 38,12 |
| Вытеснения | 0 | [0; 0] | 2 | 0; 0 |
| Пик занятости KV-кэша, % | 33,9 | [33,9; 33,9] | 2 | 33,9; 33,9 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 2 | 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 820 |
| Первый токен, 95-й процентиль, мс | 7 080 |
| Полная задержка, медиана, мс | 10 600 |
| Полная задержка, 95-й процентиль, мс | 22 900 |
| Скорость на пользователя, медиана, ток/с | 38,2 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 129,9 ± 1,8 | [125,4; 134,3] | 3 | 127,8; 130,9; 130,9 |
| Вход и выход, всего, ток/с | 1 903 ± 26 | [1 837; 1 968] | 3 | 1 872; 1 918; 1 918 |
| Запросов в секунду, запр/с | 0,433 ± 0,006 | [0,418; 0,448] | 3 | 0,426; 0,436; 0,436 |
| Первый токен, медиана, мс | 2 900 ± 500 | [1 700; 4 100] | 3 | 2 600; 2 700; 3 500 |
| Первый токен, 95-й процентиль, мс | 8 100 ± 2 100 | [2 800; 13 400] | 3 | 6 400; 7 500; 10 500 |
| Полная задержка, медиана, мс | 21 000 ± 4 000 | [12 000; 30 000] | 3 | 18 000; 20 000; 25 000 |
| Полная задержка, 95-й процентиль, мс | 48 000 ± 6 000 | [32 000; 64 000] | 3 | 42 000; 47 000; 55 000 |
| Время на токен, медиана, мс | 57 ± 6 | [42; 72] | 3 | 50; 58; 63 |
| Пауза между токенами, 99-й процентиль, мс | 1 300 ± 400 | [400; 2 200] | 3 | 900; 1 400; 1 700 |
| Скорость на пользователя, медиана, ток/с | 17,7 ± 2,0 | [12,7; 22,7] | 3 | 19,9; 17,3; 15,9 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 77 ± 5 | [64; 91] | 3 | 73; 76; 83 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 800 |
| Первый токен, 95-й процентиль, мс | 8 070 |
| Полная задержка, медиана, мс | 20 500 |
| Полная задержка, 95-й процентиль, мс | 50 800 |
| Скорость на пользователя, медиана, ток/с | 18,0 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 16,7 — одинаково при обоих видах старта | 6 | 16,7; 16,7; 16,7; 16,7; 16,7; 16,7 | |
| KV-кэш, ГиБ | 16,6 | 14,3 | 6 | х 14,3; т 16,6; х 14,3; т 16,6; х 14,3; т 16,6 |
| KV-кэш по журналу vLLM, токенов | 253 000 | 218 000 | 6 | х 218 000; т 253 000; х 218 000; т 253 000; х 218 000; т 253 000 |
| Пик активаций, ГиБ | 2,79 | 2,91 | 6 | х 2,91; т 2,79; х 2,91; т 2,79; х 2,91; т 2,79 |
| CUDA graphs, ГиБ | 0,0800 — одинаково при обоих видах старта | 6 | 0,0800; 0,0800; 0,0800; 0,0800; 0,0800; 0,0800 | |
| Веса и память вне PyTorch, ГиБ | 17,0 | 19,2 | 6 | х 19,2; т 17,0; х 19,2; т 17,0; х 19,2; т 17,0 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 34,09 ± 0,05 — одинаково при обоих видах старта | 6 | 34,04; 34,14; 34,04; 34,14; 34,04; 34,14 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,3 | 1 | 39,3 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 6,18
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 18,12
- Пул CUDA graphs, ГиБ
- 0,08
Из отчёта серии
- «Вопросов по документу» одновременно: 38 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 33 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 308 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 91,6 | 0,927 |
| belebele_rus_Cyrl | 900 | acc_norm | 91,6 | 0,927 |
global_mmlu_ru
lm-eval 0.4.13, 3 080 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 76,4 | 0,344 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 60,0 | 4,92 |
| global_mmlu_full_ru_anatomy | 135 | acc | 76,3 | 3,67 |
| global_mmlu_full_ru_astronomy | 152 | acc | 92,8 | 2,11 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 68,0 | 4,69 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 84,2 | 2,25 |
| global_mmlu_full_ru_college_biology | 144 | acc | 93,1 | 2,13 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 61,0 | 4,90 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 71,0 | 4,56 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 58,0 | 4,96 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 78,6 | 3,13 |
| global_mmlu_full_ru_college_physics | 102 | acc | 65,7 | 4,72 |
| global_mmlu_full_ru_computer_security | 100 | acc | 81,0 | 3,94 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 86,8 | 2,21 |
| global_mmlu_full_ru_econometrics | 114 | acc | 71,1 | 4,27 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 74,5 | 3,63 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 74,6 | 2,24 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 63,5 | 4,31 |
| global_mmlu_full_ru_global_facts | 100 | acc | 55,0 | 5,00 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,2 | 1,43 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 78,8 | 2,87 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 90,0 | 3,02 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 86,1 | 2,70 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 84,3 | 2,59 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 89,6 | 2,20 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 82,8 | 1,91 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 53,3 | 3,04 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 92,0 | 1,76 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 73,5 | 3,60 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 91,2 | 1,22 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 77,3 | 2,86 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 90,7 | 2,04 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 92,0 | 1,77 |
| global_mmlu_full_ru_human_aging | 223 | acc | 75,8 | 2,88 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 84,0 | 3,22 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 70,6 | 0,641 |
| global_mmlu_full_ru_international_law | 121 | acc | 82,6 | 3,46 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 85,2 | 3,43 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 81,6 | 3,04 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 67,0 | 4,46 |
| global_mmlu_full_ru_management | 103 | acc | 81,6 | 3,84 |
| global_mmlu_full_ru_marketing | 234 | acc | 87,6 | 2,16 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 87,0 | 3,38 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 83,0 | 1,34 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 76,0 | 2,30 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 59,8 | 1,64 |
| global_mmlu_full_ru_nutrition | 306 | acc | 85,3 | 2,03 |
| global_mmlu_full_ru_other | 3 107 | acc | 78,6 | 0,709 |
| global_mmlu_full_ru_philosophy | 311 | acc | 78,8 | 2,32 |
| global_mmlu_full_ru_prehistory | 324 | acc | 80,9 | 2,19 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 61,0 | 2,91 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 59,8 | 1,25 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 91,2 | 1,72 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 77,5 | 1,69 |
| global_mmlu_full_ru_public_relations | 110 | acc | 67,3 | 4,49 |
| global_mmlu_full_ru_security_studies | 245 | acc | 73,5 | 2,83 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 83,4 | 0,659 |
| global_mmlu_full_ru_sociology | 201 | acc | 90,0 | 2,12 |
| global_mmlu_full_ru_stem | 3 153 | acc | 76,3 | 0,727 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 87,0 | 3,38 |
| global_mmlu_full_ru_virology | 166 | acc | 51,2 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 86,5 | 2,62 |
mgsm_ru
lm-eval 0.4.13, 175 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 80,0 | 2,53 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 981 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 70,4 | 2,95 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 79,5 | 1,24 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 79,2 | 8,29 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 75,0 | 10,8 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 88,0 | 2,02 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 96,0 | 1,39 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 71,0 | 3,21 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 84,5 | 2,56 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 96,8 | 0,887 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 GPTQ g128
Против Qwen3.8-27BBF16.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,6 | −0,8 | [−1,8; +0,1] | 0,143 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,4 | −1,0 | [−1,3; −0,6] | 2,06·10⁻⁷ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 91,2 | −1,6 | [−3,6; 0,0] | 0,219 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 80,0 | +0,4 | [−2,0; +2,8] | 1,00 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 83,1 | −1,4 | [−2,4; −0,5] | 0,00546 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,8 | −0,3 | [−1,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 96,0 | −0,5 | [−3,0; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 71,0 | −11 | [−17; −6] | 4,72·10⁻⁴ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 70,4 | −2 | [−6; +3] | 0,585 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 84,5 | +1 | [−3; +5] | 0,791 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 88,0 | +0,4 | [−1,9; +2,7] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 79,5 | −1,3 | [−2,8; +0,1] | 0,0925 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 79,2 | +4 | [0; +13] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 75,0 | +6 | [−13; +25] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0397 нат в среднем, 0,605 нат на 99-м процентиле; первый токен совпал в 94,9 % позиций (68 806 позиций). По фрагментам: 0,041 ± 0,016 [0,038; 0,044], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 GPTQ g128, вариант Qwen3.8-27BINT4 AWQ g32
Против Qwen3.8-27BINT4 AWQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,6 | 91,9 | +0,3 | [−0,6; +1,3] | 0,648 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 76,4 | 77,0 | +0,6 | [+0,2; +1,0] | 0,00588 | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 91,2 | 92,0 | +0,8 | [−1,2; +3,2] | 0,727 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 79,2 | −0,8 | [−3,6; +1,6] | 0,754 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 83,1 | 84,1 | +1,0 | [0,0; +2,0] | 0,0680 | в пределах шума |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 96,8 | 97,0 | +0,3 | [−0,8; +1,5] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,0 | 97,5 | +1,5 | [−0,5; +4,0] | 0,375 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 71,0 | 75,0 | +4 | [−3; +11] | 0,268 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 70,4 | 72,5 | +2 | [−3; +8] | 0,551 | в пределах шума |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 84,5 | 86,5 | +2 | [−2; +6] | 0,388 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 88,0 | 86,8 | −1,2 | [−3,9; +1,6] | 0,581 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 79,5 | 80,3 | +0,9 | [−0,6; +2,4] | 0,314 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 87,5 | +6 | [0; +19] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 75,0 | 68,8 | −6 | [−25; +13] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0561 нат в среднем, 0,870 нат на 99-м процентиле; первый токен совпал в 93,9 % позиций (68 806 позиций). По фрагментам: 0,058 ± 0,026 [0,053; 0,062], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 GPTQ g128, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BINT4 GPTQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,6 | 91,8 | +0,2 | [−0,8; +1,2] | 0,832 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 76,4 | 76,7 | +0,3 | [−0,1; +0,7] | 0,226 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 91,2 | 92,0 | +0,8 | [−1,6; +3,6] | 0,754 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 81,2 | +1,2 | [−1,6; +4,0] | 0,581 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 83,1 | 85,3 | +2,2 | [+1,2; +3,3] | 2,05·10⁻⁵ | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 96,8 | 96,5 | −0,3 | [−1,8; +1,3] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,0 | 96,0 | 0,0 | [−2,0; +2,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 71,0 | 84,0 | +13 | [+7; +20] | 1,06·10⁻⁴ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 70,4 | 81,3 | +11 | [+6; +15] | 6,16·10⁻⁶ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 84,5 | 82,5 | −2 | [−6; +2] | 0,424 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 88,0 | 88,4 | +0,4 | [−1,9; +2,7] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 79,5 | 80,6 | +1,1 | [−0,3; +2,7] | 0,169 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 75,0 | 68,8 | −6 | [−19; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0524 нат в среднем, 0,817 нат на 99-м процентиле; первый токен совпал в 94,2 % позиций (68 806 позиций). По фрагментам: 0,054 ± 0,024 [0,049; 0,058], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- свой квант: llm-compressor 0.15.0, пресет W4A16 (GPTQ, группа 128, симметричный), калибровка ru-Wikipedia + UltraChat; рецепт и калибровка открыты, описаны в отчёте серии S1