Qwen3.8-27B INT4 (свой GPTQ, группа 32, асимметрично) на одной A100 SXM4 40GB: скорость, память, качество
Qwen3.8-27BINT4 GPTQ g32
- асимметричный
- свой
- 1× A100 40GB
- vLLM 0.32.0
Условия
Что измеряли: скорость, память, качество.
- Модель
- Qwen/Qwen3.8-27B, ревизия
37561816e66b5b91 53b1b64c 10968c18 c1e6f4a0 - Архитектура
- Qwen3_5ForConditionalGeneration: full_attention 16, linear_attention 48, total 64
- Что загружено
- только языковая часть (--language-model-only): визуальный энкодер не загружается; MTP-голова не используется (спекулятивное декодирование выключено)
- Квантование
-
compressed-tensors, int4 group 32, асимметричное, наблюдатель mse; ядро MarlinLinearKernel; квантованы только веса
Не квантованы (18)
linear_attn.in_proj_a, linear_attn.in_proj_b, lm_head, mtp.fc, mtp.layers.N.input_layernorm, mtp.layers.N.mlp.down_proj, mtp.layers.N.mlp.gate_proj, mtp.layers.N.mlp.up_proj, mtp.layers.N.post_attention_layernorm, mtp.layers.N.self_attn.k_norm, mtp.layers.N.self_attn.k_proj, mtp.layers.N.self_attn.o_proj, mtp.layers.N.self_attn.q_norm, mtp.layers.N.self_attn.q_proj, mtp.layers.N.self_attn.v_proj, mtp.norm, mtp.pre_fc_norm_embedding, mtp.pre_fc_norm_hidden
- KV-кэш
- bfloat16
- Движок
- vLLM 0.32.0, образ vllm/vllm-openai:v0.32.0 (
sha256:b)efccf0e7 e4089aa2 3926bb6f 887a85c0 d46c2a99 e6de5c5f fdf5cb79 57c5b34 - Версии программ
- PyTorch 2.13.0+cu130, CUDA runtime 13.0.2, Transformers 5.19.0, драйвер 580.178.04, CUDA драйвера 13.0
- Карты
- 1 × NVIDIA A100-SXM4-40GB, 40 960 МиБ по nvidia-smi, 39,49 ГиБ по CUDA
- Запуск
- TP 1, контекст до 40 960 токенов, до 32 запросов одновременно, префилл блоками до 16 384 токенов, gpu_memory_utilization 0,92, dtype bfloat16, KV-кэш auto, кэш префиксов: нет, CUDA graphs: да, спекулятивное декодирование: нет, seed 42
- Режим thinking
- выключен: шаблон чата с enable_thinking=false (качество); скорость — /v1/completions без шаблона чата
- Нагрузка
- vllm bench serve 0.32.0, /v1/completions; random: синтетические токены, уникальный сдвиг на запрос, без общего префикса; ignore_eos: да, temperature 0; закрытый цикл: не больше c запросов в полёте (--max-concurrency c, --request-rate inf); точки -r<R> — открытая нагрузка: пуассоновский поток R запросов/с (--request-rate R --burstiness 1), без ограничения одновременных; R = 0.15, 0.3, 0.45; клиент: тот же сервер, сеть хоста
- План
- 3 повтора каждой точки, прогрев 1; блоки повторов, внутри блока точки в случайном порядке (seed 20261109); пар стартов 3; опрос датчиков каждые 0,5 с
- Протокол
- 1.0, стенд 1.0.0 (
8cd136b3); план s1-qwen3.8-27b-w4a16-g32-asym-gptq-own (186139f5 7fcaca3b 861c0e66 a39b601d 0dac74ad 16a34f72 32953547 0a7baf93)09cea5e5 7b35ec0c 01e74342 2bb7953c 26047eed 1d70b966 1bed1d79
Команда запуска
Аргументы сервера внутри контейнера; адрес и порт сервера опущены.
/model --served-model-name bench/Qwen3.8-27B-W4A16-G32-ASYM-GPTQ --tensor-parallel-size 1 --max-model-len 40960 --max-num-seqs 32 --max-num-batched-tokens 16384 --gpu-memory-utilization 0.92 --dtype bfloat16 --load-format safetensors --no-trust-remote-code --language-model-only --generation-config vllm --seed 42 --no-enable-prefix-caching --default-chat-template-kwargs '{"enable_thinking": false}' --max-logprobs 20Проверки
- Упор в предел мощности
- 76,2 % отсчётов
- Аппаратное замедление
- 0 % отсчётов
- Тепловое ограничение (программное)
- 0 % отсчётов
- Тепловое ограничение (аппаратное)
- 0 % отсчётов
- Аварийное снижение мощности
- 0 % отсчётов
- Температура карты, максимум
- 81,0 °C
- Мощность, максимум
- 374 Вт при пределе 400 Вт
- Неудачные старты
- нет
- Итог сессии
- замер завершён
- Исключённые прогоны
- нет
| Точка | Прогонов зачтено / исключено | Длина ответов точная | Отклонение входа, макс. % | Счётчик сервера совпал | Попаданий в кэш префиксов | Вытеснений |
|---|---|---|---|---|---|---|
| single-in1024-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in8192-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| single-in32768-out512-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c1 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c2 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c4 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c8 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c12 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c16 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c24 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa-in4096-out300-c32 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.15 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.3 | 3 / 0 | да | 0 | да | 0 | 0 |
| doc_qa_open-in4096-out300-r0.45 | 3 / 0 | да | 0 | да | 0 | 0 |
Старты
Холодный старт
веса вытеснены из страничного кэша ОС, кэш компиляции vLLM пуст, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 205,3 ± 1,1 | [202,6; 208,1] | 3 | 206,5; 204,3; 205,3 |
| До первого токена, с | 205,5 ± 1,1 | [202,7; 208,3] | 3 | 206,6; 204,4; 205,4 |
| Загрузка весов, с | 9,15 ± 0,23 | [8,58; 9,72] | 3 | 9,24; 8,89; 9,32 |
| Загрузка модели, с | 19,64 ± 0,25 | [19,01; 20,27] | 3 | 19,47; 19,53; 19,93 |
| torch.compile, с | 45,80 ± 0,26 | [45,16; 46,44] | 3 | 46,01; 45,51; 45,88 |
| Профилирование памяти, с | 82,8 ± 0,4 | [81,8; 83,8] | 3 | 82,4; 83,1; 82,9 |
| Захват CUDA graphs, с | 8,3 ± 0,6 | [6,9; 9,8] | 3 | 8,0; 8,0; 9,0 |
| Инициализация движка, с | 145,87 ± 0,27 | [145,21; 146,53] | 3 | 146,13; 145,88; 145,60 |
| Весов в кэше ОС перед стартом, % | 0 | [0; 0] | 3 | 0; 0; 0 |
Тёплый старт
сразу после холодного: тот же кэш компиляции, веса в страничном кэше, контейнер новый
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| До ответа /health, с | 61,90 ± 0,11 | [61,62; 62,18] | 3 | 61,97; 61,77; 61,95 |
| До первого токена, с | 62,03 ± 0,11 | [61,77; 62,30] | 3 | 62,11; 61,91; 62,07 |
| Загрузка весов, с | 4,71 ± 0,11 | [4,43; 4,99] | 3 | 4,81; 4,59; 4,73 |
| Загрузка модели, с | 15,2 ± 0,5 | [14,0; 16,3] | 3 | 15,2; 14,7; 15,6 |
| torch.compile, с | 1,53 ± 0,04 | [1,43; 1,63] | 3 | 1,48; 1,55; 1,55 |
| Профилирование памяти, с | 6,37 ± 0,08 | [6,18; 6,55] | 3 | 6,29; 6,37; 6,44 |
| Захват CUDA graphs, с | 6,00 | [6,00; 6,00] | 3 | 6,00; 6,00; 6,00 |
| Инициализация движка, с | 17,79 ± 0,10 | [17,55; 18,03] | 3 | 17,90; 17,71; 17,76 |
| Весов в кэше ОС перед стартом, % | 93,7 | [93,7; 93,7] | 3 | 93,7; 93,7; 93,7 |
Точки нагрузки
один поток: вход 1 024, выход 512, c = 1
single-in1024-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 58,02 ± 0,10 | [57,78; 58,27] | 3 | 57,93; 58,13; 58,02 |
| Вход и выход, всего, ток/с | 174,1 ± 0,3 | [173,3; 174,8] | 3 | 173,8; 174,4; 174,1 |
| Запросов в секунду, запр/с | 0,11333 ± 0,00020 | [0,11284; 0,11382] | 3 | 0,11314; 0,11353; 0,11332 |
| Первый токен, медиана, мс | 389 ± 4 | [380; 398] | 3 | 388; 385; 393 |
| Первый токен, 95-й процентиль, мс | 393 ± 6 | [378; 408] | 3 | 389; 390; 400 |
| Полная задержка, медиана, мс | 8 824 ± 20 | [8 773; 8 875] | 3 | 8 844; 8 803; 8 824 |
| Полная задержка, 95-й процентиль, мс | 8 841 ± 9 | [8 819; 8 863] | 3 | 8 851; 8 838; 8 834 |
| Время на токен, медиана, мс | 16,51 ± 0,03 | [16,44; 16,59] | 3 | 16,55; 16,49; 16,51 |
| Пауза между токенами, 99-й процентиль, мс | 21,67 ± 0,04 | [21,56; 21,78] | 3 | 21,69; 21,70; 21,62 |
| Скорость на пользователя, медиана, ток/с | 60,55 ± 0,12 | [60,27; 60,84] | 3 | 60,43; 60,66; 60,58 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 1,59236 ± 0,00000 | [1,59236; 1,59236] | 3 | 1,59236; 1,59236; 1,59236 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 388 |
| Первый токен, 95-й процентиль, мс | 398 |
| Полная задержка, медиана, мс | 8 820 |
| Полная задержка, 95-й процентиль, мс | 8 850 |
| Скорость на пользователя, медиана, ток/с | 60,6 |
один поток: вход 8 192, выход 512, c = 1
single-in8192-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 44,20 ± 0,22 | [43,64; 44,75] | 3 | 44,04; 44,45; 44,10 |
| Вход и выход, всего, ток/с | 751 ± 4 | [742; 761] | 3 | 749; 756; 750 |
| Запросов в секунду, запр/с | 0,0863 ± 0,0004 | [0,0852; 0,0874] | 3 | 0,0860; 0,0868; 0,0861 |
| Первый токен, медиана, мс | 2 948 ± 22 | [2 894; 3 001] | 3 | 2 959; 2 923; 2 961 |
| Первый токен, 95-й процентиль, мс | 2 970 ± 30 | [2 890; 3 050] | 3 | 2 990; 2 930; 2 990 |
| Полная задержка, медиана, мс | 11 590 ± 60 | [11 450; 11 730] | 3 | 11 630; 11 530; 11 610 |
| Полная задержка, 95-й процентиль, мс | 11 620 ± 60 | [11 460; 11 770] | 3 | 11 650; 11 550; 11 650 |
| Время на токен, медиана, мс | 16,91 ± 0,06 | [16,76; 17,05] | 3 | 16,95; 16,84; 16,93 |
| Пауза между токенами, 99-й процентиль, мс | 22,09 ± 0,08 | [21,90; 22,29] | 3 | 22,14; 22,00; 22,13 |
| Скорость на пользователя, медиана, ток/с | 59,15 ± 0,21 | [58,63; 59,67] | 3 | 58,99; 59,38; 59,08 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 4,78 | [4,78; 4,78] | 3 | 4,78; 4,78; 4,78 |
| Пик памяти карты, ГиБ | 38,0804 ± 0,0011 | [38,0776; 38,0832] | 3 | 38,0791; 38,0811; 38,0811 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 950 |
| Первый токен, 95-й процентиль, мс | 2 990 |
| Полная задержка, медиана, мс | 11 600 |
| Полная задержка, 95-й процентиль, мс | 11 700 |
| Скорость на пользователя, медиана, ток/с | 59,2 |
один поток: вход 32 768, выход 512, c = 1
single-in32768-out512-c1; запросов в прогоне: 4, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 23,04 ± 0,08 | [22,84; 23,24] | 3 | 23,00; 23,13; 22,99 |
| Вход и выход, всего, ток/с | 1 498 ± 5 | [1 485; 1 511] | 3 | 1 495; 1 504; 1 495 |
| Запросов в секунду, запр/с | 0,04500 ± 0,00016 | [0,04461; 0,04539] | 3 | 0,04491; 0,04518; 0,04491 |
| Первый токен, медиана, мс | 12 910 ± 70 | [12 720; 13 100] | 3 | 12 950; 12 820; 12 960 |
| Первый токен, 95-й процентиль, мс | 13 032 ± 24 | [12 973; 13 091] | 3 | 13 045; 13 005; 13 047 |
| Полная задержка, медиана, мс | 22 190 ± 90 | [21 980; 22 410] | 3 | 22 250; 22 090; 22 240 |
| Полная задержка, 95-й процентиль, мс | 22 346 ± 14 | [22 310; 22 381] | 3 | 22 361; 22 332; 22 344 |
| Время на токен, медиана, мс | 18,18 ± 0,04 | [18,08; 18,28] | 3 | 18,22; 18,14; 18,18 |
| Пауза между токенами, 99-й процентиль, мс | 23,40 ± 0,10 | [23,14; 23,65] | 3 | 23,45; 23,28; 23,46 |
| Скорость на пользователя, медиана, ток/с | 55,01 ± 0,12 | [54,70; 55,32] | 3 | 54,89; 55,13; 55,01 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 14,6497 ± 0,0000 | [14,6497; 14,6497] | 3 | 14,6497; 14,6497; 14,6497 |
| Пик памяти карты, ГиБ | 38,0804 ± 0,0011 | [38,0776; 38,0832] | 3 | 38,0791; 38,0811; 38,0811 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 12 900 |
| Первый токен, 95-й процентиль, мс | 13 100 |
| Полная задержка, медиана, мс | 22 200 |
| Полная задержка, 95-й процентиль, мс | 22 400 |
| Скорость на пользователя, медиана, ток/с | 55,0 |
вопрос по документу: вход 4 096, выход 300, c = 1
doc_qa-in4096-out300-c1; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 46,37 ± 0,12 | [46,07; 46,66] | 3 | 46,33; 46,50; 46,27 |
| Вход и выход, всего, ток/с | 679,4 ± 1,7 | [675,1; 683,7] | 3 | 678,8; 681,4; 678,0 |
| Запросов в секунду, запр/с | 0,1546 ± 0,0004 | [0,1536; 0,1555] | 3 | 0,1544; 0,1550; 0,1542 |
| Первый токен, медиана, мс | 1 471 ± 3 | [1 464; 1 479] | 3 | 1 475; 1 470; 1 470 |
| Первый токен, 95-й процентиль, мс | 1 492 ± 8 | [1 472; 1 511] | 3 | 1 499; 1 483; 1 493 |
| Полная задержка, медиана, мс | 6 468 ± 16 | [6 428; 6 507] | 3 | 6 473; 6 449; 6 480 |
| Полная задержка, 95-й процентиль, мс | 6 500 ± 30 | [6 420; 6 580] | 3 | 6 510; 6 460; 6 530 |
| Время на токен, медиана, мс | 16,71 ± 0,05 | [16,59; 16,84] | 3 | 16,73; 16,66; 16,76 |
| Пауза между токенами, 99-й процентиль, мс | 21,89 ± 0,08 | [21,69; 22,09] | 3 | 21,88; 21,82; 21,98 |
| Скорость на пользователя, медиана, ток/с | 59,83 ± 0,18 | [59,38; 60,29] | 3 | 59,79; 60,04; 59,68 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 2,87 | [2,87; 2,87] | 3 | 2,87; 2,87; 2,87 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 470 |
| Первый токен, 95-й процентиль, мс | 1 490 |
| Полная задержка, медиана, мс | 6 460 |
| Полная задержка, 95-й процентиль, мс | 6 520 |
| Скорость на пользователя, медиана, ток/с | 59,9 |
вопрос по документу: вход 4 096, выход 300, c = 2
doc_qa-in4096-out300-c2; запросов в прогоне: 8, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 74,52 ± 0,05 | [74,38; 74,65] | 3 | 74,46; 74,57; 74,51 |
| Вход и выход, всего, ток/с | 1 091,9 ± 0,8 | [1 089,9; 1 093,9] | 3 | 1 091,2; 1 092,7; 1 091,8 |
| Запросов в секунду, запр/с | 0,24839 ± 0,00018 | [0,24794; 0,24884] | 3 | 0,24822; 0,24858; 0,24837 |
| Первый токен, медиана, мс | 2 608 ± 3 | [2 600; 2 615] | 3 | 2 611; 2 604; 2 607 |
| Первый токен, 95-й процентиль, мс | 2 880 ± 9 | [2 858; 2 902] | 3 | 2 888; 2 881; 2 870 |
| Полная задержка, медиана, мс | 8 049 ± 5 | [8 036; 8 061] | 3 | 8 052; 8 043; 8 052 |
| Полная задержка, 95-й процентиль, мс | 8 071 ± 21 | [8 019; 8 123] | 3 | 8 095; 8 056; 8 062 |
| Время на токен, медиана, мс | 18,192 ± 0,015 | [18,154; 18,231] | 3 | 18,209; 18,178; 18,190 |
| Пауза между токенами, 99-й процентиль, мс | 22,55 ± 0,03 | [22,47; 22,64] | 3 | 22,57; 22,57; 22,51 |
| Скорость на пользователя, медиана, ток/с | 55,08 ± 0,05 | [54,95; 55,22] | 3 | 55,03; 55,13; 55,09 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 5,73 | [5,73; 5,73] | 3 | 5,73; 5,73; 5,73 |
| Пик памяти карты, ГиБ | 38,0804 ± 0,0011 | [38,0776; 38,0832] | 3 | 38,0791; 38,0811; 38,0811 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 610 |
| Первый токен, 95-й процентиль, мс | 2 890 |
| Полная задержка, медиана, мс | 8 050 |
| Полная задержка, 95-й процентиль, мс | 8 090 |
| Скорость на пользователя, медиана, ток/с | 55,0 |
вопрос по документу: вход 4 096, выход 300, c = 4
doc_qa-in4096-out300-c4; запросов в прогоне: 16, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 107,6 ± 0,4 | [106,6; 108,6] | 3 | 107,2; 107,9; 107,8 |
| Вход и выход, всего, ток/с | 1 577 ± 6 | [1 562; 1 592] | 3 | 1 570; 1 582; 1 579 |
| Запросов в секунду, запр/с | 0,3588 ± 0,0013 | [0,3554; 0,3621] | 3 | 0,3572; 0,3598; 0,3593 |
| Первый токен, медиана, мс | 5 658 ± 14 | [5 622; 5 694] | 3 | 5 672; 5 643; 5 659 |
| Первый токен, 95-й процентиль, мс | 5 690 ± 40 | [5 590; 5 790] | 3 | 5 740; 5 660; 5 670 |
| Полная задержка, медиана, мс | 11 150 ± 40 | [11 040; 11 250] | 3 | 11 200; 11 120; 11 130 |
| Полная задержка, 95-й процентиль, мс | 11 170 ± 70 | [11 010; 11 340] | 3 | 11 250; 11 130; 11 140 |
| Время на токен, медиана, мс | 18,34 ± 0,06 | [18,19; 18,49] | 3 | 18,41; 18,30; 18,30 |
| Пауза между токенами, 99-й процентиль, мс | 23,55 ± 0,03 | [23,47; 23,63] | 3 | 23,58; 23,55; 23,52 |
| Скорость на пользователя, медиана, ток/с | 54,53 ± 0,18 | [54,08; 54,98] | 3 | 54,32; 54,64; 54,63 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 11,5 | [11,5; 11,5] | 3 | 11,5; 11,5; 11,5 |
| Пик памяти карты, ГиБ | 38,0804 ± 0,0011 | [38,0776; 38,0832] | 3 | 38,0791; 38,0811; 38,0811 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 5 660 |
| Первый токен, 95-й процентиль, мс | 5 730 |
| Полная задержка, медиана, мс | 11 100 |
| Полная задержка, 95-й процентиль, мс | 11 200 |
| Скорость на пользователя, медиана, ток/с | 54,6 |
вопрос по документу: вход 4 096, выход 300, c = 8
doc_qa-in4096-out300-c8; запросов в прогоне: 32, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 138,08 ± 0,18 | [137,64; 138,51] | 3 | 137,91; 138,05; 138,26 |
| Вход и выход, всего, ток/с | 2 023,3 ± 2,6 | [2 016,9; 2 029,7] | 3 | 2 020,9; 2 023,0; 2 026,0 |
| Запросов в секунду, запр/с | 0,4603 ± 0,0006 | [0,4588; 0,4617] | 3 | 0,4597; 0,4602; 0,4609 |
| Первый токен, медиана, мс | 10 902 ± 19 | [10 853; 10 950] | 3 | 10 922; 10 898; 10 884 |
| Первый токен, 95-й процентиль, мс | 11 390 ± 29 | [11 319; 11 461] | 3 | 11 421; 11 382; 11 366 |
| Полная задержка, медиана, мс | 17 370 ± 30 | [17 300; 17 450] | 3 | 17 400; 17 380; 17 340 |
| Полная задержка, 95-й процентиль, мс | 17 420 ± 40 | [17 330; 17 520] | 3 | 17 460; 17 420; 17 390 |
| Время на токен, медиана, мс | 21,656 ± 0,015 | [21,620; 21,693] | 3 | 21,662; 21,667; 21,640 |
| Пауза между токенами, 99-й процентиль, мс | 25,55 ± 0,19 | [25,09; 26,01] | 3 | 25,41; 25,47; 25,76 |
| Скорость на пользователя, медиана, ток/с | 46,39 ± 0,04 | [46,30; 46,48] | 3 | 46,37; 46,37; 46,43 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 22,9 | [22,9; 22,9] | 3 | 22,9; 22,9; 22,9 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 10 900 |
| Первый токен, 95-й процентиль, мс | 11 400 |
| Полная задержка, медиана, мс | 17 400 |
| Полная задержка, 95-й процентиль, мс | 17 500 |
| Скорость на пользователя, медиана, ток/с | 46,4 |
вопрос по документу: вход 4 096, выход 300, c = 12
doc_qa-in4096-out300-c12; запросов в прогоне: 48, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 151,2 ± 0,6 | [149,7; 152,8] | 3 | 150,7; 151,1; 151,9 |
| Вход и выход, всего, ток/с | 2 216 ± 9 | [2 193; 2 239] | 3 | 2 208; 2 214; 2 226 |
| Запросов в секунду, запр/с | 0,5041 ± 0,0021 | [0,4989; 0,5093] | 3 | 0,5022; 0,5037; 0,5064 |
| Первый токен, медиана, мс | 16 060 ± 70 | [15 880; 16 250] | 3 | 16 130; 16 080; 15 980 |
| Первый токен, 95-й процентиль, мс | 17 050 ± 110 | [16 790; 17 320] | 3 | 17 100; 17 130; 16 930 |
| Полная задержка, медиана, мс | 23 820 ± 80 | [23 630; 24 010] | 3 | 23 880; 23 840; 23 730 |
| Полная задержка, 95-й процентиль, мс | 24 300 ± 300 | [23 500; 25 100] | 3 | 24 600; 24 000; 24 400 |
| Время на токен, медиана, мс | 25,88 ± 0,06 | [25,74; 26,02] | 3 | 25,92; 25,90; 25,81 |
| Пауза между токенами, 99-й процентиль, мс | 28,28 ± 0,14 | [27,94; 28,63] | 3 | 28,25; 28,43; 28,16 |
| Скорость на пользователя, медиана, ток/с | 38,64 ± 0,08 | [38,44; 38,85] | 3 | 38,59; 38,61; 38,74 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 34,4 | [34,4; 34,4] | 3 | 34,4; 34,4; 34,4 |
| Пик памяти карты, ГиБ | 38,0804 ± 0,0011 | [38,0776; 38,0832] | 3 | 38,0791; 38,0811; 38,0811 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 16 100 |
| Первый токен, 95-й процентиль, мс | 17 100 |
| Полная задержка, медиана, мс | 23 800 |
| Полная задержка, 95-й процентиль, мс | 24 300 |
| Скорость на пользователя, медиана, ток/с | 38,7 |
вопрос по документу: вход 4 096, выход 300, c = 16
doc_qa-in4096-out300-c16; запросов в прогоне: 64, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 161,2 ± 0,3 | [160,3; 162,0] | 3 | 161,4; 160,8; 161,4 |
| Вход и выход, всего, ток/с | 2 362 ± 5 | [2 350; 2 374] | 3 | 2 365; 2 356; 2 364 |
| Запросов в секунду, запр/с | 0,5373 ± 0,0011 | [0,5345; 0,5401] | 3 | 0,5381; 0,5360; 0,5378 |
| Первый токен, медиана, мс | 18 000 ± 1 200 | [15 000; 21 000] | 3 | 17 300; 17 400; 19 400 |
| Первый токен, 95-й процентиль, мс | 22 510 ± 170 | [22 100; 22 930] | 3 | 22 350; 22 680; 22 510 |
| Полная задержка, медиана, мс | 29 780 ± 70 | [29 610; 29 940] | 3 | 29 720; 29 850; 29 770 |
| Полная задержка, 95-й процентиль, мс | 33 600 ± 2 800 | [26 500; 40 600] | 3 | 34 300; 35 900; 30 400 |
| Время на токен, медиана, мс | 39 ± 4 | [29; 50] | 3 | 42; 42; 34 |
| Пауза между токенами, 99-й процентиль, мс | 30,12 ± 0,29 | [29,40; 30,84] | 3 | 30,07; 30,43; 29,85 |
| Скорость на пользователя, медиана, ток/с | 26 ± 4 | [17; 35] | 3 | 24; 24; 30 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 45,9 | [45,9; 45,9] | 3 | 45,9; 45,9; 45,9 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 17 300 |
| Первый токен, 95-й процентиль, мс | 22 500 |
| Полная задержка, медиана, мс | 29 800 |
| Полная задержка, 95-й процентиль, мс | 35 000 |
| Скорость на пользователя, медиана, ток/с | 24,0 |
вопрос по документу: вход 4 096, выход 300, c = 24
doc_qa-in4096-out300-c24; запросов в прогоне: 96, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 168,56 ± 0,12 | [168,25; 168,86] | 3 | 168,47; 168,50; 168,70 |
| Вход и выход, всего, ток/с | 2 469,9 ± 1,8 | [2 465,5; 2 474,3] | 3 | 2 468,7; 2 469,1; 2 472,0 |
| Запросов в секунду, запр/с | 0,5619 ± 0,0004 | [0,5608; 0,5629] | 3 | 0,5616; 0,5617; 0,5623 |
| Первый токен, медиана, мс | 21 790 ± 90 | [21 560; 22 010] | 3 | 21 790; 21 880; 21 700 |
| Первый токен, 95-й процентиль, мс | 32 930 ± 120 | [32 640; 33 220] | 3 | 33 070; 32 860; 32 860 |
| Полная задержка, медиана, мс | 42 690 ± 30 | [42 610; 42 770] | 3 | 42 700; 42 710; 42 650 |
| Полная задержка, 95-й процентиль, мс | 52 000 ± 3 000 | [44 000; 61 000] | 3 | 54 000; 54 000; 49 000 |
| Время на токен, медиана, мс | 70,09 ± 0,04 | [70,00; 70,18] | 3 | 70,13; 70,05; 70,09 |
| Пауза между токенами, 99-й процентиль, мс | 919 ± 10 | [895; 944] | 3 | 930; 910; 919 |
| Скорость на пользователя, медиана, ток/с | 14,270 ± 0,008 | [14,250; 14,291] | 3 | 14,263; 14,279; 14,269 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 68,8 | [68,8; 68,8] | 3 | 68,8; 68,8; 68,8 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 21 800 |
| Первый токен, 95-й процентиль, мс | 33 100 |
| Полная задержка, медиана, мс | 42 700 |
| Полная задержка, 95-й процентиль, мс | 54 300 |
| Скорость на пользователя, медиана, ток/с | 14,3 |
вопрос по документу: вход 4 096, выход 300, c = 32
doc_qa-in4096-out300-c32; запросов в прогоне: 128, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 174,28 ± 0,19 | [173,81; 174,74] | 3 | 174,49; 174,13; 174,22 |
| Вход и выход, всего, ток/с | 2 553,7 ± 2,7 | [2 546,9; 2 560,5] | 3 | 2 556,8; 2 551,5; 2 552,9 |
| Запросов в секунду, запр/с | 0,5809 ± 0,0006 | [0,5794; 0,5825] | 3 | 0,5816; 0,5804; 0,5807 |
| Первый токен, медиана, мс | 21 200 ± 1 600 | [17 300; 25 200] | 3 | 22 100; 19 400; 22 200 |
| Первый токен, 95-й процентиль, мс | 44 290 ± 230 | [43 730; 44 860] | 3 | 44 480; 44 370; 44 040 |
| Полная задержка, медиана, мс | 55 070 ± 110 | [54 800; 55 340] | 3 | 54 950; 55 100; 55 160 |
| Полная задержка, 95-й процентиль, мс | 77 990 ± 150 | [77 610; 78 360] | 3 | 78 080; 78 070; 77 810 |
| Время на токен, медиана, мс | 113 ± 5 | [100; 126] | 3 | 110; 119; 110 |
| Пауза между токенами, 99-й процентиль, мс | 5 300 ± 280 | [4 620; 5 990] | 3 | 5 130; 5 620; 5 160 |
| Скорость на пользователя, медиана, ток/с | 8,9 ± 0,4 | [7,9; 9,8] | 3 | 9,1; 8,4; 9,1 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 91,7 | [91,7; 91,7] | 3 | 91,7; 91,7; 91,7 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 22 100 |
| Первый токен, 95-й процентиль, мс | 44 300 |
| Полная задержка, медиана, мс | 55 000 |
| Полная задержка, 95-й процентиль, мс | 78 000 |
| Скорость на пользователя, медиана, ток/с | 8,90 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,15 запр/с
doc_qa_open-in4096-out300-r0.15; запросов в прогоне: 30, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 43,566 ± 0,016 | [43,526; 43,605] | 3 | 43,569; 43,580; 43,548 |
| Вход и выход, всего, ток/с | 638,38 ± 0,23 | [637,80; 638,97] | 3 | 638,43; 638,59; 638,13 |
| Запросов в секунду, запр/с | 0,14522 ± 0,00005 | [0,14509; 0,14535] | 3 | 0,14523; 0,14527; 0,14516 |
| Первый токен, медиана, мс | 1 490 ± 7 | [1 471; 1 508] | 3 | 1 482; 1 490; 1 497 |
| Первый токен, 95-й процентиль, мс | 2 810 ± 200 | [2 320; 3 290] | 3 | 2 930; 2 920; 2 580 |
| Полная задержка, медиана, мс | 8 330 ± 290 | [7 620; 9 050] | 3 | 8 630; 8 300; 8 060 |
| Полная задержка, 95-й процентиль, мс | 12 000 ± 1 200 | [9 000; 15 000] | 3 | 13 200; 12 000; 10 800 |
| Время на токен, медиана, мс | 22,4 ± 0,5 | [21,0; 23,7] | 3 | 22,8; 22,5; 21,8 |
| Пауза между токенами, 99-й процентиль, мс | 24,4 ± 1,3 | [21,2; 27,6] | 3 | 25,7; 24,3; 23,2 |
| Скорость на пользователя, медиана, ток/с | 44,7 ± 1,1 | [42,1; 47,4] | 3 | 43,8; 44,5; 45,9 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 14,3 ± 2,9 | [7,2; 21,5] | 3 | 17,2; 14,3; 11,5 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 1 490 |
| Первый токен, 95-й процентиль, мс | 2 930 |
| Полная задержка, медиана, мс | 8 210 |
| Полная задержка, 95-й процентиль, мс | 12 500 |
| Скорость на пользователя, медиана, ток/с | 45,2 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,3 запр/с
doc_qa_open-in4096-out300-r0.3; запросов в прогоне: 60, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 87,12 ± 0,04 | [87,01; 87,23] | 3 | 87,17; 87,08; 87,12 |
| Вход и выход, всего, ток/с | 1 276,6 ± 0,6 | [1 275,0; 1 278,2] | 3 | 1 277,3; 1 276,0; 1 276,6 |
| Запросов в секунду, запр/с | 0,29041 ± 0,00015 | [0,29004; 0,29077] | 3 | 0,29055; 0,29026; 0,29040 |
| Первый токен, медиана, мс | 2 190 ± 300 | [1 440; 2 930] | 3 | 1 850; 2 310; 2 400 |
| Первый токен, 95-й процентиль, мс | 6 900 ± 1 500 | [3 300; 10 500] | 3 | 5 200; 7 900; 7 500 |
| Полная задержка, медиана, мс | 11 300 ± 400 | [10 300; 12 300] | 3 | 11 700; 11 100; 11 000 |
| Полная задержка, 95-й процентиль, мс | 24 600 ± 2 100 | [19 500; 29 700] | 3 | 22 800; 24 300; 26 800 |
| Время на токен, медиана, мс | 27,6 ± 0,6 | [26,2; 29,1] | 3 | 27,4; 28,3; 27,2 |
| Пауза между токенами, 99-й процентиль, мс | 700 ± 150 | [330; 1 060] | 3 | 780; 530; 780 |
| Скорость на пользователя, медиана, ток/с | 36,2 ± 0,7 | [34,4; 38,1] | 3 | 36,5; 35,4; 36,8 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 40 ± 5 | [28; 52] | 3 | 37; 37; 46 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 2 270 |
| Первый токен, 95-й процентиль, мс | 7 500 |
| Полная задержка, медиана, мс | 11 100 |
| Полная задержка, 95-й процентиль, мс | 24 300 |
| Скорость на пользователя, медиана, ток/с | 36,4 |
вопрос по документу, открытая нагрузка: вход 4 096, выход 300, поток 0,45 запр/с
doc_qa_open-in4096-out300-r0.45; запросов в прогоне: 90, прогонов зачтено: 3.
| Величина | Среднее ± sd | 95 % интервал | n | Каждый прогон |
|---|---|---|---|---|
| Выход, всего, ток/с | 129,6 ± 1,9 | [124,7; 134,4] | 3 | 127,3; 130,7; 130,7 |
| Вход и выход, всего, ток/с | 1 899 ± 28 | [1 828; 1 969] | 3 | 1 866; 1 915; 1 915 |
| Запросов в секунду, запр/с | 0,432 ± 0,006 | [0,416; 0,448] | 3 | 0,424; 0,436; 0,436 |
| Первый токен, медиана, мс | 3 300 ± 500 | [2 000; 4 700] | 3 | 3 300; 2 900; 3 900 |
| Первый токен, 95-й процентиль, мс | 9 200 ± 2 300 | [3 400; 15 000] | 3 | 8 000; 7 700; 11 900 |
| Полная задержка, медиана, мс | 23 000 ± 3 000 | [14 000; 31 000] | 3 | 19 000; 22 000; 26 000 |
| Полная задержка, 95-й процентиль, мс | 51 000 ± 5 000 | [38 000; 64 000] | 3 | 45 000; 52 000; 56 000 |
| Время на токен, медиана, мс | 63 ± 9 | [41; 85] | 3 | 53; 66; 70 |
| Пауза между токенами, 99-й процентиль, мс | 1 400 ± 400 | [400; 2 300] | 3 | 1 000; 1 500; 1 700 |
| Скорость на пользователя, медиана, ток/с | 16,1 ± 2,5 | [10,0; 22,3] | 3 | 18,9; 15,2; 14,3 |
| Вытеснения | 0 | [0; 0] | 3 | 0; 0; 0 |
| Пик занятости KV-кэша, % | 89 ± 5 | [77; 101] | 3 | 83; 92; 92 |
| Пик памяти карты, ГиБ | 38,1 | [38,1; 38,1] | 3 | 38,1; 38,1; 38,1 |
| Величина | Значение |
|---|---|
| Первый токен, медиана, мс | 3 340 |
| Первый токен, 95-й процентиль, мс | 9 260 |
| Полная задержка, медиана, мс | 22 000 |
| Полная задержка, 95-й процентиль, мс | 53 200 |
| Скорость на пользователя, медиана, ток/с | 16,4 |
Память
Старты идут парами: холодный, затем тёплый. Поля, которые после первого старта сервера отличаются больше чем на 1 %, показаны раздельно: после перезапуска (тёплый старт) и при первом старте (холодный, с компиляцией модели).
| Величина | После перезапуска (тёплый старт) | При первом старте (холодный) | n | Каждый старт |
|---|---|---|---|---|
| Веса, ГиБ | 18,2 — одинаково при обоих видах старта | 6 | 18,2; 18,2; 18,2; 18,2; 18,2; 18,2 | |
| KV-кэш, ГиБ | 15,1 | 12,8 | 6 | х 12,8; т 15,1; х 12,8; т 15,1; х 12,8; т 15,1 |
| KV-кэш по журналу vLLM, токенов | 230 000 | 195 000 | 6 | х 195 000; т 230 000; х 195 000; т 230 000; х 195 000; т 230 000 |
| Пик активаций, ГиБ | 2,79 | 2,91 | 6 | х 2,91; т 2,79; х 2,91; т 2,79; х 2,91; т 2,79 |
| CUDA graphs, ГиБ | 0,0800 — одинаково при обоих видах старта | 6 | 0,0800; 0,0800; 0,0800; 0,0800; 0,0800; 0,0800 | |
| Веса и память вне PyTorch, ГиБ | 18,4 | 20,6 | 6 | х 20,6; т 18,4; х 20,6; т 18,4; х 20,6; т 18,4 |
| Бюджет gpu_memory_utilization, ГиБ | 36,3 — одинаково при обоих видах старта | 6 | 36,3; 36,3; 36,3; 36,3; 36,3; 36,3 | |
| Объём карты по CUDA, ГиБ | 39,5 — одинаково при обоих видах старта | 6 | 39,5; 39,5; 39,5; 39,5; 39,5; 39,5 | |
| Свободно перед стартом, ГиБ | 39,1 — одинаково при обоих видах старта | 6 | 39,1; 39,1; 39,1; 39,1; 39,1; 39,1 | |
| Занято после старта (nvidia-smi), ГиБ | 34,09 ± 0,06 — одинаково при обоих видах старта | 6 | 34,04; 34,14; 34,04; 34,14; 34,04; 34,14 | |
| Пик под нагрузкой (nvidia-smi), ГиБ | 39,3 | 1 | 39,3 | |
х — холодный старт, т — тёплый.
Из журнала vLLM
- Блок внимания, токенов
- 784
- Режим кэша линейных слоёв
- —
- Выравнивание страниц линейных слоёв, %
- 0,13
- Раскладка KV-кэша
- LBNHC
- Ядро FP8
- —
- FP8 только для весов (Marlin)
- нет
- Токенов на запрос в отчёте vLLM
- 40 960
- Одновременных запросов по отчёту vLLM
- 5,62
- Версия движка
- 0.32.0
- Чекпойнт, ГиБ
- 19,53
- Пул CUDA graphs, ГиБ
- 0,08
Из отчёта серии
- «Вопросов по документу» одновременно: 34 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
- То же после первого старта сервера: 29 — расчёт по замеру памяти; отчёт S1, раздел «Память и ёмкость».
Качество
KL-дивергенция к BF16 считается сравнением двух замеров (run.py compare)
belebele_ru
lm-eval 0.4.13, 323 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| belebele_rus_Cyrl | 900 | acc | 91,8 | 0,916 |
| belebele_rus_Cyrl | 900 | acc_norm | 91,8 | 0,916 |
global_mmlu_ru
lm-eval 0.4.13, 3 130 с.
Результаты по заданиям (62)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| global_mmlu_full_ru | 14 042 | acc | 76,7 | 0,343 |
| global_mmlu_full_ru_abstract_algebra | 100 | acc | 63,0 | 4,85 |
| global_mmlu_full_ru_anatomy | 135 | acc | 72,6 | 3,85 |
| global_mmlu_full_ru_astronomy | 152 | acc | 92,1 | 2,19 |
| global_mmlu_full_ru_business_ethics | 100 | acc | 72,0 | 4,51 |
| global_mmlu_full_ru_clinical_knowledge | 265 | acc | 83,4 | 2,29 |
| global_mmlu_full_ru_college_biology | 144 | acc | 92,4 | 2,22 |
| global_mmlu_full_ru_college_chemistry | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_college_computer_science | 100 | acc | 68,0 | 4,69 |
| global_mmlu_full_ru_college_mathematics | 100 | acc | 62,0 | 4,88 |
| global_mmlu_full_ru_college_medicine | 173 | acc | 79,2 | 3,10 |
| global_mmlu_full_ru_college_physics | 102 | acc | 60,8 | 4,86 |
| global_mmlu_full_ru_computer_security | 100 | acc | 81,0 | 3,94 |
| global_mmlu_full_ru_conceptual_physics | 235 | acc | 87,2 | 2,18 |
| global_mmlu_full_ru_econometrics | 114 | acc | 76,3 | 4,00 |
| global_mmlu_full_ru_electrical_engineering | 145 | acc | 74,5 | 3,63 |
| global_mmlu_full_ru_elementary_mathematics | 378 | acc | 75,7 | 2,21 |
| global_mmlu_full_ru_formal_logic | 126 | acc | 65,1 | 4,26 |
| global_mmlu_full_ru_global_facts | 100 | acc | 57,0 | 4,98 |
| global_mmlu_full_ru_high_school_biology | 310 | acc | 93,9 | 1,36 |
| global_mmlu_full_ru_high_school_chemistry | 203 | acc | 78,8 | 2,87 |
| global_mmlu_full_ru_high_school_computer_science | 100 | acc | 89,0 | 3,14 |
| global_mmlu_full_ru_high_school_european_history | 165 | acc | 84,8 | 2,80 |
| global_mmlu_full_ru_high_school_geography | 198 | acc | 88,4 | 2,28 |
| global_mmlu_full_ru_high_school_government_and_politics | 193 | acc | 90,7 | 2,10 |
| global_mmlu_full_ru_high_school_macroeconomics | 390 | acc | 84,1 | 1,85 |
| global_mmlu_full_ru_high_school_mathematics | 270 | acc | 50,7 | 3,05 |
| global_mmlu_full_ru_high_school_microeconomics | 238 | acc | 91,6 | 1,80 |
| global_mmlu_full_ru_high_school_physics | 151 | acc | 71,5 | 3,68 |
| global_mmlu_full_ru_high_school_psychology | 545 | acc | 92,3 | 1,14 |
| global_mmlu_full_ru_high_school_statistics | 216 | acc | 80,6 | 2,70 |
| global_mmlu_full_ru_high_school_us_history | 204 | acc | 91,7 | 1,94 |
| global_mmlu_full_ru_high_school_world_history | 237 | acc | 91,6 | 1,81 |
| global_mmlu_full_ru_human_aging | 223 | acc | 76,7 | 2,84 |
| global_mmlu_full_ru_human_sexuality | 131 | acc | 84,0 | 3,22 |
| global_mmlu_full_ru_humanities | 4 705 | acc | 71,1 | 0,641 |
| global_mmlu_full_ru_international_law | 121 | acc | 85,1 | 3,25 |
| global_mmlu_full_ru_jurisprudence | 108 | acc | 85,2 | 3,43 |
| global_mmlu_full_ru_logical_fallacies | 163 | acc | 78,5 | 3,23 |
| global_mmlu_full_ru_machine_learning | 112 | acc | 66,1 | 4,49 |
| global_mmlu_full_ru_management | 103 | acc | 80,6 | 3,92 |
| global_mmlu_full_ru_marketing | 234 | acc | 88,5 | 2,09 |
| global_mmlu_full_ru_medical_genetics | 100 | acc | 84,0 | 3,68 |
| global_mmlu_full_ru_miscellaneous | 783 | acc | 82,6 | 1,35 |
| global_mmlu_full_ru_moral_disputes | 346 | acc | 74,3 | 2,35 |
| global_mmlu_full_ru_moral_scenarios | 895 | acc | 61,9 | 1,62 |
| global_mmlu_full_ru_nutrition | 306 | acc | 85,3 | 2,03 |
| global_mmlu_full_ru_other | 3 107 | acc | 78,6 | 0,711 |
| global_mmlu_full_ru_philosophy | 311 | acc | 79,4 | 2,30 |
| global_mmlu_full_ru_prehistory | 324 | acc | 81,2 | 2,18 |
| global_mmlu_full_ru_professional_accounting | 282 | acc | 60,6 | 2,91 |
| global_mmlu_full_ru_professional_law | 1 534 | acc | 60,5 | 1,25 |
| global_mmlu_full_ru_professional_medicine | 272 | acc | 90,8 | 1,75 |
| global_mmlu_full_ru_professional_psychology | 612 | acc | 77,0 | 1,70 |
| global_mmlu_full_ru_public_relations | 110 | acc | 63,6 | 4,61 |
| global_mmlu_full_ru_security_studies | 245 | acc | 73,9 | 2,81 |
| global_mmlu_full_ru_social_sciences | 3 077 | acc | 83,9 | 0,649 |
| global_mmlu_full_ru_sociology | 201 | acc | 88,1 | 2,29 |
| global_mmlu_full_ru_stem | 3 153 | acc | 76,1 | 0,727 |
| global_mmlu_full_ru_us_foreign_policy | 100 | acc | 88,0 | 3,27 |
| global_mmlu_full_ru_virology | 166 | acc | 51,2 | 3,89 |
| global_mmlu_full_ru_world_religions | 171 | acc | 85,4 | 2,71 |
mgsm_ru
lm-eval 0.4.13, 183 с.
Результаты по заданиям (1)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| mgsm_native_cot_ru | 250 | exact_match/flexible-extract | 81,2 | 2,48 |
| mgsm_native_cot_ru | 250 | exact_match/strict-match | 0 | 0 |
bfcl
bfcl-eval 2026.3.23, 1 060 с; native function calling: /v1/chat/completions с tools, без tool_choice; temperature 0; отдельный старт сервера: аргументы замера плюс --enable-auto-tool-choice --tool-call-parser qwen3_coder.
Результаты по заданиям (10)
| Задание | Вопросов | Метрика | Доля верных, % | Стандартная ошибка, % |
|---|---|---|---|---|
| Вызов инструментов: не вызывать, если не нужноbfcl_irrelevance | 240 | acc | 81,3 | 2,52 |
| Вызов инструментов: реальные запросы, выбор функцииbfcl_live_multiple | 1 053 | acc | 80,6 | 1,22 |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl_live_parallel | 16 | acc | 81,3 | 9,76 |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl_live_parallel_multiple | 24 | acc | 75,0 | 8,84 |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl_live_relevance | 16 | acc | 68,8 | 11,6 |
| Вызов инструментов: реальные запросы, одна функцияbfcl_live_simple | 258 | acc | 88,4 | 2,00 |
| Вызов инструментов: выбор из нескольких функцийbfcl_multiple | 200 | acc | 96,0 | 1,39 |
| Вызов инструментов: несколько вызовов сразуbfcl_parallel | 200 | acc | 84,0 | 2,59 |
| Вызов инструментов: несколько вызовов разных функцийbfcl_parallel_multiple | 200 | acc | 82,5 | 2,69 |
| Вызов инструментов: одна функцияbfcl_simple_python | 400 | acc | 96,5 | 0,919 |
Для KL собрано: 68 806 позиций в 121 фрагментах, top-20.
Сравнение на одних вопросах: эталон Qwen3.8-27BBF16, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BBF16.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 92,3 | 91,8 | −0,6 | [−1,4; +0,3] | 0,332 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,4 | 76,7 | −0,7 | [−1,0; −0,4] | 8,94·10⁻⁶ | разность есть |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,8 | 92,0 | −0,8 | [−3,2; +1,2] | 0,727 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,6 | 81,2 | +1,6 | [−0,8; +4,4] | 0,344 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,5 | 85,3 | +0,8 | [+0,1; +1,5] | 0,0417 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,5 | −0,5 | [−1,8; +0,8] | 0,688 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,5 | 96,0 | −0,5 | [−2,5; +1,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 82,0 | 84,0 | +2 | [−3; +7] | 0,541 | в пределах шума |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,1 | 81,3 | +9 | [+5; +13] | 2,98·10⁻⁶ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 83,5 | 82,5 | −1 | [−5; +3] | 0,774 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 87,6 | 88,4 | +0,8 | [−1,2; +2,7] | 0,688 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,8 | 80,6 | −0,2 | [−1,0; +0,7] | 0,824 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [−19; +19] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0201 нат в среднем, 0,307 нат на 99-м процентиле; первый токен совпал в 96,4 % позиций (68 806 позиций). По фрагментам: 0,021 ± 0,009 [0,019; 0,022], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 GPTQ g128, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BINT4 GPTQ g128.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,6 | 91,8 | +0,2 | [−0,8; +1,2] | 0,832 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 76,4 | 76,7 | +0,3 | [−0,1; +0,7] | 0,226 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 91,2 | 92,0 | +0,8 | [−1,6; +3,6] | 0,754 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 80,0 | 81,2 | +1,2 | [−1,6; +4,0] | 0,581 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 83,1 | 85,3 | +2,2 | [+1,2; +3,3] | 2,05·10⁻⁵ | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 96,8 | 96,5 | −0,3 | [−1,8; +1,3] | 1,00 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 96,0 | 96,0 | 0,0 | [−2,0; +2,0] | 1,00 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 71,0 | 84,0 | +13 | [+7; +20] | 1,06·10⁻⁴ | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 70,4 | 81,3 | +11 | [+6; +15] | 6,16·10⁻⁶ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 84,5 | 82,5 | −2 | [−6; +2] | 0,424 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 88,0 | 88,4 | +0,4 | [−1,9; +2,7] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 79,5 | 80,6 | +1,1 | [−0,3; +2,7] | 0,169 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 81,3 | 81,3 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 79,2 | 75,0 | −4 | [−13; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 75,0 | 68,8 | −6 | [−19; 0] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0524 нат в среднем, 0,817 нат на 99-м процентиле; первый токен совпал в 94,2 % позиций (68 806 позиций). По фрагментам: 0,054 ± 0,024 [0,049; 0,058], n = 121.
Сравнение на одних вопросах: эталон Qwen3.8-27BINT4 AWQ g32, вариант Qwen3.8-27BINT4 GPTQ g32
Против Qwen3.8-27BINT4 AWQ g32.
| Набор | Вопросов | Эталон, % | Вариант, % | Разность | Интервал | p | Исход |
|---|---|---|---|---|---|---|---|
| Belebele ru, понимание текстаbelebele_ru (acc) | 900 | 91,9 | 91,8 | −0,1 | [−1,1; +0,8] | 1,00 | в пределах шума |
| Global-MMLU ru, знанияglobal_mmlu_ru (acc) | 14 042 | 77,0 | 76,7 | −0,3 | [−0,7; 0,0] | 0,0798 | в пределах шума |
| MGSM ru, арифметика, число из строки «Ответ»mgsm_ru / flexible-extract (exact_match_answer_line) | 250 | 92,0 | 92,0 | 0,0 | [−2,8; +2,8] | 1,00 | в пределах шума |
| mgsm_ru / flexible-extract (exact_match) | 250 | 79,2 | 81,2 | +2 | [−1; +5] | 0,302 | в пределах шума |
| mgsm_ru / strict-match (exact_match) | 250 | 0 | 0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: все заданияbfcl / all (acc) | 2 607 | 84,1 | 85,3 | +1,2 | [+0,4; +2,1] | 0,00718 | разность есть |
| Вызов инструментов: одна функцияbfcl / simple_python (acc) | 400 | 97,0 | 96,5 | −0,5 | [−1,8; +0,8] | 0,688 | в пределах шума |
| Вызов инструментов: выбор из нескольких функцийbfcl / multiple (acc) | 200 | 97,5 | 96,0 | −1,5 | [−3,5; 0,0] | 0,250 | в пределах шума |
| Вызов инструментов: несколько вызовов сразуbfcl / parallel (acc) | 200 | 75,0 | 84,0 | +9 | [+4; +15] | 0,00210 | разность есть |
| Вызов инструментов: не вызывать, если не нужноbfcl / irrelevance (acc) | 240 | 72,5 | 81,3 | +9 | [+5; +13] | 1,04·10⁻⁴ | разность есть |
| Вызов инструментов: несколько вызовов разных функцийbfcl / parallel_multiple (acc) | 200 | 86,5 | 82,5 | −4 | [−9; 0] | 0,0963 | в пределах шума |
| Вызов инструментов: реальные запросы, одна функцияbfcl / live_simple (acc) | 258 | 86,8 | 88,4 | +1,6 | [−0,4; +3,5] | 0,219 | в пределах шума |
| Вызов инструментов: реальные запросы, выбор функцииbfcl / live_multiple (acc) | 1 053 | 80,3 | 80,6 | +0,3 | [−0,9; +1,4] | 0,743 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов сразуbfcl / live_parallel (acc) | 16 | 87,5 | 81,3 | −6 | [−19; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, несколько вызовов разных функцийbfcl / live_parallel_multiple (acc) | 24 | 75,0 | 75,0 | 0 | [0; 0] | 1,00 | в пределах шума |
| Вызов инструментов: реальные запросы, вызвать, когда нужноbfcl / live_relevance (acc) | 16 | 68,8 | 68,8 | 0 | [−19; +19] | 1,00 | в пределах шума |
Расхождение распределений на каждом токене: KL 0,0333 нат в среднем, 0,513 нат на 99-м процентиле; первый токен совпал в 95,4 % позиций (68 806 позиций). По фрагментам: 0,034 ± 0,014 [0,032; 0,037], n = 121.
Что не измеряли
- качество в режиме thinking и на агентных задачах: замеряется без thinking, на открытых русских наборах
- больше 32 одновременных запросов
- влияние содержания промпта на скорость: без спекулятивного декодирования оно определяется числом токенов, а не текстом
- попадания в кэш префиксов: prefix caching выключен, промпты уникальны
- спекулятивное декодирование (MTP-голова модели)
- задержка сети до клиента: клиент на том же сервере
- старт после перезагрузки: при холодном старте вытесняются только веса и кэш компиляции, образ docker и библиотеки могут быть в кэше ОС
- параметры семплирования: только жадное декодирование (temperature 0)
- энергопотребление как метрика: мощность пишется только как условие
- долговременная стабильность
Замечания
- свой квант: llm-compressor 0.15.0, GPTQ INT4, группа 32, асимметричный, наблюдатель MSE — формат весов готового AWQ cyankiwi; калибровка ru-Wikipedia + UltraChat; рецепт и калибровка открыты, описаны в отчёте серии S1