Минаков Мишин — ИИ-партнёры, на главную
Меню

Весовые категории

Модели сравниваются только внутри своей категории — бюджета железа.

  • BF16 без квантования
  • FP8 8 бит, с плавающей точкой
  • INT8 8 бит, целые
  • INT4 4 бита, целые
  • MoE
  • веса, цвет — формат
  • под запросы после перезапуска
  • край при первом старте
  • активации, CUDA graphs, вне PyTorch
  • свободно до лимита

Одна A100 SXM4 40GB

Лимит 39,49 ГиБ: столько видит CUDA.

  • Qwen3.8-27B
    • INT4 GPTQ g128
    • INT4 GPTQ g32
    • INT4 AWQ g32
    • INT8 W8A8
    • FP8
  • Qwen3.6-35B-A3B, MoE, 3B
    • INT4 AWQ g128
ВесаМодель и квантованиеВзвешивание до лимитаПод запросы после перезапуска, ГиБОтвет одному, ток/с16 пользователей, ток/с
16,7, в числе лучших в дивизионеГиБQwen3.8-27BINT4 GPTQ g128Qwen/Qwen3.8-27B, ревизия 3756181; vLLM 0.32.0; 08.11.202616,6, в числе лучших в дивизионепервый старт 14,361,2165
18,2ГиБQwen3.8-27BINT4 GPTQ g32Qwen/Qwen3.8-27B, ревизия 3756181; vLLM 0.32.0; 08.11.202615,1первый старт 12,858,0161
18,3ГиБQwen3.8-27BINT4 AWQ g32cyankiwi/Qwen3.8-27B-AWQ-INT4, ревизия e3a7009; vLLM 0.32.0; 08.11.202615,0первый старт 12,758,4163
21,3ГиБQwen3.6-35B-A3B, MoE, 3BINT4 AWQ g128QuantTrio/Qwen3.6-35B-A3B-AWQ, ревизия 119886a; vLLM 0.32.0; 08.11.202612,2первый старт 10,1137, в числе лучших в дивизионе678, в числе лучших в дивизионе
27,6ГиБQwen3.8-27BINT8 W8A8Qwen/Qwen3.8-27B, ревизия 3756181; vLLM 0.32.0; 08.11.20265,53первый старт 3,3437,3191
27,9ГиБQwen3.8-27BFP8Qwen/Qwen3.8-27B-FP8, ревизия 017b9c7; vLLM 0.32.0; 08.11.20265,41первый старт 3,0940,7127

Две A100 SXM4 40GB, NVLink

Лимит 39,49 ГиБ на карту: столько видит CUDA.

  • Qwen3.6-35B-A3B, MoE, 3B
    • FP8
  • Qwen3.8-27B
    • BF16
ВесаМодель и квантованиеВзвешивание до лимитаПод запросы после перезапуска, ГиБОтвет одному, ток/с16 пользователей, ток/с
17,0, в числе лучших в дивизионеГиБ на картуQwen3.6-35B-A3B, MoE, 3BFP8Qwen/Qwen3.6-35B-A3B-FP8, ревизия 95a723d; vLLM 0.32.0; 09.11.202617,2, в числе лучших в дивизионепервый старт 15,1167, в числе лучших в дивизионе886, в числе лучших в дивизионе
25,2ГиБ на картуQwen3.8-27BBF16Qwen/Qwen3.8-27B, ревизия 3756181; vLLM 0.32.0; 08.11.20269,43первый старт 7,3042,0271

Строки идут по весу модели в памяти, а не по качеству.

Выделено: лучшее в столбце внутри дивизиона и всё, что отстаёт от него меньше чем на 3 %. Устаревший замер не соревнуется.

Скорость — среднее по трём прогонам, три значащие цифры; «± sd» — стандартное отклонение по n = 3 прогонам, приведено, только если оно больше 1 % от среднего. Память — три старта каждого вида дали одно значение. «Ответ одному» — вход 1 024, выход 512 токенов; «16 пользователей» — вход 4 096, выход 300.

Журнал таблицы

Таблица создана: восемь замеров серии S1.