Владельцам RTX 3090 с 24 ГБ: VLLM может запустить Qwen3.8 27B INT4 с 144K FP8 KV быстрее
Совет для владельцев карт с 24 ГБ памяти: попробуйте VLLM — возможно, вы сможете запустить Qwen3.8 27B в INT4 с KV-кэшем 144K в FP8 и получить лучшую скорость. Это практическая рекомендация по оптимизации инференса без указания точных бенчмарков.