github.com
59日前
vLLM v0.28.0
vLLM v0.28.0がリリースされ、584コミット・270人の貢献者による大型アップデートとなった。Kimi-K3向けのDecode Context Parallel対応やFlashKDAカーネル融合などの性能最適化、DeepSeek V4のsparse MLA対応、DFlash2やDSparkによる投機的デコードの進化、Model Runner V2の成熟（E/P/D分離・重みオフロード等）、階層的KVキャッシュのディスクオフロード対応、Rust製フロントエンドとgRPC対応強化が主な柱。max_num_batched_tokensの既定値引き上げなどデフォルト変更や、bitsandbytesのプラグイン化・Transformers 5.15.0への更新といった破壊的変更も含まれる。
vLLM v0.28.0がリリースされ、584コミット・270人の貢献者による大型アップデートとなった。Kimi-K3向けのDecode Context Parallel対応やFlashKDAカーネル融合などの性能最適化、DeepSeek V4のsparse MLA対応、DFlash2やDSparkによる投機的デコードの進化、Model Runner V2の成熟（E/P/D分離・重みオフロード等）、階層的KVキャッシュのディスクオフロード対応、Rust製フロントエンドとgRPC対応強化が主な柱。max_num_batched_tokensの既定値引き上げなどデフォルト変更や、bitsandbytesのプラグイン化・Transformers 5.15.0への更新といった破壊的変更も含まれる。