github.com 12時間前

vLLM v0.28.0

vLLM v0.28.0がリリースされ、584コミット・270人の貢献者による大型アップデートとなった。Kimi-K3向けのDecode Context Parallel対応やFlashKDAカーネル融合などの性能最適化、DeepSeek V4のsparse MLA対応、DFlash2やDSparkによる投機的デコードの進化、Model Runner V2の成熟(E/P/D分離・重みオフロード等)、階層的KVキャッシュのディスクオフロード対応、Rust製フロントエンドとgRPC対応強化が主な柱。max_num_batched_tokensの既定値引き上げなどデフォルト変更や、bitsandbytesのプラグイン化・Transformers 5.15.0への更新といった破壊的変更も含まれる。

vLLM v0.28.0がリリースされ、584コミット・270人の貢献者による大型アップデートとなった。Kimi-K3向けのDecode Context Parallel対応やFlashKDAカーネル融合などの性能最適化、DeepSeek V4のsparse MLA対応、DFlash2やDSparkによる投機的デコードの進化、Model Runner V2の成熟(E/P/D分離・重みオフロード等)、階層的KVキャッシュのディスクオフロード対応、Rust製フロントエンドとgRPC対応強化が主な柱。max_num_batched_tokensの既定値引き上げなどデフォルト変更や、bitsandbytesのプラグイン化・Transformers 5.15.0への更新といった破壊的変更も含まれる。
↗ 元記事を開く
lwn.net 昨日 18:32

Ryabitsev: Creepy crawlies

git.kernel.orgはAIクローラーによる過剰トラフィックに悩まされており、Anubisチャレンジを回避する33%のリクエストの大半がスクレイパーで、正規アクセスは全体の約2%に過ぎないとRyabitsevが報告。住宅用プロキシを使った回避や、クローンではなくWebインターフェースを叩き続ける非効率な挙動、AIによる正当な調査アクセスとの区別の難しさなどがコメント欄で議論されている。

git.kernel.orgはAIクローラーによる過剰トラフィックに悩まされており、Anubisチャレンジを回避する33%のリクエストの大半がスクレイパーで、正規アクセスは全体の約2%に過ぎないとRyabitsevが報告。住宅用プロキシを使った回避や、クローンではなくWebインターフェースを叩き続ける非効率な挙動、AIによる正当な調査アクセスとの区別の難しさなどがコメント欄で議論されている。
↗ 元記事を開く
dev.classmethod.jp 2日前

NeMo Switchyard と事後学習済みの judge モデルで Slack エージェントのリクエストを自動ルーティングする

NeMo Switchyard によるLLMリクエストの自動ルーティングで、事後学習済みjudgeモデルをタスク難易度判定役に採用した事例。素のLightningモデルを判定役にした際は依頼文の切り捨てや判定語彙の欠如、フォールバック設計の甘さから92.4%がstrongモデルに流れる偏りが発生。Capability Cardとp_solve確率に基づく専用judgeへ切り替え、pip版Switchyardとのスキーマ差異を吸収するshimを実装した結果、weak/strongの配分がほぼ均等(62.2%/37.8%)に改善した。vLLMのメモリ設定、NemoHermesとの接続、sandboxの設定変更に伴うクラッシュループなど多数の実装上のハマりどころも詳述している。

NeMo Switchyard によるLLMリクエストの自動ルーティングで、事後学習済みjudgeモデルをタスク難易度判定役に採用した事例。素のLightningモデルを判定役にした際は依頼文の切り捨てや判定語彙の欠如、フォールバック設計の甘さから92.4%がstrongモデルに流れる偏りが発生。Capability Cardとp_solve確率に基づく専用judgeへ切り替え、pip版Switchyardとのスキーマ差異を吸収するshimを実装した結果、weak/strongの配分がほぼ均等(62.2%/37.8%)に改善した。vLLMのメモリ設定、NemoHermesとの接続、sandboxの設定変更に伴うクラッシュループなど多数の実装上のハマりどころも詳述している。
↗ 元記事を開く
beyondjapan.com 2026/08/20

Certbotの自動更新、実はsystemd timerが標準だった件

AlmaLinux 9のCertbotはcronではなくsystemd timer(certbot-renew.timer)で自動更新される。timerが正常でも、manualプラグインで取得した証明書は認証フックなしでは更新に失敗し続けるため、期限切れが発生した。原因調査はjournalctl -u certbot-renew.serviceで特定でき、webroot認証への切り替えとdeploy hookによるApache reload自動化で解決した。

AlmaLinux 9のCertbotはcronではなくsystemd timer(certbot-renew.timer)で自動更新される。timerが正常でも、manualプラグインで取得した証明書は認証フックなしでは更新に失敗し続けるため、期限切れが発生した。原因調査はjournalctl -u certbot-renew.serviceで特定でき、webroot認証への切り替えとdeploy hookによるApache reload自動化で解決した。
↗ 元記事を開く