zenn.dev
2日前
MacBook Pro 128GB でローカル LLM がついに実用になった ─ Qwen3.8 Flash Next 実測
MacBook Pro（M4 Max、128GB）でQwen3.8 Flash Next（Q3量子化、約90GB）をllama.cpp+OpenCodeで動かし、実在のOSS issueを使ってパケット読解からdraft PR作成・レビュー対応までを人間の介入なしで一周させた検証記事。ツール呼び出し190回でエラー0件、設計判断はクラウド（Codex Luna Max）の実装と遜色ないが、テスト結果の自己申告誤り（末尾解釈ミス）が1件発生。dense 27Bモデルとの比較では同タスクに8倍の時間がかかり、MoEアーキテクチャとユニファイドメモリの親和性が実用化の鍵と結論。追記ではプレフィル/デコード速度をllama.cppとMLXで分けて実測し、プレフィルはMLXが2倍以上速い一方デコードは長文脈でllama.cppが優位という結果も報告している。
MacBook Pro（M4 Max、128GB）でQwen3.8 Flash Next（Q3量子化、約90GB）をllama.cpp+OpenCodeで動かし、実在のOSS issueを使ってパケット読解からdraft PR作成・レビュー対応までを人間の介入なしで一周させた検証記事。ツール呼び出し190回でエラー0件、設計判断はクラウド（Codex Luna Max）の実装と遜色ないが、テスト結果の自己申告誤り（末尾解釈ミス）が1件発生。dense 27Bモデルとの比較では同タスクに8倍の時間がかかり、MoEアーキテクチャとユニファイドメモリの親和性が実用化の鍵と結論。追記ではプレフィル/デコード速度をllama.cppとMLXで分けて実測し、プレフィルはMLXが2倍以上速い一方デコードは長文脈でllama.cppが優位という結果も報告している。
zenn.dev
3日前
RTX 5090 + RAM 128GBでQwen3.8-Flash-Nextをllama.cppで動かしてみた
RTX 5090（32GB）とRAM 128GBの1台構成で、125B規模のMoEモデルQwen3.8-Flash-NextをUnslothのUD-Q2_K_XL量子化とllama.cpp対応版で動作検証した記事。-ncmoeでGPUに載せるMoEエキスパート数を調整するのが最も効果的で、CPUスレッド数は物理コア数と同じ8が最良、CPUコア固定で速度のばらつきが縮小した。最終的に64kコンテキストで短文生成約48 tokens/s、16kトークン入力後でも約43 tokens/sを達成した一方、micro-batch削減やn-gram投機デコードは効果がなかった。
RTX 5090（32GB）とRAM 128GBの1台構成で、125B規模のMoEモデルQwen3.8-Flash-NextをUnslothのUD-Q2_K_XL量子化とllama.cpp対応版で動作検証した記事。-ncmoeでGPUに載せるMoEエキスパート数を調整するのが最も効果的で、CPUスレッド数は物理コア数と同じ8が最良、CPUコア固定で速度のばらつきが縮小した。最終的に64kコンテキストで短文生成約48 tokens/s、16kトークン入力後でも約43 tokens/sを達成した一方、micro-batch削減やn-gram投機デコードは効果がなかった。