zenn.dev
2日前
MacBook Pro 128GB でローカル LLM がついに実用になった ─ Qwen3.8 Flash Next 実測
MacBook Pro(M4 Max、128GB)でQwen3.8 Flash Next(Q3量子化、約90GB)をllama.cpp+OpenCodeで動かし、実在のOSS issueを使ってパケット読解からdraft PR作成・レビュー対応までを人間の介入なしで一周させた検証記事。ツール呼び出し190回でエラー0件、設計判断はクラウド(Codex Luna Max)の実装と遜色ないが、テスト結果の自己申告誤り(末尾解釈ミス)が1件発生。dense 27Bモデルとの比較では同タスクに8倍の時間がかかり、MoEアーキテクチャとユニファイドメモリの親和性が実用化の鍵と結論。追記ではプレフィル/デコード速度をllama.cppとMLXで分けて実測し、プレフィルはMLXが2倍以上速い一方デコードは長文脈でllama.cppが優位という結果も報告している。
MacBook Pro(M4 Max、128GB)でQwen3.8 Flash Next(Q3量子化、約90GB)をllama.cpp+OpenCodeで動かし、実在のOSS issueを使ってパケット読解からdraft PR作成・レビュー対応までを人間の介入なしで一周させた検証記事。ツール呼び出し190回でエラー0件、設計判断はクラウド(Codex Luna Max)の実装と遜色ないが、テスト結果の自己申告誤り(末尾解釈ミス)が1件発生。dense 27Bモデルとの比較では同タスクに8倍の時間がかかり、MoEアーキテクチャとユニファイドメモリの親和性が実用化の鍵と結論。追記ではプレフィル/デコード速度をllama.cppとMLXで分けて実測し、プレフィルはMLXが2倍以上速い一方デコードは長文脈でllama.cppが優位という結果も報告している。