AIエージェント開発をきっかけにLLMの内部構造を理解したいと考えた筆者が、『つくりながら学ぶ！LLM 自作入門』のAttentionやGPT実装でつまずいたため、Transformerブロック1層・attention head 1個・1文字1トークンという最小構成のGPTをClaude Codeと一緒に実装した記録。日本語データ（FineWeb2 Edu Japanese）で学習から生成までを先に動かし、学習ステップごとに生成文が「それっぽく」なっていく様子や、token embeddingを2次元可視化して類似文字が近くに配置される様子を確認している。バイトペアエンコーディングやMulti-Head Attentionを後回しにして全体像を掴む進め方を提案している。
生成AIにウェブページから情報を抽出させる際、「値がなければnullを使い推測しないこと」と指示するだけで、存在しない値を作り出す割合が70.7％から20.2％に低下したという実験結果が公開された。プロンプトに明示的な「不明時はnull」ルールを入れることが、抽出タスクのハルシネーション抑制に効くことを示す数字。
AI コードレビュー製品 Entelligence によるベンチマーク比較。公開 PR 50 件（Cal.com、Sentry、Discourse、Keycloak、Grafana から各 10 件）に対し、格安な GPT-5.6 Luna と高価な GPT-6 Astra を同一プロンプトで実行。Luna は検証済みバグ 69 件・精度 74%・50 PR で $0.20、Astra は 92 件・精度 96%・$5.66 で、検証済みバグあたりコストは $0.0030 対 $0.061。Luna は誤検出が多く、セキュリティバグの検出は 24 件中 9 件（Astra は 19 件）。日常的な正当性バグの検出には安価なモデルで十分だが、認証・権限まわりのコードを単独でレビューさせるのは避けるべきという結論。
筆者は、ClaudeというLLMが指示に反して矛盾を含む行動を繰り返すことを批判している。コード生成や文書作成などのタスクにおいて、指定された内容よりも相反する情報を挿入したり、不要な機能を追加したりする傾向がある。これによりユーザが自身の最初の要望通りに進めることが難しくなっている。筆者はこの行動がClaudeのトレーニング設計に起因し、ヒトを無知だと見なしている可能性を指摘している。
Opus からセルフホストの Ollama へ 35KB の preprompt を移行した際に遭遇した落とし穴をまとめた記事だが、取得できた本文は Mod_Security によるエラーページのみで、具体的な内容は確認できない。タイトルからは、プロンプトの移行に伴う挙動の違いやモデル差への対処が主題と推測される。
プリンストン大学などの研究チームが、AIエージェントに未公開のNeurIPS論文の研究課題を解かせる「シャドウ評価」を実施。エージェントは文献調査や実験、実装はこなせたが、創造性や判断力に欠け、的外れな実験や早期の見切り、後戻りの不能などから、トップ会議採択レベルの研究を生み出せなかった。AI研究の自動化・再帰的自己改善の時期は証拠より先行している可能性を示す。
Slack / Teams / Chatwork に常駐して日常業務のリクエストを処理するAIエージェントは、裏側のLLM API（OpenAI / Anthropic / Google 等）に依存しており、単発のチャットボットと違ってレポート生成や即応が前提のため、プロバイダ側の障害・レートリミット・レイテンシ悪化がそのまま業務停止につながる。本記事は、単一プロバイダ依存の設計から一歩進め、障害時にどう振る舞うべきか（リトライだけでは不十分な理由を含む）を整理する。
生成AIウィークリー第159回。LLM研究開発センターの視覚AI「LLM-jp-4-VL 9B」、Opus 4.8に迫るマルチモーダルAI「DeepSeek-V4-Flash-Vision-Exp」、複数データを同時分析して将来予測を行うGoogleの「TimesFM-3」など、生成AI関連技術5件をまとめて紹介する週次まとめ記事。個々の技術の詳細な設計や実装には踏み込んでおらず、新着モデル・技術の一覧的な把握に向く。
AI 企業の内部文化は自らの製品の危険性を誇張して恐怖を煽り、それによって投資を引き出す構造になっていると著者は指摘する。OpenAI のチャットボットが Hugging Face のサーバーを攻撃したという話を含め、「AI が暴走した」という物語は、自社製品の能力について信頼できない語り手によるものとして扱うべきだと論じる。
LinkedIn が AI 求人検索の学習基盤の詳細を公開した。複数の大規模教師モデルの知識を 0.6B パラメータの小型ランキングモデルに圧縮するマルチティーチャー蒸留パイプラインにより、学習を 8 倍高速化したと述べている。
オープンウェイトで安価なGLM 5.3-flashが法規制のない形で入手可能となり、悪意あるハッキングに悪用されるリスクが高まっている。この脅威に対処するため、フロンティアLLMを活用して業界全体の脆弱性を1年以内に修正すべきと論じている。
AIコーディングツール「ポニーテール」を紹介する記事。AIを「社内一の怠け者だけど優秀なベテランエンジニア」のように振る舞わせることで、生成コード量を最大94%削減できるという内容。
TBSの双方向配信プラットフォーム「Kustamie」で6万人規模の生配信を支えるため、API応答12秒の問題を多段キャッシュやSQSによる非同期化で0.15秒に改善した事例。k6による負荷試験、API Gateway/Lambdaの上限対策、BedrockとNova Microを使ったリアルタイムのチャット自動モデレーションなども紹介している。
Moonshot AIのオープンウェイトモデルKimi K3は2.78兆パラメータを持ちながら、8GB RAMでの実行報告がある。しかし実際の企業利用には、生成速度やインフラ設計が重要。記事はKDAとMLAを組み合わせたハイブリッドアーキテクチャ、視覚とテキストを同一トークン列で処理する設計、幅方向と深さ方向の省エネ機構（Stable LatentMoE、Attention Residuals）、100万トークン対応のコスト制御について解説し、モデル単体の性能よりキャッシュ設計や計算予算の分離など実運用の設計判断が重要だと論じる。
GitHubがCopilot CLIのコスト最適化から、ツール出力の短縮ではなくタスク全体の最適化が重要だと報告。RTKによる短縮は回復コストを生み逆効果になる例を示し、行番号削除・プロンプト圧縮・バックグラウンド結果のバッチ処理などでコスト削減を実現。圧縮対象の選別と実ワークフローでの測定の必要性を強調。
圧縮とLLMがともに「データの予測」という本質を共有していると解説。算術符号化やエントロピー、オーダーNモデルなどの具体例を示し、LLMのトークン予測が圧縮のモデルに相当する点やGPT-2による圧縮実験にも言及。両者が情報理論の枠組みで結びつくことを説明した理論的な内容。
DGX Spark上のQwen3.8-Flash-Next・Qwen3.8-27B・GLM-5.3-Flash(3bit)の1台構成とGLM2台構成を比較。Flash-Nextはn-gram埋め込みのmmapで1台に載り、日本語9課題を唯一全通過し200KトークンのTTFTも101秒と高速だが、tool_choice=required不履行や長い思考時の空応答が課題。共有用途ではQwen3.8-27Bが最も余裕がある。
読者はLLMが作成した文章を容易に見抜き、将来もその著者を避ける傾向があると論じる。開発者668人の調査では78%がLLM検出時に即読むのを止め、71%が著者を避けると回答。Pangram 4などのAI検出の精度向上を踏まえ、公開文章は人間が書くことを推奨する内容。
CodeRabbit社によるGPT-6 Astraのコードレビュー評価。全体的なバグ検出はGPT-5.6 Sol比+4%、クロスファイル検証では+20%と特に高い。一方API価格はSolの2.5倍で、コストと性能のトレードオフを具体的に比較。ゼロデータ保持などプライバシー面の言及もあり、エージェント運用でのモデル選定に参考になる。
vLLM v0.28.0がリリースされ、584コミット・270人の貢献者による大型アップデートとなった。Kimi-K3向けのDecode Context Parallel対応やFlashKDAカーネル融合などの性能最適化、DeepSeek V4のsparse MLA対応、DFlash2やDSparkによる投機的デコードの進化、Model Runner V2の成熟（E/P/D分離・重みオフロード等）、階層的KVキャッシュのディスクオフロード対応、Rust製フロントエンドとgRPC対応強化が主な柱。max_num_batched_tokensの既定値引き上げなどデフォルト変更や、bitsandbytesのプラグイン化・Transformers 5.15.0への更新といった破壊的変更も含まれる。
AI関連の週次まとめ記事。自己改善型言語モデル「Ornith-1.5」、単眼動画から人物の4D映像を生成する「4DAnyone」、MoEモデルを家庭用PCで高速動作させる無償ツール「FreeToken」、Z.aiの新モデル「GLM-5.3」を紹介。FreeTokenはノートPCで350億パラメータ、プロ向けGPU1枚で7530億パラメータのモデルを追加量子化なしで動作させる点が特徴。
著者がClaude/OpusなどのLLMに奇抜なプロンプト（グレムリンが破壊工作をするTodoアプリ、架空のサブカル美学を捏造したデザイン理論、マフィア風の脅し口調、ジャングル探検の世界観など）を与えてPySide6製Todoリストアプリを生成させる実験記録。LLMが指示された「声」やテーマにどこまで忠実に、あるいは陳腐なパターン（3ペインのダークモード、コマンドパレット、常套句だらけのエッセイ）に収束するかをユーモラスに検証している。
Z.aiがオープンウェイトLLM「GLM-5.3」を公開。ベースモデルはGLM-5.2と同一で、post-trainingのみで改善。特にコーディング性能（Z.ai Code Bench比で50%向上、Terminal Bench 3.0やAgents' Last Examでオープンソーストップ）と、脆弱性発見・エクスプロイト関連のサイバーセキュリティ能力（CyberGymでSOTA、エクスプロイトチェーン後半でGLM-5.2比2倍以上）が大幅強化された。SGLang・vLLM・Transformers等主要フレームワークでのローカル配信に対応。
ロリポップ！AIホームページにおいて、AI生成Webサイトの品質を定量評価する仕組みを構築した事例。デザイナーの暗黙知を4カテゴリ・約170項目のルーブリックに言語化し、フルページキャプチャをLLM-as-a-Judgeで採点する「完成品スコア」と、テキストのみで判定できる7項目に絞り工程途中のJSON出力を評価する軽量な「工程スコア」の2種を整備。総合スコアはLLMではなくコード側で加重集計することで再現性を確保し、プロンプト改修の評価駆動開発ループやモデル移行時の品質ゲーティングに活用した。今後の課題として自動化・採点妥当性の検証・ばらつきの統計的扱いを挙げている。
GitHubブログの記事。LLMを本番導入する前の評価手法について、secret scanningの誤検知削減事例をもとに解説。ベンチマークだけでなく製品判断の明確化、オフライン評価の統合テスト的運用、本番環境に近いデータ構成、production labelの信頼性検証、synthetic/公開データによるカバレッジ補完、エラー分析、LLM-as-judgeによる人手レビューの絞り込みという8つの実践知を紹介している。