AIエージェント開発をきっかけにLLMの内部構造を理解したいと考えた筆者が、『つくりながら学ぶ！LLM 自作入門』のAttentionやGPT実装でつまずいたため、Transformerブロック1層・attention head 1個・1文字1トークンという最小構成のGPTをClaude Codeと一緒に実装した記録。日本語データ（FineWeb2 Edu Japanese）で学習から生成までを先に動かし、学習ステップごとに生成文が「それっぽく」なっていく様子や、token embeddingを2次元可視化して類似文字が近くに配置される様子を確認している。バイトペアエンコーディングやMulti-Head Attentionを後回しにして全体像を掴む進め方を提案している。
生成AIにウェブページから情報を抽出させる際、「値がなければnullを使い推測しないこと」と指示するだけで、存在しない値を作り出す割合が70.7％から20.2％に低下したという実験結果が公開された。プロンプトに明示的な「不明時はnull」ルールを入れることが、抽出タスクのハルシネーション抑制に効くことを示す数字。
IDCは、AIエージェントの普及に伴う「SaaS終焉論」を分析したレポートを公開した。AIはSaaSを代替するのではなくデータモデルを拡張すると指摘し、市場ごとの浸透格差や成果型課金の急増など、本当に起こる構造変化を解説している。
障害対応でログを AI に貼って原因を尋ねる運用が広がる中、AI が有用な回答を返せるかどうかはモデルの性能ではなくログの設計に左右される。断片的なメッセージやコンテキスト不足のログでは原因特定が難しく、リクエスト ID や処理の流れ、エラーの前後関係など、AI が因果関係をたどれる形でログを構造化しておく必要があると指摘する。