11月10日、Metaは広告配信の“頭脳”として機能する基盤モデル「GEM」の技術詳細を公開しました。GEMはLLM発想の巨大モデルを広告レコメンドに持ち込み、FacebookとInstagramの膨大な行動・広告・計測シグナルを横断して学習。ここで得た知見を下流の多数モデルにポストトレーニングで伝搬させ、広告の関連性を一段引き上げる——そんな“中央集権→全体最適”の設計が核です。実運用でも、Q2にはInstagramでコンバージョンが約5%、Facebookフィードで約3%改善したと報告されています。

アーキテクチャ面では、ユーザー属性や広告の体裁などの“非シーケンス特徴”と、長期の閲覧・クリックの“シーケンス特徴”を分けて最適化し、必要な場面で相互作用を学ぶ構造が採用されました。非シーケンス側はWukongを拡張して複合特徴の組み合わせを深堀りし、シーケンス側はピラミッド並列で長大履歴を効率に取り込みます。さらに両者を橋渡しするInterFormerで、シーケンス学習と特徴相互作用を交互に重ねることで、行動履歴の構造を失わずに表現を磨き上げます。

“作って終わり”にしないのも特徴です。GEMは教師、下流の各ドメイン向け基盤モデルとプロダクションの多数モデルが生徒という多段の知識移転を採用。蒸留・表現学習・パラメータ共有を組み合わせ、標準蒸留比で約2倍の移転効率を確保したといいます。結果として、フィード、リール、メッセージングといった各面での目標（クリック、コンバージョンなど）に合わせつつ、横断知見を共有できる“群れとして賢い”配信群へ進化しました。

この規模を回す足腰も刷新されています。数千GPUでの多次元並列、可変長系列に最適化した社内カーネル、PyTorch 2.0のグラフレベル最適化、FP8活性化量子化、NCCLXによる通信最適化などを束ね、効果的トレーニングFLOPSは23倍、MFUは1.43倍向上と説明。探索〜大規模学習〜ポストトレーニングまで、GPU効率を途切れなく高める運用レシピが語られました。

文脈で言えば、Metaはすでに取得段の「Andromeda」で候補集合の質と広がりを高め、今回のGEMでランキング段の“器”をLLM級に置き換えました。GEMはQ3に入っても同じ計算量で得られる性能利得を倍増させたと述べられており、2026年までの広告自動化ロードマップとも歩調を合わせます。生成AIがクリエイティブと配信の両方に浸透する中、“中央の脳＋群れの最適化”という二段構えは、広告主のROASと体験の両立を狙う実装と言えるでしょう。

最後に示唆です。GEMは今後、テキスト・画像・音声・動画のマルチモーダル統合をさらに進め、オーガニックと広告の両ランキングを一体化する構想を示しています。一方で、会話AIのデータ活用などプライバシー面の議論も加速中。配信スタックの刷新はビジネス成果と同時に、データガバナンスや説明可能性の再設計を企業に迫ります。現場では、クリエイティブ、計測、カタログ、LTV学習の各パイプラインを“GEM前提”で見直すことが、次の一歩になりそうです。