A.T. カーニー株式会社（東京都港区、日本代表：針ヶ谷 武文）は、論考『AIを実験から企業価値へ：全社規模でAIのコスト曲線を管理する』（英題：From AI experimentation to enterprise value: managing the cost curve of AI at enterprise scale）を公開しました。企業のAI活用は、実験段階から全社展開へと進みつつあります。論考のテーマは、構築を終えたあとにかかる運用費用をどう管理するかです。論考では、重点的に取り組むべき対象として次の5領域を挙げています。
- データストレージ
- MLOps・可観測性ツール
- オーケストレーションの乱立
- 外部データ
- 推論費用
論考によると、これらに集中的に取り組めば、12～18カ月で経常的なAI支出の20～40％を削減できます。ただし、その効果を維持するには、用途ごとの費用を把握する必要があります。そのうえで、FinOps（利用量に応じて変動するIT費用を継続的に管理・最適化する運営手法）と、全社共通の運用基盤を整えることを提言しています。
AIの全社展開で、費用の中心は「構築」から「継続運用」へ
論考は、企業のAI関連費用を人件費、データ、推論・コンピューティング、ソフトウェア・プラットフォームの4つに分けて整理しています。人件費は開発段階に、推論費用は本番運用に集中します。また、ユースケースが増えるにつれて費用の構成も変わっていきます。費用の負荷が高い領域としては、モデルの利用料に加え、検索を支えるデータストレージや、エージェントを監視するツールを挙げています。
新世代のエージェントは、単純なチャットボットと比べてタスク当たり5～30倍のトークンを使います。問い合わせ1件当たりの単価が下がっても、利用量が増えれば請求総額は膨らむ可能性があります。こうした理由から、論考は現在の費用だけでなく増加傾向もあわせて見たうえで、優先順位を決めるよう促しています。
領域ごとに異なる削減幅、自社の支出に照らした再評価が前提
論考が示す削減幅の目安は、データストレージ・検索がデータ費用の15～40％、オーケストレーションの統合がプラットフォーム費用の20～35％、外部データの調達一元化がデータライセンス費用の10～25％です。推論費用については、一般的なワークロードで30～60％の削減余地があるとしています。MLOps・可観測性・FinOpsツールの整備も、単独で5～15％の削減効果があるとされています。
これらの数値は、公開ベンチマークやベンダー事例などに基づく目安です。論考は、数値を合算しないこと、そして実行前に自社の支出構造に照らして再評価することが必要だとしています。
推論費用は「キャッシュ」と「モデルの振り分け」を一体で設計
推論費用を抑える有力な施策は、キャッシュとモデルの振り分けです。ただし、両者を別々に最適化すると逆効果になる場合があります。会話の途中でモデルを切り替えると、それまでに蓄積したキャッシュが失われることがあるためです。論考は、モデル変更による節約額と、失われるキャッシュの価値を比べられるよう、両者を一体で設計することを提案しています。
FinOpsの運営規律と共通基盤で削減効果を継続
論考は、AIのコスト管理を一度限りの施策で終わらせず、測定、統制、予測、最適化の4段階を回し続けるよう提言しています。具体的には、費用を用途・チーム別に配賦し、予算や利用上限を設け、将来の利用量と事業成果当たりの費用を見通すことが重要だとしています。最適化の対象としては、キャッシュ、モデルの振り分け、バッチ処理などを挙げています。
これらを全社規模で運用する仕組みとして、論考は次の要素を示しています。統合された推論ゲートウェイ、コストの計測・配賦、予測・予算管理ツール、共有のデータ・検索基盤、エージェントの共有、評価・可観測性、そしてガバナンスの仕組みです。
最初の一歩としては、今四半期のうちに支出上位3つのAIユースケースを特定し、それぞれの費用配賦を監査することを提案しています。なお、論考は同社の大塩 崇シニアパートナーと川﨑 健史パートナーが監修しています。
出典：KEARNEY