何が新しいのか？
このたび採択された論文で提案されているのは、A/Bテストとオフライン評価のそれぞれの利点を統合し、アルゴリズムの優劣判定精度を格段に向上させる新手法です。
多くのオンラインサービスでは、推薦システムやデジタル広告などでユーザーに最適なアクションを選ぶアルゴリズムが日々改善されています。その際、新旧のアルゴリズムどちらが優れているかを正確に判定する「A/Bテスト」が一般的に用いられてきました。しかし、A/Bテストはユーザー体験や収益を損なうリスク、そして高いコストが課題とされていました。一方、過去のログデータ（ユーザーの行動履歴など）から性能を推定する「オフライン評価」は安全かつ安価ですが、A/Bテストに比べて推定精度が劣るという認識が一般的でした。
本研究では、A/Bテストがオフライン評価よりもアルゴリズムの優劣判定を誤りやすい傾向があることを観測し、そのメカニズムを解明。この知見を基に、より正確なアルゴリズムの優劣判定を可能にする新たな手法を提案しました。具体的には、比較したい二つのアルゴリズムAとBの間に仮想的な中間アルゴリズムMを置き、AとM、MとBの性能差をそれぞれオフライン評価の技術で推定し足し合わせることで、AとBの優劣をより正確に判定します。
どんな課題を解決するのか？
提案手法は、実世界の動画視聴データであるKuaiRecを用いた計算機実験でその有効性が検証されました。実験の結果、この新手法はA/Bテストの標準手法とオフライン評価の代表的手法の両方に対し、全ての実験設定で一貫して低い判定誤り率を達成しました。さらに、従来手法と同じ判定誤り率を、A/Bテストの半分から四分の一のデータ量で達成できることも示されています。
これは、アルゴリズムの改善にかかる実験期間やコスト、そしてユーザーへの悪影響を大幅に低減できることを意味します。より少ないデータで、より迅速かつ安価に、優れたアルゴリズムを選択できるようになるでしょう。
対象は誰か？活用シーンは？
この新手法は、推薦システムやデジタル広告など、オンラインサービスでアルゴリズム改善に取り組む企業や担当者に特に有効です。Webマーケティングをはじめとするさまざまな意思決定の場面において、より少ないデータと低コストで、優れたアルゴリズムを選択できる可能性が高まります。
今後の展望
博報堂ＤＹホールディングスは、今後も博報堂ＤＹグループの横断的なAI専門家集団「HCAI Professionals」の活動として、幅広い研究開発活動を通して革新的なAIソリューションの開発を目指すとしています。
論文情報
-
題名：A More Accurate Algorithm Comparison through A/B Testing using Offline Evaluation Methods
-
著者：小西 宏樹、牛久 雅崇（Human-Centered AI Institute）、齋藤 優太（コーネル大学）
本論文は、2026年8月9日から13日にかけて韓国 済州島のInternational Convention Center Jejuにて開催されるKDD 2026で発表が予定されています。