DatabricksがZeptoのAI運用を紹介。賢いAIほど採点表が先にある

賢い新人には採点表がいる

賢いAIなら、そのまま任せてよいのでしょうか。DatabricksがZepto事例で伝えている答えは、かなり現実的です。採点表なしのAIは、現場では強くありません。

AIを新人スタッフだと考えると分かりやすいです。話し方が上手でも、返金、配送、本人確認を勝手に任せるのは危険です。まず何を合格とするかを決める必要があります。

Databricksは2026年9月9日、Zeptoの事例を公開しました。DatabricksとMLflow（AIの実験や評価を管理する仕組み）で、評価先行のAIエージェント（自分で手順を進めるAI）を動かす内容です。

Zeptoは、配達の速さを競うインドのクイックコマース企業です。発表では、60都市超で事業を展開するとされています。サポートも同じ速度で動く必要があります。

ZeptoのAIは、1日に100,000件超のチケットを処理します。窓口画面は一つに見えても、中では役割が分かれています。

この分担は、人間の部署分けに近いものです。注文を追うAIと、不正画像を見るAIでは、失敗の形が違います。だから採点表も別々に作られます。

新人研修だけで終わる会社はありません。現場で起きた失敗を研修へ戻すから、次の新人が強くなります。Zeptoの仕組みも同じ発想です。

開発ループでは、正解例を使って新しいAIを試します。本番ループでは、実際の会話や判断の足跡を追います。品質ゲートを通れない版は、本番へ進みません。

LLM-as-judge（AIに評価役をさせる方法）も使われます。ただしAIの採点をそのまま信じる設計ではありません。人のラベルと80〜90%合うように調整されています。

発表の面白さは、成功談だけではない点です。Zeptoは、AIがどこでつまずいたかを具体的に語っています。失敗を見える形にしたから、改善へつながっています。

キャンセル対応では、AIが似た意図を混同しました。注文場所を聞く声と、キャンセルしたい声と、キャンセル済みか聞く声です。MLflowの評価が本番前にそれを見つけました。

発表された成果は大きいです。AIはサポートチケットの80%超を人の監督付きで管理しています。サポートコストは65%下がりました。

本番の評価も、全部を同じ割合で見るわけではありません。Zeptoは層化サンプリング（危険度に応じて見る割合を変える方法）を使います。発表では18〜20%の評価サンプルで、約14,400件のトレースを1日あたり見ます。

Databricksの開発者向けページでは、エージェント型アプリは検索だけで終わりません。推論し、計画し、ツールで作業を実行します。記録更新や外部API呼び出しも例に挙げられています。

だから、職場で大事になるのは導入初日ではありません。任せる範囲は、評価できる範囲で広がります。AIが賢いほど、採点表と監督席の設計が重くなります。

このニュースの腹落ちは、AIは放すほど強くなるのではない、という点です。失敗の記録が積み上がるほど、人は安心して任せる範囲を広げられます。

出典

Databricks「Evaluation-First AI Agents: How Zepto Scales Customer Support on Databricks and MLflow」元記事へ
Databricks「Application Development on Databricks」元記事へ