CloudflareがWorkers AIの最適化を公開。AIの待ち時間は裏側の設計で変わる

返事の速さは、裏側で決まる

長い資料をAIに渡す場面は増えています。会議録、仕様書、契約書、社内マニュアルを丸ごと読ませる使い方です。

そこで返事が遅い時、どこで詰まっているのでしょうか。Cloudflareの発表は、画面の裏にあるGPU（AI計算用半導体）メモリを指しています。

2026年8月3日の記事で、CloudflareはWorkers AIの推論（AIが答えを作る処理）最適化を説明しました。対象はMoonshotのKimi K-seriesとZ.aiのGLMです。

AIの待ち時間は、モデル名だけでは決まりません。同じAIでも、どんな基盤で動くかによって体験が変わります。

長文を扱うAIは、会話の途中経過をKVキャッシュ（会話の記憶を置くメモリ）に残します。これがあるから、毎回すべてを読み直さずに続きが作れます。

CloudflareはKimi K2.6で、KVキャッシュをBF16（16ビット精度）からFP8（8ビット精度）へ変えました。量子化（数字を軽くする圧縮）で、同じメモリに多く置く考え方です。

保持できる文脈は約68万6000トークンから約137万トークンへ増えました。長い入力を扱うAIほど、この余裕が効きます。

ただし、FP8がいつも1件ごとに速いわけではありません。Cloudflareは、同時に抱えられるリクエスト数が増えることを利点として示しています。

会社でAIを使うなら、1人だけが触るとは限りません。多くの人が同時に使うほど、裏側では同時処理の余裕が大事になります。

Cloudflareの測定では、BF16のKVキャッシュは32件を超えると新しい要求を受けられませんでした。FP8は64件まで進み、2192トークン毎秒に達しています。

Cloudflareは、このピークがBF16より約41%高いとしています。1トークンあたりの費用も約30%低いという説明です。

つまり、混んだ時に粘れるAI基盤が価値を持ちます。普段は速くても、混雑で止まるなら仕事には使いにくいからです。

CloudflareはGLM 5.2でも、別の圧縮を使いました。モデルの重み（AIの知識が入った本体データ）をFP8からINT4（4ビット整数）へ小さくしています。

チェックポイントは705GBから421GBになりました。8分割のGPU構成では、1GPUあたりの使用メモリも88GBから52GBへ下がりました。

decode（答えを1語ずつ作る段階）では、同時数1件で55%速くなったと示されています。prefill（入力を先に読む段階）では、FP8のほうが速いという結果も出ています。

Cloudflareは、prefillとdecodeを分けて扱います。速い形式を、速い場面に置くためです。

多くのリクエストが同じKVキャッシュを共有すると、効率は上がります。一方で、別の利用者の途中メモを読んではいけません。

CloudflareはKVキャッシュの整合性チェック（取り違えを防ぐ検査）を作りました。物理ページにタグを付け、再割り当てのたびに変えます。

decodeが読む前に、リクエストが期待するページとタグを照合します。合わない時は、間違ったデータを返す前に止めます。

この検査のコストは、スループットとp95レイテンシの両方で1%未満とされています。速さを上げても、混線を放置しない設計です。

今回の記事は、使い方ページではなく運用技術の公開です。提供時期や料金を、発表にないまま書くことはできません。

出典