Hugging FaceでMultiverse ComputingがQAHを発表。4-bit圧縮モデルが元モデルを上回る理由

小さくしたAIを、あとから本気で治す発想

Multiverse ComputingがHugging Faceで、Quantization-Aware Healingを発表しました。略称はQAHです。これは、圧縮して4-bit化した大規模言語モデルを回復させる手法です。

ポイントは、小さくした後のモデルを、元の大きなモデルから直接学び直させることです。従来の圧縮は、性能の傷をどう戻すかが難所でした。QAHはそこを正面から扱います。

圧縮は、ただ軽くする話ではありません

大きなAIモデルは、よく答えます。ただし動かすには計算資源が必要です。そこでモデルを小さくする圧縮が使われます。

今回の発表で示された流れは明快です。まず構造を圧縮します。次に重みを量子化します。最後に落ちた能力を回復させます。

量子化とは、モデル内の数値を粗く表して軽くする処理です。4-bitなら、数値をかなり少ない幅で持つことになります。軽くなる一方で、答え方は崩れやすくなります。

従来法は、治す相手を見失いやすかった

発表では、一般的な回復法としてQATが説明されています。QATはquantization-aware trainingの略です。量子化を意識した追加学習、という意味です。

QATはfake-quantization operatorsをforward passに入れます。forward passとは、入力から出力を出す計算の流れです。そのうえでtask lossを使って微調整します。

別の選択肢としてQADもあります。QADはquantization-aware distillationです。蒸留、つまり教師モデルの答え方を学生モデルへ移す方法です。

ただし今回の焦点は、構造圧縮と量子化を両方受けたモデルです。発表は、この組み合わせをどう治すかは未解決に近かったと位置づけています。

QAHは元のモデルを教師にする

QAHの一番の違いは、教師の選び方です。圧縮後に回復したモデルではありません。元のpre-compression modelを凍結した教師として使います。

凍結とは、教師側を学習で変えないことです。学生にあたる4-bitモデルだけが、その分布に近づきます。発表では、教師と学生が同じ構造を共有しない点も示されています。

ここで使われるのがKL distillationです。KLは、確率分布のずれを見る尺度です。教師の出力分布へ学生を近づけるための学習だと考えるとつかみやすいです。

実験の数字が示す重み

発表ではGPT-OSS 120Bを使った例が出ています。このモデルを60B parametersへ圧縮しました。その後、bfloat16で回復し、QAHのもとでMXFP4へ再量子化しています。

bfloat16は、AI計算でよく使われる数値形式です。MXFP4は4-bit系の低精度形式です。つまり、ただ軽量化しただけではなく、かなり厳しい圧縮条件で回復を試しています。

長い文脈にも触れています。healing corpusには32k tokensまでの文書が含まれます。長文でメモリが苦しくなるため、chunked KL-divergence lossを再利用したと説明されています。

提供条件は発表の範囲では限定的です。確認できる内容を表にするとこうなります。

小さいAIの見方が変わります

非エンジニアにとって大事なのは、4-bitという数字そのものではありません。小さいAIが、安い代用品とは限らなくなる点です。

これまで軽量モデルは、便利だが性能は我慢するものと見られがちでした。QAHの主張は違います。圧縮後の治し方しだいで、軽さと性能の関係が変わります。

企業でAIを選ぶ場面でも意味があります。大きなモデルをそのまま動かすだけが選択肢ではありません。限られた計算資源で、どこまで賢さを残せるかが競争になります。

もちろん、今回の発表だけで全用途に効くとは言えません。けれど、圧縮は単なる劣化処理ではなくなりつつあります。AIを小さくする技術は、AIを広く使うための設計技術になっています。