中共AI靠蒸餾 難超越美國
近年中國人工智慧（AI）企業發展看似迅速，但主要是靠蒸餾美國頂尖模型，在某種層面上算偷取美國先進技術。中國企業的做法就像做滑水運動，滑水者藉助快艇尾流前進，有時時速甚至超過快艇，但卻永遠無法超越快艇本身。
《經濟學人》最新分析文章指出，中共大規模蒸餾美國前沿AI模型，無論是對美國造成的負面影響，還是對中共有多大幫助，可能都沒表面上看起來那麼可怕。
模型蒸餾原理很簡單，大型語言模型（LLM）在訓練初期，是透過學習網路上的文本來模仿語言，蒸餾則是「模仿其他大型語言模型」；美國模型生成的文字展現的技能與推理能力，正是中國模型模仿對象，因此拿來做訓練材料。
目前網路上的文本數據幾乎都被用盡，美國AI公司也沒多少更先進的模型可供蒸餾。如今美國公司越來越依賴強化學習（Reinforcement Learning），也就是為模型設定目標，例如讓模型自行嘗試和解決複雜的數學題。這種方法效率更低，目前美國企業過半計算資源用於強化學習，是2024年初1/20的兩倍多。
中國企業又去蒸餾「美國模型透過強化學習訓練獲得的能力」；換言之，美國模型是靠自己摸索，中國模型是靠模仿。
《計算語言學協會論文集》（Findings of the Association for Computational Linguistics）今年7月發表的研究顯示，中國AI實驗室深度求索（DeepSeek）訓練的一個小型模型，在一項廣受採用的數學測試中的得分，從14.6%提高到45.8%。
中國實驗室要達到美國前沿模型的能力，還需要更多訓練數據，因此一直大規模進行模型蒸餾。美國AI公司Anthropic今年9月發布的報告發現，五家中國企業在五個月內從Anthropic模型收集超過1.8億條消息，由於存在極大相似性，中國AI有時甚至把自己當成Claude或ChatGPT。
美國公司開始築牆防蒸餾
文章指出，中國AI許多進展來自本土研發。全球主要AI會議NeurIPS發表的論文數據顯示，全球頂尖AI研究人員中，超過一半有華人背景。
但人才優勢終究有局限。如今，推動AI發展的主要動力是先進計算晶片，美國科技巨頭各自擁有的先進晶片都超過中國所有競爭對手的總和；如此一來，中共只能靠模型蒸餾來趕進度。
研究人員估計，中國AI模型比美國最先進的模型落後約3至6個月。專家估計，如果沒有模型蒸餾，該差距可能接近翻倍。
為防止被中共蒸餾，Anthropic和OpenAI都在想辦法切斷中國企業模型能力獲取渠道，都著手封堵今年8月發現的漏洞，同時加強蒸餾行動監測。
Anthropic還開始對Claude模型請求收費，即使模型察覺到對方意圖並拒絕回答，也照樣收費，讓對方偷雞不著蝕把米。
Anthropic透露，此舉長期來說未必奏效，但迄今為止蒸餾數據量減少90%至99%，但也因此損失5%至7%的收入。
Anthropic認為，中國公司在發布接近美國最高水準的模型時，沒有設置防止濫用的安全限制，可能構成國家安全風險。
一味蒸餾永遠只能跟在後面
分析指出，由於美國尖端模型本身也是基於免費獲取的網路數據進行訓練，因此中國公司利用美國模型進行訓練，幾乎沒人覺得不妥；若美國認為中方「竊盜」，將是法律上雙重標準。此外，美國公司若完全切斷中國公司使用通道，將失去一個龐大的市場，且逼出獨立的中國生態系，這樣的損失未必為美企所樂見。
另一方面，中國公司自己也認識到，過度依賴模型蒸餾只能跟在美國後面跑。此外，未來如果出現遞迴式自我改進（AI模型自主開發下一代模型的技術），可能需要複雜的基礎設施，一味靠蒸餾的企業未必具備這些條件。
分析援引字節跳動創始人張一鳴的話報導，字節跳動今後不會利用模型蒸餾來大幅提升自家模型能力，模型蒸餾最多只能不斷縮小與前沿技術的差距，很難真正實現超越。但張一鳴承認，不靠美國的尖端模型，字節跳動又開始落後。◇
