蒸餾可以使AI型號較小，更便宜

原始版本 的 這個故事 出現 多少雜誌。

這家中國公司AI DeepSeek今年早些時候發布了一家名為R1的聊天機器人，引起了人們的關注。大多數 專注於事實 一家相對較小且不知名的公司表示，它已經建立了一個聊天機器人，該聊天機器人與世界上最著名的AI公司的表現競爭，但使用了一小部分計算機電源和成本。結果，許多西方技術公司的股票崩潰了。 NVIDIA出售運行AI頂級車型的芯片， 一天中損失了更多的股票價值 由歷史上的任何公司。

其中一些注意力涉及類別元素。 支持來源 那 DeepSeek已獲得沒有許可，使用一種稱為蒸餾的技術了解OpenAI的私有O1模型。 大部分新聞報導 他將這種可能性構成了對AI行業的震驚，這意味著DeepSeek發現了一種新的，更有效的建造AI的方法。

但是，蒸餾（也稱為知識蒸餾）是AI中廣泛使用的工具，該工具是計算機研究的主題，它返回了十年，並且是大型技術公司在自己的模型中使用的工具。 “蒸餾是當今公司必須更有效地使模型的最重要工具之一” Enric Boix-Adsera研究賓夕法尼亞大學沃頓商學院蒸餾的研究人員。

黑暗知識

蒸餾的想法始於 2015年的文件 由Google上的三名研究人員，包括杰弗裡·欣頓（Geoffrey Hinton），So稱為AI教父和2024 諾貝爾。當時，研究人員經常運行模型的模型 – “許多模型都陷入困境” 金醇vinyalsGoogle Deepmind的主要科學家和文檔的作者之一 – 以提高其性能。 Vinyals說：“但是同時運行所有車型非常笨拙且昂貴。” “我們對單個模型中蒸餾的想法感到興奮。”

研究人員認為，他們可以通過在機械學習算法中面對顯著的弱點來取得進展：不正確的答案被認為是同樣糟糕的，無論它們有多麼錯誤。例如，在圖像分類模型中，“狗與狐狸的混亂的混亂方式與狗用比薩餅混淆的方式相同。”研究人員懷疑，整個模型包含有關錯誤答案的信息的差異不如其他人。也許較小的“學生”模型可以使用大型“老師”模型中的信息來了解必須更快地對圖像進行分類的類別。欣頓以與宇宙學暗物質的比喻為例，稱這種“黑暗知識”。

在與Hinton討論了這一機會之後，Vinyals開發了一種方法，使教師的大型模型在較小的學生模型中詳細介紹了有關圖像類別的更多信息。關鍵是要在教師的模型中適應“軟目標”，這將機會歸因於每個機會，而不是穩定自我或糾纏的努力。例如，模型 計算 圖像顯示一隻狗的可能性有30％，顯示了一隻貓的20％，5％顯示牛，而汽車顯示出0.5％。使用這些機會，教師模型有效地向學生揭示了狗與貓非常相似，與牛不同，與汽車完全不同。研究人員發現，這些信息將幫助學生學習如何更有效地檢測狗，牛，牛和汽車的圖像。大型，複雜的模型可以簡化為更簡單的準確性喪失。

爆炸性的發展

這個想法不是立即打擊。該文件被會議拒絕了，灰心的Vinins轉向了其他問題。但是蒸餾已經達到了重要的時刻。大約在這個時候，工程師發現了在神經網絡上提供的大多數培訓數據，這些網絡就越有效。模型的大小很快爆炸，及其 機會但是他們的操作成本隨著他們的身材加強。

許多研究人員轉向蒸餾，以成為較小型號的一種方式。例如，在2018年，Google研究人員提出了一個強大的語言模型，稱為 印跡該公司很快開始用來幫助分析數十億個互聯網搜索。但是伯特（Bert）運行良好且昂貴，因此明年，其他開發人員被派出了一個較小的版本，名稱合理，迪迪爾伯特（Disilbert）被廣泛用於業務和研究。蒸餾逐漸變得無處不在，現在由等公司提供 Google; 打開; 亞馬遜。最初的蒸餾文檔仍然僅在Preprint arxiv.org服務器上發布 報告了超過25,000次。

鑑於蒸餾需要訪問教師模型的房屋，因此第三方不可能從封閉的源模型（例如O1）中提取數據，因為DeepSeek被認為已經完成了。接受，只有通過向老師提出一些問題並使用答案來訓練自己的模型 – 幾乎是社交蒸餾的方法，學生模型仍然可以從教師模型中學到很多東西。

同時，其他研究人員繼續找到新的應用程序。一月份，加州大學伯克利分校的Novasky實驗室 表明蒸餾對思想鏈訓練模型效果很好使用“思考”多步驟來更好地回答複雜問題。研討會說，完全開放的Sky-T1型號的訓練不到450美元，並且取得了與更大的開源模型相似的結果。他說：“我們對在這種環境中的蒸餾效果的效果感到非常驚訝。” 達尚·李（Dacheng Li）， Novasky團隊的伯克利學生和聯合主演。 “蒸餾是人工智能中的基本技術。”

本事 經許可轉載 多少雜誌; 句法獨立的出版物 西蒙斯基金會 其任務是通過涵蓋數學以及生命的物理和科學的研究發展和趨勢來增強對科學的理解。