
當前熱議!小羊駝:訓練成本僅300美元的斯坦福開源模型,適合創業公司打造自己的AI模型
導語:小羊駝的邏輯叫“知識蒸餾”,即通過將大型模型的知識轉移到小型模型中,從而快速達到想要的模型質量,同時減少計算成本。
不久前,斯坦福公開了一個名為 Alpaca 的新模型。(俗稱“羊駝”)它使用了 GPT3.5 生成的 52k 個指令訓練,訓練費用只花了 500 美元,但是性能可以與 GPT-3.5 相媲美。
【資料圖】
然而由于使用了 GPT3.5 的指令數據,使用條款禁止開發與 OpenAI 競爭的模型,因此 AIpaca 禁止了商用。
而近日,斯坦福學者與 CMU、UC 伯克利等人合作推出了一個全新的模型——Vicuna,它有 130 億個參數,俗稱“小羊駝”。 初步評估小羊駝其實 Vicuna 說白了就是一款新的“ChatGPT”,它和 Google Bard、ChatGPT 還有 New Bing 都一樣,都是聊天機器人(Chatbots)。
初步評估上,Vicuna-13B 達到了 ChatGPT 能力的 92%;幾乎要比 Google Bard 更強;同時遠遠甩開其他模型,如 LLaMA 和它的前輩——斯坦福的 Alpaca。
而訓練 Vicuna-13B 的成本是僅僅 300 美元。可能還沒有屏幕前的你游戲顯卡的價格高。
Vicuna 在推出后面臨的一個問題是,自己的模型質量究竟如何。顯然作為學術機構沒辦法像大公司養著幾百上千的測試團隊進行大量測試,于是他們另辟蹊徑——既然人力太貴,那就用剛剛推出的 GPT-4 來評測嘛。
具體操作上,他們提出了一個評估框架。設計了九大主題下共計八十條測試問題,然后把由其他模型和自家 Vicuna 的回答交給 GPT-4 進行評估(“哪個虛擬助理的回答更好”)。
驚人的是在這八十個問題的評估上,Vicuna 已經能微微贏下 Google 重注的 Bard,更是把自己的“祖父模型”LLaMA-13B、AIpaca-13B 殺得片甲不留。
盡管問題的勝出數量上比不過 ChatGPT,但以 10 分制的角度切入,Vicuna 也已經實現了 ChatGPT 超過 90%的質量。
不得不說,“羊駝”AIpaca用 GPT-3.5 生成的指令訓練模型,而“小羊駝”Vicuna在此基礎上又用 GPT-4 評估模型,斯坦福他們是懂人工智能的。
進入Vicuna主頁,不必注冊登錄;直接輸入想要的內容,然后等待Vicuna為你生成。全程一分鐘,行云流水絲毫不卡頓。
作為大語言模型,中英文自然是通吃。
“知識蒸餾”ChatGPT 訓練費用高企甚至一次訓練就要接近上億美金,然而 Vicuna 只花了 300 美元。從效果上看就達到了 GPT3.5 質量的 90%。這是怎么做到的?
其實Vicuna的邏輯在人工智能領域叫做“知識蒸餾”(knowledge distillation),即通過將大型模型的知識轉移到小型模型中,從而快速達到想要的模型質量,同時減少計算成本。
通常,大型模型(即“Teacher”)會生成訓練數據,小型模型(即“Student”)則使用這些數據來學習大型模型的知識和能力。
通過這種方式,小型模型可以在自己的場景下獲得大型模型90%甚至99%的能力,這意味著,可用于生成模型的領域將呈指數級增長。
在Vicuna公布的訓練過程里,一開始,開發團隊是從 ShareGPT (與 ChatGPT 對話內容的UGC網站)上收集了七萬條對話。這恰恰是“知識蒸餾”里最重要的“訓練數據”。
而訓練方法上則是選擇了在“羊駝”AIpaca(成本已降低至500美元)上優化。
這兩個最重要的環節就使得Vicuna同時在訓練成本和訓練質量上均有突出優勢。
而理論上你也可以花300美元租云計算資源然后訓練出你的“小羊駝”。 全華人團隊一個小插曲是,作者在撰寫稿件搜集資料時,看到小羊駝的開發團隊不禁虎軀一震。
包括 Wei-Lin Chiang、Zhuohan Li、Zi Lin、Ying Sheng、Zhanghao Wu、Hao Zhang、Lianmin Zheng、Siyuan Zhuang 和 Yonghao Zhuang,這學生團隊是清一色的全員華人,不免讓人感慨。
總結:遍地AI的世界就在眼前從本質上來說,ChatGPT這種大語言模型就是通過燒錢燒算力燒數據達到"大力出奇跡"的效果。
而這也帶來了一個問題,即這樣的大語言模型燒錢的程度會讓很多小公司望而卻步,只能加入霸權壟斷的圈子。
而對于像小紅書/B站這樣不上不下的公司,既承擔不起自己訓練大模型的成本,也不愿意將自己內容池的數據拱手讓人,其實是陷入蠻尷尬的境地。
Vicuna展現了另一種可能性,即通過“知識蒸餾”的方式,以極低的價格復刻大語言模型90%甚至99%的能力。
而這就意味著哪怕是剛剛創業的小公司也完全負擔得起一個獨屬于自己體系的AI的訓練成本。
換句話說,ChatGPT拉開了AI落地的序幕,而Vicuna告訴我們,遍地AI的世界也許就在眼前。標簽:
-
13
2023-04世界焦點!蘇墾農發(601952):技術指標出現看漲信號-KDJ 低位金叉(04-13)
從技術指標上看,蘇墾農發(601952)出現看漲信號-KDJ低位金叉,后續有望上漲。資金流向數據:主力資金凈流入80 94萬元,占總成交額3 -
13
2023-04速看:“周杰倫”又來!第四次沖擊IPO,減肥咖啡銷售腰斬,真有效還是“智商稅”?
4月11日,港交所官網顯示,巨星傳奇集團又提交了上市申請資料,此前在2021年9月、2022年3月和2022年10月公司三次交表,但都因財務資料過期而失 -
13
2023-04事業單位招聘面試流程_事業單位面試流程
今天小編肥嘟來為大家解答以上的問題。事業單位招聘面試流程,事業單位面試流程相信很多小伙伴還不知道,現在讓我們一起來看看吧!1、謹供參考 -
13
2023-04環球信息:螃蟹不熟吃了會怎樣?
螃蟹不熟吃了容易中毒的,螃蟹是雜食性生物,尤其河蟹還吃死的魚蝦所以半生不熟的螃蟹身體還容易有寄生蟲,是不可以食用的,螃蟹蒸的時間一定 -
13
2023-04世界新動態:商湯科技概念股板塊4月12日漲2.1%,科大訊飛領漲,主力資金凈流入1.01億元
從資金流向上來看,當日商湯科技概念股板塊主力資金凈流入1 01億元,游資資金凈流出1006 21萬元,散戶資金凈流出9115 84萬元。證券之星力求但 -
13
2023-04速遞!男的都喜歡什么禮物
你可以送他一個你們兩個照片做的相冊,把照片貼到杯上,在杯子上面,就是一個很特別的回憶。送自己男朋友的禮物當然要讓他知道 -
13
2023-04環球熱消息:皇馬此前15次歐冠淘汰賽首回合主場贏兩球,最終12次晉級
在歐冠1 4決賽首回合的一場比賽中,皇馬主場2-0擊敗切爾西,取得晉級先機。此前皇馬在歐冠淘汰賽中曾15次首回合主場贏對手兩球,最終他們12次 -
13
2023-04被吳磊倒追的快樂,誰懂啊?
嗑糖黨和嗑顏黨恐怕都要對電視劇《愛情而已》失望了。當隔壁姐狗劇恨不得一集撩、兩集抱、三集吻時,《愛情而已》獨樹一幟:前十集男女主基本 -
12
2023-04【天天熱聞】BR記者:若獨行俠能留下歐文 他們將會關注艾頓&特納&科林斯
直播吧4月12日訊今日,據BR記者EricPincus報道,消息人士透露,若獨行俠休賽期能將歐文留下,他們可能會在交 -
12
2023-04當前快報:明星買房“跳單”風波追蹤:謝娜、張杰因名譽權起訴中介公司
新京報訊(記者張建)4月12日,新京報記者從天眼查系統獲悉,上海市金山區人民法院于4月10日向上海雅鑾房產經紀公司(簡稱“雅鑾公司”)、霍某某 -
12
2023-04當前報道:04.12盤后
今日市場謏幅高開蚤盤滬指謏幅沖高盤中位于周一高點再遇戧束遽而位于5日線間呈現窄幅的震蕩午盤滬指未有明顯攻勢祛破僵局故而維持震蕩時至尾盤 -
12
2023-04當前短訊!前20席位凈持倉較長時間內處于凈空態勢 空頭第一占市場20%
玻璃309合約今日增倉上行,多空持倉排名前20席中,多頭第一名中信期貨占全市場10%,空頭第一名國泰君安占全市場20%。


蘋果考慮將iPhone系列進一步延伸 2024年上市?

卷出一塊好曲屏 真我10系列新品發布會舉行
英國猴痘病例數預計將大幅上升
上海:視情適當延長畢業生在校生身份時間
國家電網確定新型電力系統科技攻關十大重點項目
比亞迪發布CTB電池車身一體化技術
商務部:堅定致力于實現全面、高水平的亞太自貿區
中辦國辦印發《意見》 推進實施國家文化數字化戰略
初夏看市場:“菜籃子”產品生產供應充足 蔬菜在田面積達9877.2萬畝
上海浦東重點生產企業復工復產超1100家
-
1
Intel最新處理器Arrow-S曝光 最高可達24核
-
2
配置拉滿的電競神機 雷神ZERO2023大黃蜂發布
-
3
真我10Pro系列發布 首發量產2160Hz超高頻調光技術
-
4
阿富汗塔利班組建正規軍
-
5
薩赫勒地區反恐形勢面臨新變數
-
6
北約北擴加劇歐洲安全風險
-
7
貴州畢節七星關區百所學校創辦百個“紅軍班”
-
8
湖北省孝感軍分區組織軍地聯合應急救援研究性演練
-
9
青藏高原等區域將新設一批國家公園
-
10
河北省承德軍分區退役軍人擔綱教練主力