“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

智東西(公眾號:zhidxcom
作者 | 香草
編輯 | 漠影

大模型訓練推理,最低能壓縮到多少成本?

智東西3月29日報道,昨日,AI科創板上市企業云天勵飛(688343)交出了自己的答卷——重磅推出“深目”AI模盒,僅需千元成本即可實現邊緣側訓推一體。

云天勵飛副總裁羅憶現場展示了深目AI模盒。這款用單手即可托起的小小盒子實現了390%,即覆蓋場景超過90%、算法精度超過90%、使用成本降低90%,解決了大模型在場景落地最后一公里的問題。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲深目AI模盒

在云天勵飛深耕的城市治理、智慧交通等領域,大部分場景屬于碎片化、頻率低的長尾場景,大模型的落地面臨算法訓練成本高、缺乏訓練數據等行業痛點。傳統的訓推一體機價格普遍在百萬元級別,絕大多中小企業難以承受如此高昂的成本。

深目AI模盒應運而生?;?span style="color: #0f59a4;">大模型芯片兩個層面的架構革新,云天勵飛成功將大模型“塞進”了小盒子,成為人人可用的“平民化”產品。

那么,在技術層面,深目AI模盒是如何實現“3個90%”的?其具體能應用在哪些場景,解決什么樣的問題?深目AI模盒的發布代表了什么關鍵節點,背后有著怎樣的故事?

智東西與云天勵飛董事長兼CEO陳寧、云天勵飛首席科學家肖嶸、云天勵飛副總裁羅憶進行了深入交談,試圖尋找這些問題的答案。

一、自研多模態大模型+主控級SoC芯片,千元成本把大模型塞進小盒子

把大模型變“小”,離不開云天勵飛背后長期積累的核心能力——算法芯片化。

陳寧告訴智東西,深目AI模盒主要在兩個方面進行了重大的技術攻關。

一是多模態大模型架構革新。

深目AI模盒的大模型能力來源于云天勵飛自研大模型“云天天書”。該模型在去年4月推出,目前已完成3個版本的迭代,此次與深目AI模盒同步推出的是云天天書3.5V版本,新增了多模態支持。據悉,云天天書下一代4.0V版本將于今年6月推出。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲云天天書大模型的迭代進程

而針對深目AI模盒主攻的邊緣推理,云天勵飛對云天天書大模型進行了分層解耦、量化優化,使其能夠高效運行在邊緣的算力設備上,不僅能進行推理,還能完成微調等一系列任務。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲深目AI模盒的SPACE訓練推理引擎

通過集中的高效訓練架構,深目AI模盒對比全量訓練速度提升100倍,內存消耗降低至1/20;其采用混合精度訓練,99%的計算為int8+fp16精度,其他采用fp32精度訓練。

二是神經網絡處理器及推理芯片設計優化。

深目AI模盒的算力基礎來源于云天勵飛去年推出的14納米Chiplet大模型訓推芯片DeepEdge10 Max。該芯片采用自主可控的國產工藝、國產RISC-V核,支持大模型訓練推理部署。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲云天勵飛自研芯片DeepEdge10 Max

針對邊緣計算,云天勵飛通過自定義大模型專用指令集、專用算子,面向Transformer等基座大模型進行指令、工具鏈優化,使得一顆邊緣芯片上不僅能跑大模型,也能完成微調訓練。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲深目AI模盒芯片核心

基于這兩個方面的算法芯片化能力,深目AI模盒在邊緣場景的在線學習能力大幅提升。與傳統模式相比,算法生產從7步縮短至4步,算法調優則從7步縮短至3步。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲算法生產、調優步數壓縮

以云天天書為基座模型,云天勵飛與生態合作伙伴聯合完成預訓練場景算法,再將其提供給廣大中小企業用戶。隨后,中小企業客戶可根據自身場景需求,在邊緣端完成算法微調。在實際部署后,大模型的泛化和學習能力能夠根據現實應用場景情況自進化,在線學習、優化算法,不斷提升算法精度。

二、解決場景少、缺數據難題,看到“冰山之下”的長尾算法

羅憶談道,AI的發展分為三個階段。

第一階段是技術找場景,基礎算法首先實現突破,并在人臉識別、語音識別等頭部場景完成價值驗證。

第二階段是場景反哺技術,新的細分場景不斷反哺技術創新,倒逼算法不斷變革。

第三階段是場景找技術,聚焦不同行業、不同場景需求,找到適合的技術來解決這些問題。

如今,我們正處在第一、第二階段轉換的關鍵時期,冰山之下隱藏著大量不容易被看到的長尾場景算法。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲冰山之下的“死亡之谷”

長尾算法指的是除了頭部算法外,大量使用頻率低、應用場景少的算法,面臨著訓練數據少,甚至沒有訓練樣本的痛點。

例如在計算機視覺領域,人臉識別、車牌識別等頭部算法已發展得較為成熟,但像識別一種特定的產品、識別一種危險的行為等細分算法制約了AI落地行業的最后一公里。

羅憶演示了深目AI模盒如何在數據少、無數據等極端情況下,快速完成算法訓練。

1、算法自學習,少量數據迭代后精度超90%

在算法使用初期,只有少量數據,用戶如何才能快速訓練高精度算法?

以店外經營為例,用戶需要訓練識別算法時,可以直接使用平臺現有算法對目標進行識別,再對識別結果標記“正確”或“誤報”,算法就能通過自學習快速提升。經過1周迭代后,算法精度可超過90%。

羅憶稱,云天勵飛算法訓練平臺上提供了大量與生態合作伙伴共同打造的算法商城,覆蓋14個大類、100+個小類、1000+算法,用戶可以直接調用預訓練算法,并上傳自身場景圖片完成算法的微調和升級,快速訓練出高精度算法。

2、極端場景零數據樣本,利用生成式AI合成數據

天災人禍等極端場景識別訓練的數據幾乎空白,面對這樣“無數據”的情況,用戶該如何訓練算法?

以加油站場景的吸煙識別為例,這類危險行為往往伴隨著成不可挽回的后果,難以獲取真實樣本。平臺可通過大模型能力生成在該環境抽煙的人物,并將數據用于算法訓練中,填補訓練數據的空白。

使用AI合成數據來訓練算法,不僅能夠填補數據空白,還能夠規避隱私安全等問題,已經逐漸成為大模型時代下訓練新算法和提升算法精度的一條重要路徑。

3、識別目標標準不統一,利用大模型泛化能力解決

以購物中心提袋識別為例,羅憶演示大模型泛化能力如何解決識別對象標準不統一帶來的算法訓練難題。

大型購物中心一般沒有統一的結算中心,難以掌握逛街顧客是否消費,也難以評估營銷活動對實際消費轉化的效果,顧客是否提購物袋是判斷的重要標準之一。但各品牌購物袋的大小、顏色均不統一,且難以與顧客的背包區分,算法無法精準識別。

在云天勵飛算法訓練平臺上,借助場景自適應能力,用戶可調用手提袋識別算法識別所有的手提袋,再基于識別結果標記進行特定手提袋的識別訓練,從而實現專用門店手提袋的精準識別。

三、填補模型計算市場空白,抓住生成式AI機遇二次創業

目前市面上主流的模型計算產品是百萬級的訓推一體機,其承擔著數百甚至千億級參數規模的大模型訓練推理等任務。邊緣側產品則比較少見,雖然有一些常規推理盒子類產品,但其主要承載邊緣端的小模型,不具備承載大模型的能力。

在這兩類產品之間,存在巨大的市場空白——邊緣長尾算法缺乏對應的大模型解決方案。

在大模型出現之前,這些低頻問題大多通過小模型算法來解決。陳寧告訴智東西,對于大多數AI公司而言,其實每個小模型的算法成本和周期投入與頭部算法相差無幾,需要大量算法工程師和算力,收集大量數據去解決。但由于使用頻率并不高,因此投入產出比不匹配。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲深目AI模盒與常規推理盒子的對比

云天勵飛看到了大模型在解決各類長尾問題上蘊含的潛力,通過深目AI模盒這個統一的技術平臺,解決多類細分場景精度不夠、成本太高、訓練周期太長、需要的數據量太大等一系列痛點問題,推動AI真正能夠在更多的場景、更多的行業落地,形成價值閉環。

這也是云天勵飛長期在技術落地探索路上的又一重要關鍵節點。

談到“深目”這個名字,了解云天勵飛這家企業的讀者可能不陌生。2016年,云天勵飛推出第一款產品——動態人像識別系統“深目”,將科幻作品中的“天眼”第一次帶入現實。

此次推出的AI模盒,是云天勵飛在2023年登陸科創板后推出的首款產品,也是其“二次創業”的第一款產品,因此再次以“深目”來命名。

當智東西問道,Sora引爆的文生視頻技術,對云天勵飛所處的計算機視覺領域帶來了哪些機遇和挑戰?

肖嶸認為,Sora主要是一個增量式的進展,類似的生成技術被廣泛地應用在云天天書大模型的研發當中,幫助生成一些缺乏真實數據的場景。

陳寧稱,相比震撼的視覺效果,云天勵飛更關注Sora背后的技術突破在應用落地方面帶來的價值,如對世界運行規律的理解和解碼。云天勵飛對自己的定位是做物理世界的解碼者,其發展路線也沿著這條路徑展開。

“深目”AI模盒發布!云天勵飛將大模型塞進小盒子,千元成本實現訓推一體

▲云天勵飛的AI發展路徑

AI方案化方面,云天勵飛在安防、交通、城市治理、人居生活四個基礎行業打造了成熟的解決方案,并在教育、低空經濟等創新行業不斷探索新的應用,形成“4+X”行業解決方案。

隨后,基于在大量行業的落地經驗,云天勵飛已形成數據運營、新能源運營平臺,走向AI運營化。

如今,云天勵飛還逐步走向AI產品化,從去年與華為昇騰聯合推出天舟大模型訓推一體機,到此次推出面向邊緣訓推場景的深目AI模盒。此外,云天勵飛還通過收購和投資,進軍智能穿戴、機器人等硬件領域,形成日益完善的大模型產品體系。(云天勵飛進軍智能穿戴!收購IDH黑馬,搶灘大模型C端落地窗口

結語:挖掘全新“AI+”路徑,打通大模型落地最后一公里

推出深目AI模盒是云天勵飛AI產品化路徑上的重要一步。據發布會透露,此次發布的是標準版型號,云天勵飛今年還會發布一款基于云天天書4.0V、DeepEdge10 Pro芯片的輕量版產品,明年將推出基于DeepEdge10 Ultra芯片的旗艦版。

作為云天勵飛二次創業的首款產品,深目AI模盒將于6月30日正式發售且面向所有客戶統一發貨,我們期待看到其在邊緣長尾場景中的實際應用,讓大模型在千行百業中轉化為物理世界的新質生產力。