智東西（公眾號：zhidxcom）
編譯 |? 陳駿達
編輯 |? Panken

智東西7月19日消息，昨日晚間，就在OpenAI推出GPT-4o mini模型不久后，英偉達和法國明星AI獨角獸Mistral也聯合發布了名為Mistral NeMo的小杯模型，旨在提供性能優越、部署便捷、安全性高的企業級AI功能。

Mistral NeMo的參數大小為120億，具備128k的超大上下文窗口，具備同量級開源模型中最先進的推理、世界知識和代碼能力。這一模型對包括中文在內的多種語言進行了優化，為全球企業應用這一模型提供了便利。

英偉達深度參與了這一模型的開發工作。Mistral NeMo的訓練算力由英偉達提供，被納入了英偉達的推理微服務NIM。因此，Mistral NeMo在部署于英偉達設備上時能獲得性能優化，只需1塊英偉達RTX 4500 GPU就可全本地運行。NIM也讓Mistral NeMo模型具有較高的安全性，這對企業應用來說是不可或缺的。

此外，這一模型在發布時遵循了Apache 2.0許可證的要求，這是一種開源許可證，允許用戶在保留版權聲明的前提下自由使用、修改和分發代碼，對商業用途十分友好。

一、同量級開源模型中表現最佳，還擅長11門語言

此先，谷歌和Facebook母公司Meta都曾發布過類似的小杯模型，但這些模型的上下文窗口僅有8k，這意味著它們在進行較復雜任務時有一定難度。而Mistral NeMo的上下文窗口大小達到了128k，這與昨天晚間OpenAI發布的GPT-4o mini是一樣的。

根據Mistral提供的測試結果，Mistral NeMo在7個基準測試中都領先于谷歌和Meta的小杯模型。Mistral NeMo在開卷考測試OpenBookQA和常識測試CommonSense這2個基準測試上有較大的優勢，這與Mistral NeMo較大的上下文窗口和120億的參數有直接的關系。

▲Mistral NeMo 12B與Gemma 2 9B和Llama 3 8B在基準測試中的表現（圖源：Mistral）

此外，Mistral NeMo從設計之初就瞄準了全球市場。這一模型在英語、法語、德語、西班牙語、意大利語、葡萄牙語、中文、日語、韓語、阿拉伯語和印地語方面的表現較為突出，共支持100多門語言。

根據Mistral AI提供的測試結果，Mistral NeMo在多門語言上的表現都比Llama 3 8B高出10%左右。

▲Mistral NeMo與Llama3 8B在多語言基準測試中的表現

在處理非英語文本時，Mistral NeMo的效益有顯著提升。這一模型使用了一個新的分詞器Tekken，經過訓練后能處理超過100種語言，相比之前Mistral模型使用的分詞器，Tekken在壓縮源代碼和中文、法語、德語時的效率提高了約30%。在壓縮韓語和阿拉伯語時，效率分別提高了2倍和3倍。與Llama 3的分詞器相比，Tekken在大約85%的語言中都表現出更高的文本壓縮能力。

Mistral NeMo經歷了高級微調和優化，相比Mistral 7B，它在以下4個方面表現更好：指令執行、邏輯推理、連續對話處理及代碼生成。

二、與英偉達深度合作開發，專為企業客戶優化

英偉達深度參與了Mistral NeMo模型的開發。NeMo這一名字其實就來自于英偉達為企業AI平臺NVIDIA NeMo，這一模型也是在英偉達的NeMo平臺上云訓練的。英偉達稱Mistral AI在訓練數據方面具有很多專業技能，而英偉達在軟硬件優化方面經驗豐富，二者的結合讓這一模型能在各種豐富的應用場景中提供不錯的表現。

▲英偉達面向企業的AI平臺NeMo（圖源：英偉達）

Mistral NeMo經過量化意識訓練，能在處理低精度（如8位浮點數，FP8）表示的數據時仍然能保持高性能。這種方法確保模型在訓練過程中就適應了低精度計算，從而在實際使用時可以直接使用低精度進行推理。

FP8是英偉達近期主推的一種新技術，對FP8的支持帶來了更大的數據吞吐量和更高的計算性能。雖然數據精度有所降低，但是結合其它技術和工程手段，模型仍然可以提供和更高精度數據類型相媲美的結果，而且在性能和能效上有較大的改善。這對有意部署AI模型的中小型企業來說十分友好。

Mistral NeMo被納入了英偉達的推理微服務NIM中，能在諸多使用英偉達設備的計算設備上提供性能優化的推理，支持成本極低的本地化部署，只需要1塊英偉達Geforce RTX 4090或者英偉達RTX 4500 GPU就可全本地運行。NIM還提供了嚴格的驗證流程與企業級的安全與支持，這也回應了不少企業對安全性的需求。

具備這些特性的Mistral NeMo可以在云端、數據中心或者本地工作站上運行。不過，根據英偉達應用深度學習研究副總裁布萊恩·卡坦扎羅（Bryan Catanzaro）接受美國媒體VentureBeat采訪時的表述，這一模型雖然對計算性能的要求有顯著降低，但尚未降低到能在智能手機上運行的程度。英偉達對這一模型的預期用例是筆記本電腦或臺式電腦。

此外，Mistral NeMo經過了專門的函數調用訓練，這一特點與128K大型上下文窗口結合后，提升了模型在代碼開發上的實用性。而開源發布則對企業商用這一模型提供了很大的便利。

結語：小杯模型戰火愈演愈烈，英偉達聯手Mistral開辟更大市場

經歷昨晚的兩個重大發布后，海外幾乎所有AI領域的主要玩家都發布了他們的小杯模型。英偉達和Mistral在訓練本次的Mistral NeMo模型時，專門面向企業應用，尤其是中小企業的應用進行了針對性的優化，這也顯示出這一市場的巨大潛力。

英偉達作為當今AI浪潮中最大受益者之一，過去的主要收益來源都仰仗云端業務。本次他們通過推出面向企業的高能效低成本AI解決方案，或許能給企業環境中的AI應用帶來新的可能性。讓AI更接近最終用戶的競賽，正在不斷升溫。

來源：Mistral AI、英偉達、VentureBeat