MPT-7B: 新一代開源商業可用 LLM 標準

首頁 > AI

MPT-7B: 新一代開源商業可用 LLM 標準

來源:匿名 釋出時間:2023-06-08 10:28

MosaicML 釋出了最新的 MPT-7B,是他們 MosaicML Foundation 系列的最新成員。MPT-7B 是一個基於 1000B 文字和程式碼訓練的 transformer 模型,支援商業使用並開源,與 LLaMA-7B 的質量相當。MPT-7B 在 MosaicML 平臺上訓練了 9.5 天,花費約 200k 美元,完全沒有人工干預。從今天開始,您可以從我們的檢查點開始訓練、微調和部署自己的 MPT 模型,也可以從頭開始訓練。除了基礎的 MPT-7B,為了給您提供更多的靈感,我們還發布了三個微調模型:MPT-7B-Instruct、MPT-7B-Chat 和 MPT-7B-StoryWriter-65k+,其中最後一個使用了 65k 個標記的上下文長度!

瞭解更多:https://www.mosaicml.com/blog/mpt-7b

上一篇:Ram Dass AI... 下一篇:AutoPod:自...
猜你喜歡
熱門閱讀
同類推薦