面壁智慧釋出 Eurux-8x22B 開源大模型:程式碼效能超越 Llama3-70B

首頁 > 科技

面壁智慧釋出 Eurux-8x22B 開源大模型:程式碼效能超越 Llama3-70B

來源:海底探探 釋出時間:2024-05-07 10:58

IT之家 5 月 3 日訊息,面壁智慧釋出開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。

官方測試中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 程式設計真題)與 TheoremQA (IT之家注:美國大學水準的 STEM 題目)測試超越了 Llama3-70B,在 LeetCode 測試上超越閉源的 GPT-3.5-Turbo。

▲ 官方測試結果

據介紹,Eurux-8x22B 模型啟用引數 39B,支援 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊資料集上訓練而成。

▲ 官方測試資料

UltraInteract 是專門設計用於提升大模型推理能力的大規模、高質量的對齊資料集,包含了覆蓋數學、程式碼和邏輯推理問題的 12 個開源資料集的 86K 條指令和 220K 偏好對,共有五十萬條左右資料。

IT之家 5 月 3 日訊息,面壁智慧釋出開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。

官方測試中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 程式設計真題)與 TheoremQA (IT之家注:美國大學水準的 STEM 題目)測試超越了 Llama3-70B,在 LeetCode 測試上超越閉源的 GPT-3.5-Turbo。

▲ 官方測試結果

據介紹,Eurux-8x22B 模型啟用引數 39B,支援 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊資料集上訓練而成。

IT之家 5 月 3 日訊息,面壁智慧釋出開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。

官方測試中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 程式設計真題)與 TheoremQA (IT之家注:美國大學水準的 STEM 題目)測試超越了 Llama3-70B,在 LeetCode 測試上超越閉源的 GPT-3.5-Turbo。

▲ 官方測試結果

據介紹,Eurux-8x22B 模型啟用引數 39B,支援 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊資料集上訓練而成。

IT之家 5 月 3 日訊息,面壁智慧釋出開源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 與 Eurux-8x22B-KTO,主打推理能力。

官方測試中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 程式設計真題)與 TheoremQA (IT之家注:美國大學水準的 STEM 題目)測試超越了 Llama3-70B,在 LeetCode 測試上超越閉源的 GPT-3.5-Turbo。

▲ 官方測試結果

據介紹,Eurux-8x22B 模型啟用引數 39B,支援 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊資料集上訓練而成。

上一篇:養老金“20漲”... 下一篇:中國唯一可直...
猜你喜歡
熱門閱讀
同類推薦