鴻海研究院推出具備推理能力的繁體中文LLM

(SeaPRwire) –   AI研究中心的首個版本在數學和推理方面表現出色

TAIPEI, March 10, 2025 — Hon Hai Research Institute 今天宣布推出首個繁體中文大型語言模型（LLM），在短短四周內完成，以更高效、更低成本的模型訓練方法，為台灣AI技術的發展樹立了另一個里程碑。

該研究所由全球最大的電子製造商和領先的技術解決方案提供商 Hon Hai Technology Group (“Foxconn”) (TWSE:2317) 支持，表示該 LLM（代號 FoxBrain）未來將開源並公開共享。它最初是為集團內部系統中使用的應用程式而設計，涵蓋資料分析、決策支援、文件協作、數學、推理和問題解決以及程式碼生成等功能。

FoxBrain 不僅展示了強大的理解和推理能力，還針對台灣使用者的語言風格進行了優化，在數學和邏輯推理測試中表現出色。

“近幾個月來，推理能力的深化和 GPU 的高效利用已逐漸成為 AI 領域的主流發展趨勢。我們的 FoxBrain 模型採用了非常高效的訓練策略，專注於優化訓練過程，而不是盲目地積累計算能力，” Hon Hai Research Institute 人工智慧研究中心主任 Yung-Hui Li 博士說。“透過精心設計的訓練方法和資源優化，我們成功地構建了一個具有強大推理能力的本地 AI 模型。”

FoxBrain 的訓練過程由 120 個 提供支援，並透過 InfiniBand 網路進行擴展，大約在四周內完成。與最近在市場上推出的推理模型相比，更高效、更低成本的模型訓練方法為台灣AI技術的發展樹立了新的里程碑。

FoxBrain 基於 Meta Llama 3.1 架構，具有 70B 參數。在 TMMLU+ 測試資料集的大多數類別中，它優於相同規模的 Llama-3-Taiwan-70B，尤其是在數學和邏輯推理方面表現出色（有關 FoxBrain 的 TMMLU+ 基準測試，請參閱圖 1）。以下是 FoxBrain 的技術規格和訓練策略：

• 透過專有技術，為 24 個主題類別建立資料增強方法和品質評估，為繁體中文產生 98B 個高品質的預訓練 tokens
• 上下文視窗長度：128 K tokens
• 使用 120 個 NVIDIA H100 GPU 進行訓練，總計算成本為 2,688 GPU 天
• 採用多節點平行訓練架構，確保高效能和穩定性
• 使用獨特的自適應推理反思技術來訓練模型進行自主推理

在測試結果中，與基礎 Meta Llama 3.1 模型相比，FoxBrain 在數學方面表現出全面的改進。與目前最好的繁體中文大型模型 Taiwan Llama 相比，它在數學測試中取得了顯著進展，並在數學推理能力方面超越了 Meta 目前的同類模型。雖然與 DeepSeek 的蒸餾模型相比仍有輕微差距，但其效能已非常接近世界領先水準。

FoxBrain 的開發——從資料收集、清理和增強，到持續預訓練、監督微調、RLAIF 和自適應推理反思——是透過獨立研究逐步完成的，儘管計算資源有限，但最終實現了接近世界一流 AI 模型的好處。這項大型語言模型研究表明，台灣的技術人才可以在 AI 模型領域與國際同行競爭。

儘管 FoxBrain 最初是為集團內部應用程式而設計的，但未來，該集團將繼續與技術合作夥伴合作，以擴展 FoxBrain 的應用程式、共享其開放原始碼資訊，並在製造、供應鏈管理和智慧決策中推廣 AI。

在模型訓練期間，NVIDIA 透過Taipei-1 超級電腦和技術諮詢提供支援，使 Hon Hai Research Institute 能夠成功完成 NVIDIA NeMo 的模型預訓練。FoxBrain 也將成為推動 Foxconn 三大平台升級的重要引擎：智慧製造、智慧電動車、智慧城市。

FoxBrain 的成果預定於 3 月 20 日在 NVIDIA GTC 2025 Session Talk “”期間的主要會議上首次分享。

關於 Hon Hai Research Institute

該研究所有五個研究中心。每個中心平均有 40 名高科技研發專業人員，他們都專注於新技術的研發、加強 Foxconn 的技術和產品創新管道、努力支持集團從「蠻力」向「腦力」的轉型，以及提升 Foxconn「3+3」戰略的競爭力。

關於 Foxconn 。

Photo –