全球 NAND 控制晶片暨儲存方案技術領導廠商 群聯 (Phison, 8299TT) 今日宣布,其邊緣 AI 訓練與推論解決方案 aiDAPTIV+ 再度升級,提供更多擴充能力。aiDAPTIV+ 將整合至 Maingear 的ML 系列筆電,這款 AI 筆電將成為全球首款支援 LLMOps (Large Language Model Operations; 大型語言模型作業) 的消費級筆電,使用者用戶將可使用自身企業或個人資料來微調 (Post-training/Fine-tuning) 最多 80 億 (8B) 參數的大型語言模型 (LLM),讓預訓練 (Pre-trained) 的AI模型能依據邊緣應用場景與使用者需求進行客製化 (Post-training),以達到真正的AI落地普及化。此款搭載 NVIDIA GPU的AI筆電將於本週 (3/17-21, San Jose, USA) 於NVIDIA GTC 2025 展示概念機並開放登記購買。此外,群聯也將 aiDAPTIV+ 擴展至支援 NVIDIA Jetson 平台的邊緣運算設備,強化在邊緣端的生成式 AI 推論與機器人應用。
隨著此次升級,aiDAPTIV+ 用戶將迎來全新的 aiDAPTIVLink 3.0 中介軟體 (Middleware Software),提供更快的首次回應時間 (Time to First Token, TTFT),並延長 Token 長度,以提升推論效能與準確性。此擴展將進一步開啟更多應用機會,無論是大學生或AI 產業專業人士學習 LLM 訓練,或是研究人員透過 PC 深入解析自身資料,甚至是製造工程師透過邊緣運算設備自動化工廠生產流程,皆能受益於 aiDAPTIV+此次的功能升級。
AI 與邊緣運算應用場景日益增多,市場對 AI 開發人才的需求持續攀升。開發者需要親身操作 LLM 訓練解決方案,以建立未來AI應用所需要的AI軟體或是專屬邊緣AI模型,而政府機構、研究機構、醫療與工業組織等高度受監管之產業,則需要邊緣、安全的地端AI設備來進行私有資料的 AI模型微調訓練 (Post-training/Fine-tuning)。此外,市場對 LLM 推論速度與準確度的要求不斷提升,企業更希望在可預測的成本下,獲得最佳解決方案。aiDAPTIV+ 以經濟實惠的 GPU 記憶體擴充能力,讓用戶可在邊緣封閉式安全網路內微調訓練大語言模型 (LLM),並透過直覺化軟體介面與AI模型互動,獲取所需的AI生成關鍵資訊。
「延續去年 GTC 展出的 aiDAPTIV+ AI 訓練工作站熱潮,我們與群聯深化合作,推出概念性 AI 筆電,讓強大的邊緣 AI 推論與裝置端模型訓練無處不在。」Maingear 執行長 Wallace Santos 表示,「這項技術突破將邊緣 AI 能力帶入輕便的行動平台,為企業、教育機構與學生提供經濟高效的 AI 開發工具,無需倚賴傳統數據中心基礎設施。」
(英文原文: “Building on the momentum of last year’s AI training workstation featuring aiDAPTIV+ at GTC, we’ve expanded our collaboration with Phison to take AI performance even further by introducing a proof-of-concept laptop that enables both powerful edge AI inference and on-device model training from anywhere,” said Wallace Santos, CEO of Maingear. “This brings the capabilities of on-prem AI to a compact, mobile platform, giving businesses, educators, and students a cost-effective tool to develop AI models without the complexity of traditional data center infrastructure.”)
群聯電子執行長潘健成表示,AI的發展已經來到一個關鍵時刻,企業、學術界與開發者都需要更靈活、高效的邊緣AI解決方案來擴大AI的落地應用。群聯的aiDAPTIV+不僅讓用戶能在個人筆電或邊緣設備上訓練與推理AI模型,還確保資料安全、降低成本,真正實現AI邊緣運算的便利性。今年,我們與Maingear攜手推出全球首款支援LLMOps的AI筆電,並強化aiDAPTIVLink 3.0的效能,讓LLM的回應速度更快、理解力更強。此外,群聯進一步擴展與NVIDIA Jetson平台的合作,將aiDAPTIV+導入邊緣運算與機器人應用,讓更多產業如製造、醫療、零售、智慧監控等領域,都能透過AI提升營運效率與決策精準度。透過這些技術突破,我們希望幫助更多企業與開發者打破AI導入技術門檻,加速AI落地應用,讓智慧運算真正融入日常工作與生活。
aiDAPTIV+ 最新升級功能:
▶ Maingear ML 系列 AI 筆電,內建 aiDAPTIV+ 支援 LLMOps
這款 AI 筆電為全球首款支援 LLMOps 微調訓練與推論的消費級筆電,可處理最多 80 億參數的模型。Maingear AI 筆電搭載 aiDAPTIVCache SSD、aiDAPTIVLink 中介軟體,以及 Pro Suite 圖形化 LLMOps 全方位功能,涵蓋資料導入、微調、檢索增強生成 (RAG)、監控、驗證與推論。用戶可透過 Maingear 登記,獲取訂購與出貨通知。
▶ aiDAPTIVLink 3.0 中介軟體
新版 aiDAPTIVLink 3.0 可強化推論能力,提供更快的 TTFT 回應速度,並支援更長的 Token 長度,提升語意理解與回答準確度。此功能將於 2025 年 4 月推出。
▶ aiDAPTIV+ AI 推論支援 IoT 邊緣運算
aiDAPTIV+ 現已支援邊緣運算與機器人應用,並通過群聯驗證,可在 NVIDIA Jetson 平台設備上運行。aiDAPTIV+ 透過 aiDAPTIVCache SSD 強化推論能力,並支援 LoRA 架構 LLM 訓練,將於 2025 年 4 月上市。此升級可應用於自動駕駛、醫療診斷、工業自動化、零售分析、環境監測、電信、智慧監控及智慧農業等領域。
欲了解更多資訊,歡迎蒞臨 NVIDIA GTC 展覽攤位 (2224),現場將展示 Maingear AI 筆電與 aiDAPTIV+ 在邊緣運算上的 AI 推論應用,或前往官方網站查詢最新消息。