聯發科 推繁中大型語言模型
聯發科表示,本次公開釋出以開源語言模型BLOOM開發的繁體中文大型語言模型(Large language model),比目前開源可用的最大繁體中文模型大1,000倍,所使用的訓練資料也多1,000倍。該模型已公開讓外界下載,可應用於問答系統、文字編修、廣告文案生成、華語教學、客服系統等。
聯發創新基地負責人許大山表示,大型語言模型是近年來人工智慧技術進步的亮點,更是未來進步不可或缺的基石。此次結合中研院及國教院,成爲臺灣極少數能訓練大型語言模型的團隊,以透明、開放和包容的方式,善用技術、人才及資源,既發展自主訓練大型人工智慧模型的能力,也讓繁體中文的大型語言模型研究及應用更爲普及。
開放原始碼釋出的大型語言模型,目前多數仍以英文爲主要優化的對象,繁體中文的語言模型相對不足。有鑑於開放原始碼繁體中文大型語言模型的重要性與迫切性,在2022年5月,聯發創新基地、中央研究院和國家教育研究院展開合作計劃,使用大型語言模型BLOOM的繁體中文模型再訓練與優化。
目前開放系列中第一個有量級跳躍意義的繁體中文語言模型,聯發創新基地也暫備一個手機網頁介面,供研究者試用。
爲建立該項語言模型,國家教育研究院提供了大量高品質的繁體中文語料,作爲主要的訓練材料。聯發創新基地則建置了訓練的硬體環境,制訂各種符合國際標準的繁體中文評量指標,收集更近期的語料,並對模型進行能更有效讀懂使用者的指示(prompt)的特別訓練。