中國電信消息,近日中國電信開源12B參數規模星辰語義大模型TeleChat-12B,相較1月開源7B版本,內容、性能和應用等方面整體效果提升30%,其中,多輪推理、安全問題等領域提升超40%。在C-eval、MMLU、AGIEVAL等國際權威榜單上,排名處于國內同級別參數開源模型的前列,進一步促進大模型開源生態繁榮,助力AI產業加速高質量發展。另據悉,中國電信將于年內開源千億級參數大模型。
中國電信人工智能研究院(TeleAI)堅持完全自研自主可控,在中國電信首席技術官、人工智能首席科學家、TeleAI院長李學龍帶領下,加快研發創新,不斷優化底層模型結構,解除Word Embedding與lmhead共享參數,有效提升模型穩定性和訓練效果,并基于精細化的CheckPoint效果驗證,進行動態的數據配比優化調整,大幅提升模型訓練效果。
海量高質量數據是保證大模型效果的基礎,TeleChat-12B將7B版本1.5T訓練數據提升至3T,優化數據清洗、標注策略,持續構建專項任務SFT(監督微調)數據,優化數據構建規范,大大提升數據質量;同時,基于電信星辰大模型用戶真實回流數據,優化獎勵模型和強化學習模型,有效提升模型問答效果。
TeleAI通過更徹底地開源推動大模型技術進步和大模型國產化進程。此次開源提供基礎模型以及基于相應版本的對話模型、不僅支持傳統的全量參數更新還支持 LoRA 等只更新部分參數的高效微調方法、支持Deepspeed微調、支持int8、int4量化和國產芯片訓練推理,推動大模型國產化進程。
加速探索創新的同時,星辰大模型也在深入推動人工智能與各行各業的融合,積極探索新興的應用場景。星辰語義大模型已應用于行文寫作、代碼編程、網絡故障分析以及經營分析等場景,以行文寫作為例,其平均生成字數超過1500字,有效采納率達到85.7%;在對外企事業單位客戶的業務中,星辰語義大模型支持企業經營分析、政務公開咨詢、民生訴求接待等場景,可覆蓋95%的實際業務場景,多輪理解準確率達到90%。除傳統行業應用場景,星辰大模型積極探索前沿領域應用,賦能具身智能,解決無人機編排投入多、開發量大的問題,實現無人機智能編排輕量化建設。
據悉,星辰大模型已廣泛應用落地,賦能千行百業轉型升級。客服大模型在全國試點上線18個服務場景,充分賦能智慧客服和數字人,在激活十億級的日志、百億級的網絡參數等海量數據資產的基礎上,進一步深化智能化運營;星辰政務大模型已落地某市民生訴求場景,為市民提供在線文本問答服務,提升政務服務能力,提高市民滿意度;星辰經分大模型已落地某市經信局行業大模型,利用大模型生成能力快速草擬相關產業研究報告,簡化知識檢索流程,快速、精準查詢所需知識內容,以便迅速、準確地掌握發展動態,支持決策過程,并追蹤全球經濟形勢和科技創新,滿足迫切的產業洞察和分析需求。