中國科學網手機版

首頁 > 科技 > 資訊 > 文章詳情頁

星光麒麟端側AI大模型應用“星語對話”首次亮相

  近日,第八屆瑞芯微開發者大會(RKDC2024)期間,基于大模型的星光麒麟端側AI應用“星語對話”首次亮相。“星語對話”目前已完成技術路線驗證并在RK3588上成功部署,可向端側用戶提供本地化生成式人工智能(AIGC)能力。

在軟件技術分論壇上,麒麟軟件專題分享了星光麒麟云邊端的AI框架。目前,除了布局端側AI大模型,星光麒麟AI框架還在不斷提升云邊端靈活協同的能力,提出了面向萬物智聯操作系統的云邊端AI架構。

在端側,“星語對話”已具備智能問答、邏輯生成和多語言等能力。在智能問答方面,能夠模擬人與人之間的對話過程。當用戶提出問題時,系統通過自然語言處理(NLP)理解問題,然后檢索或推理相關信息,并將答案轉化為自然語言回復用戶。

在邏輯生成方面,通過數據清洗和數據預處理,基于模型訓練自動調整權重和參數,最大程度地減少生成結果與真實文本之間的損失。在生成文本時,根據輸入信息和已學習到的語言規律進行邏輯推理,識別和應用適當的邏輯規則,以更準確、合理且連貫地生成文本。

“星語對話”的多語言特性能夠理解和處理多種語言,為用戶提供跨語言的智能對話體驗。通過訓練不同語言的數據,在模型中實現語言間的知識傳遞,使得用戶無論使用哪種語言都能得到高質量、智能化的回復。

除端側AI大模型的布局外,星光麒麟AI框架還在不斷提升云邊端靈活協同的能力,提出了面向萬物智聯操作系統的云邊端AI架構。

例如通過RAG技術結合行業知識庫,提高計算結果準確度;在應用場景切換時,將對應的Agent能力進行切換,包括模型切換,應用上下文切換,會話掛起等操作;模型編排框架模塊負責組織、調度和管理多個機器學習模型,解決復雜場景下多模型的切換及調度;提供云端AI能力下發,端側便捷部署,云端Al編排,邊側自組網的協同計算等能力;提供高效存儲和檢索大規模向量數據的系統,具有高效的相似性搜索功能、多樣化的查詢支持、在線更新和擴展能力等特點,為各種應用場景下的向量數據需求提供了強大的支持;負責云側、端側模型管理。端側數據上報,云側模型自學習后,新模型下發。端側模型更新,升級。

不同場景的復雜度不同,對底層大模型的輸出精準性要求有所側重,云邊端計算框架根據場景選擇模型和算力來源,可靈活地在云端、邊緣端或終端設備上執行特定的操作或計算任務。

在云端部署方面,使用Paddle開源平臺、訊飛語音SDK、星火大模型SDK等,實現語音識別、語音播報、語音翻譯、問題回答、文章生成、語言翻譯、代碼生成、創造性寫作等多種功能。

在邊緣側部署方面,利用軟總線組網后進行數據傳輸,在邊側設備完成模型推理并獲取結果,合理分配任務和算力。

在端側部署方面,使用Whisper語音模型、高性能通用部署解決方案MLC,部署在移動設備上,實現離線的語音識別、問題問答、語言翻譯等功能。

隨著人工智能(AI)技術的不斷發展,操作系統融入AI技術已成為一條必由之路。星光麒麟將利用AI技術不斷提高操作系統的資源管理和調度能力,提升系統穩定性,為用戶提供更加智能、高效和安全的服務體驗,為人機物融合泛在計算提供支撐。

【版權聲明】凡本站未注明來源為"中國科學網"的所有作品,均轉載、編譯或摘編自其它媒體,轉載、編譯或摘編的目的在于傳遞更多信息,并不代表本站及其子站贊同其觀點和對其真實性負責。其他媒體、網站或個人轉載使用時必須保留本站注明的文章來源,并自負法律責任。 中國科學網對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。

 
 
 

分類導航

關于我們 | 網站地圖 | 網站留言 | 廣告服務 | 聯系我們 biz@minimouse.com.cn

版權所有 中國科學網www.hnlwzz.com

{"error":401,"message":"site error"}http://www.hnlwzz.com/plan/2024/0314/100902.html
久久精品国产亚洲AV香蕉,性色无码毛片av,97在线视频人妻无码182,精选av一区二区三区