在線群聊極大地方便了人們的溝通方式,能否把機器也拉進群,讓它們組團商量著干活,并和人類無障礙地溝通和交流,更好地服務于生產生活?
西工大建立無人機自主“聊天群”。西北工業大學提供
西北工業大學28日透露,近日,該校光電與智能研究院李學龍教授和同事們在機器交互方面取得創新進展:基于國產大模型,研發了“群聊式”無人機控制框架,給每架無人機裝上了大腦,讓無人機集群在語言溝通中動態協同,實現了開放環境下“人機”和“多機”的對話交互,打破人類和機器的交互壁壘,進一步拓展了臨地安防的應用場景。
據介紹,受人類的認知模式啟發,團隊將認知形成的高度自主性凝練為“思維計算—實體控制—環境感知”的三元交互,建立了“書生·浦語”開源大模型驅動的自主無人機“群聊式”控制框架,實現了開放環境和復雜任務中的智能交互、主動感知和自主控制,提高了無人機任務執行的自主性。
總體而言,類人對話交互、主動環境感知、自主實體控制,是自主無人機集群的主要能力。
探索人類用戶與無人機的交互方式,讓無人機理解復雜任務中的用戶需求,是實現自主無人機的前提條件。
針對此,團隊提出“群聊式”對話交互方法,將聲音、圖像和無人機自身狀態等多種信息,通過大模型轉換為自然語言的對話形式,實現了用戶與無人機,以及無人機與無人機之間自主和直觀的交互方式。同時,團隊設計了一套高效的實時反饋機制,使得無人機能夠在任務執行的關鍵節點通過對話報告自身狀態、尋求用戶確認,大大提高了復雜任務執行的穩定性和安全性。
在飛行過程中,無人機主動感知外部環境,實時調整任務規劃,是完成復雜任務的關鍵環節。
針對此,團隊設計了任務引導的主動感知機制,提出了多傳感器融合的低空搜索、動態避障和視覺定位算法。在實際任務執行中,根據感知信息和任務目標,動態調整無人機飛行路徑和觀測位姿,嘗試從不同角度和位置感知周圍世界,逐漸降低環境中的不確定性,實現高效的信息采集和任務執行。
探索復合智能體形態,增強復雜任務處理能力,是大模型時代新型智能體的研究重點。
針對此,團隊依托無人機平臺設計了夾爪等末端執行器,將傳統無人機拓展為“飛行機器人”,長出“手”來,具備抓取能力。同時,構建了異構無人機集群協同控制機制,結合環境感知反饋,實時調整無人機編隊的飛行狀態,使集群分工執行區域搜索、目標定位和抓取等任務。
據悉,大模型自主無人機集群是團隊將生物智能“思維計算—實體控制—環境感知”的三元交互模式應用于自主智能體的一次成功嘗試,依托大語言模型、無人機平臺和多種傳感器,實現對話交互、主動感知和自主控制,對安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義。(完)
特別聲明:本站注明稿件來源為其他媒體的文/圖等稿件均為轉載稿,本站轉載出于非商業性的教育和科研之目的,并不意味著贊同其觀點或證實其內容的真實性。如轉載稿涉及版權等問題,請作者在兩周內速來電或來函聯系。