在近日結(jié)束的「達(dá)闥杯」機(jī)器人大模型與具身智能挑戰(zhàn)賽中，來自全球各地的頂尖高校紛紛用大模型、具身智能等先進(jìn)技術(shù)，打造出各具特色的機(jī)器人咖啡廳。其中，澳大利亞阿德萊德大學(xué)、北京航空航天大學(xué)、同濟(jì)大學(xué)、文山學(xué)院、西安理工大學(xué)、西北工業(yè)大學(xué)、中山大學(xué)七所學(xué)府憑藉他們在任務(wù)執(zhí)行上穩(wěn)健可靠的表現(xiàn)榮獲三等獎。
從阿德萊德大學(xué)的多技術(shù)集成系統(tǒng)到同濟(jì)大學(xué)智能咖啡廳服務(wù)機(jī)器人的自然語言理解互動，從北京航空航天大學(xué)咖啡廳機(jī)器人的高級多模態(tài)感知和交互能力到西安理工大學(xué)的環(huán)境感知與問答接口的構(gòu)建，他們運用先進(jìn)的技術(shù)和創(chuàng)新的思維，為機(jī)器人技術(shù)的發(fā)展和應(yīng)用提供了新的思路和方向。一起來看看他們的作品吧！
阿德萊德大學(xué)
團(tuán)隊成員：李澤瑞、曹景行、周耕澤、喬灧媛
指導(dǎo)老師：吳琦
澳大利亞阿德萊德大學(xué)團(tuán)隊開發(fā)了一套多技術(shù)集成系統(tǒng)，用於執(zhí)行複雜任務(wù)。該系統(tǒng)結(jié)合了深度優(yōu)先搜索、RGBD物體識別和姿態(tài)估計、目標(biāo)檢測與定位等方法，實現(xiàn)對環(huán)境的全面探索並記錄關(guān)鍵信息。此外，通過頭部RGBD攝像頭監(jiān)測圖像變化來輔助傳統(tǒng)物體檢測技術(shù)，以識別人員及導(dǎo)航任務(wù)中的視覺信號。團(tuán)隊還整合了大型語言模型進(jìn)行場景相關(guān)的多輪對話，並通過預(yù)設(shè)好的機(jī)器人動作接口來執(zhí)行基於視覺語言指令的操作任務(wù)。
北京航空航天大學(xué)
團(tuán)隊成員：余俊傑、王宇航、唐雋哲、李鑫
指導(dǎo)老師：于黎明
北京航空航天大學(xué)開發(fā)的機(jī)器人集成了最新的大模型技術(shù)、深度強(qiáng)化學(xué)習(xí)和跨模態(tài)AI技術(shù)，具備高級多模態(tài)感知和交互能力。該機(jī)器人能夠在環(huán)境中主動探索並建立3D點雲(yún)地圖以實現(xiàn)位置感知，並使用A*算法進(jìn)行路徑規(guī)劃。它還整合了大型語言模型來理解自然語言，使其能夠與人類有效交流，並執(zhí)行任務(wù)如接單、操作設(shè)備和遞送物品。通過強(qiáng)化學(xué)習(xí)訓(xùn)練，機(jī)器人可以自主導(dǎo)航並適應(yīng)複雜環(huán)境。此外，它還具有自主巡航功能，可以檢測並處理異常情況如桌面污漬或地面垃圾。
同濟(jì)大學(xué)
團(tuán)隊成員：齊曉燕、麻開菁、唐藝寧、劉嘉迅
作品名稱：基於大語言模型的咖啡廳服務(wù)機(jī)器人智能化設(shè)計與實現(xiàn)
指導(dǎo)老師：陳啟軍、劉成菊
同濟(jì)大學(xué)團(tuán)隊的智能咖啡廳服務(wù)機(jī)器人基於大語言模型技術(shù)，在仿真環(huán)境中通過自然語言理解與人類進(jìn)行有效互動，能夠執(zhí)行包括安排座位、控制空調(diào)和點餐等任務(wù)。為了提升機(jī)器人的泛化能力，團(tuán)隊還建立了一個豐富的語料數(shù)據(jù)庫，並確保其關(guān)鍵功能如主動探索、多輪對話、視覺導(dǎo)航和操作等得到涵蓋。
文山學(xué)院
團(tuán)隊成員：潘成權(quán)、姜宇、張肖、張周楊
作品名稱：LLM驅(qū)動的智能機(jī)器人場景化應(yīng)用
指導(dǎo)老師：曹知
文山學(xué)院團(tuán)隊基於達(dá)闥提供的RDK開發(fā)，成功實現(xiàn)了場景理解記憶、多輪對話、視覺導(dǎo)航和交互操作。這些功能被應(yīng)用到現(xiàn)實場景中，進(jìn)一步優(yōu)化了大模型和視覺導(dǎo)航效果。團(tuán)隊將繼續(xù)通過視覺語言模型進(jìn)行項目優(yōu)化，以提升機(jī)器人在現(xiàn)實環(huán)境中的表現(xiàn)。
西安理工大學(xué)
團(tuán)隊成員：趙琛、李劭軒、李森垚、劉海鑫、王子豪、王志陽、屈澤宇、高琪浩、劉浩森
指導(dǎo)老師：王一川
西安理工大學(xué)團(tuán)隊的作品基於達(dá)闥提供的擬真平臺，實現(xiàn)了環(huán)境感知與建模，採用了3D點雲(yún)圖構(gòu)建技術(shù)。作品結(jié)合了百度智能雲(yún)千帆大模型平臺，利用文心一言模型構(gòu)建了問答接口，實現(xiàn)了與顧客的簡單交流。團(tuán)隊還集成了YOLOv5模型，及時識別顧客的到來，為後續(xù)服務(wù)提供起點。此外，作品還採用了jieba分詞組件對顧客需求進(jìn)行解析，將顧客意圖與服務(wù)機(jī)器人的行為相對應(yīng)。
西北工業(yè)大學(xué)
團(tuán)隊成員：黎栗譙、詹涵文、劉鵬、王穎琦、付怡祺
作品名稱：基於大模型的具身智能咖啡廳服務(wù)機(jī)器人
指導(dǎo)老師：趙聞
西北工業(yè)大學(xué)團(tuán)隊將星火大模型引入機(jī)器人的控制，在達(dá)闥提供的仿真環(huán)境中，通過引入機(jī)器人與大模型的問答機(jī)制，成功將大模型賦能咖啡廳機(jī)器人，打造了一個智能的咖啡廳服務(wù)人形機(jī)器人。團(tuán)隊還開發(fā)了一套大模型控制框架，通過自然語言與大模型對話，實現(xiàn)機(jī)器人自主控制。在比賽中，團(tuán)隊基本完成了比賽方要求的四個規(guī)定任務(wù)，並完成了一部分開放任務(wù)，展現(xiàn)了較高的技術(shù)水平和創(chuàng)新能力。
中山大學(xué)
團(tuán)隊成員：宋昕帥、江凱萱、羅經(jīng)周、陳衛(wèi)興、劉陽、李冠彬、林倞
作品名稱：面向咖啡店場景的多模態(tài)具身交互Agent
指導(dǎo)老師：劉陽，李冠彬，林倞
中山大學(xué)團(tuán)隊為機(jī)器人咖啡廳設(shè)計了豐富的劇本流程，針對各種場景完成指定的任務(wù)，豐富而不失隨機(jī)性的劇本設(shè)計為整個流程增添樂趣。作品實現(xiàn)流程分為三個階段：探索環(huán)境、交互與推理。通過視覺模塊、控制模塊與大模型模塊這三個功能模塊實現(xiàn)。團(tuán)隊藉助達(dá)闥提供的模擬場景與機(jī)器人，成功實踐了一次大模型+具身智能的應(yīng)用。在達(dá)闥提供的豐富接口的支持下，他們設(shè)計出各種各樣的任務(wù)和控制接口，實現(xiàn)了豐富的機(jī)器人與物、機(jī)器人與人交互。
「達(dá)闥杯」機(jī)器人大模型與具身智能挑戰(zhàn)賽旨在考驗團(tuán)隊在大模型技術(shù)和具身智能領(lǐng)域的創(chuàng)新能力和技術(shù)水平。各參賽團(tuán)隊相互學(xué)習(xí)、深度探討，展現(xiàn)出了高水平的技術(shù)創(chuàng)新和實用性，讓觀眾得以目睹未來機(jī)器人技術(shù)的發(fā)展方向。期待未來有更多的優(yōu)秀團(tuán)隊加入到機(jī)器人大模型與具身智能的研究中來，共同推動這一領(lǐng)域的發(fā)展和進(jìn)步。
更多大賽精彩回顧及選手幕後故事，將在達(dá)闥公眾號陸續(xù)更新，敬請關(guān)注！
掃描微信公眾號
