本項目的主題為“人工智能驅(qū)動的雙臂機械手在先進工業(yè)自動化中的應(yīng)用”，聚焦于當(dāng)前工業(yè)分揀場景中面臨的多機械臂協(xié)作難、交互不自然和大型物體操作困難等問題。項目基于人工智能技術(shù)，設(shè)計并實現(xiàn)了一套多臂協(xié)作控制系統(tǒng)，涵蓋感知、控制仿真、元技能及智能體等多個模塊，旨在提升機械臂在復(fù)雜工業(yè)環(huán)境下的智能化與靈活性。系統(tǒng)依托于視覺感知與語言理解能力，集成控制仿真平臺與實際硬件實驗平臺，結(jié)合虛實融合方案，構(gòu)建完整的從任務(wù)理解、操作規(guī)劃到動作執(zhí)行的閉環(huán)流程。

項目旨在構(gòu)建一個智能驅(qū)動的多臂協(xié)作控制系統(tǒng)，提升工業(yè)自動化生產(chǎn)中的柔性分揀與復(fù)雜操作能力。為此，系統(tǒng)集成了四大核心模塊：三維感知模塊用于識別和理解復(fù)雜場景下的物體類型和形狀；控制與仿真模塊通過Isaac Sim和ROS進行虛擬任務(wù)訓(xùn)練和路徑規(guī)劃；元技能模塊基于從人類示教中提取的操作動作，訓(xùn)練通用技能模型以支持多類任務(wù)；智能體模塊實現(xiàn)人機自然交互，通過語言和視覺指令生成高層策略計劃。最終目標(biāo)是實現(xiàn)高效協(xié)同、多任務(wù)處理和人機融合的自動化系統(tǒng)，以適應(yīng)未來智能制造的發(fā)展需求。

項目已構(gòu)建完成一套包括仿真平臺與真實雙臂實驗平臺在內(nèi)的完整系統(tǒng)，實現(xiàn)了人工智能與機器人系統(tǒng)的深度融合。在三維感知方面，項目支持多視覺模型融合，提高了在復(fù)雜場景下的物體識別精度；控制仿真部分借助Isaac-ROS與MoveIt構(gòu)建任務(wù)虛擬訓(xùn)練流程并生成控制數(shù)據(jù)；元技能模塊成功從人類示范中提取通用技能，具備良好的遷移能力與成功率；智能體模塊可通過自然語言指令與用戶交互，顯著提升人機協(xié)作效率。項目不僅驗證了系統(tǒng)的可行性與實用性，也為智能雙臂機械手在工業(yè)自動化領(lǐng)域的推廣應(yīng)用提供了堅實支撐。