智能化的機(jī)器人技術(shù)正逐步在珍貴生物樣本的存取任務(wù)中發(fā)揮重大作用。本項(xiàng)目旨在開發(fā)一套視覺輔助的機(jī)械臂挑管系統(tǒng)，其能夠在-30℃的低溫環(huán)境下對(duì)目標(biāo)樣本管實(shí)現(xiàn)精準(zhǔn)的識(shí)別和定位，并經(jīng)過穩(wěn)健的路徑規(guī)劃完成抓取；當(dāng)檢測到抓取失敗等異常情況時(shí)，該系統(tǒng)能自動(dòng)調(diào)整樣本管姿態(tài)并歸放到目標(biāo)位置。整個(gè)項(xiàng)目的預(yù)計(jì)定位誤差需控制在1mm以內(nèi)，能處理攝像頭和機(jī)器人相對(duì)位置發(fā)生變化、樣本管出現(xiàn)斜倚重疊等復(fù)雜情況，具備精度高、響應(yīng)快、魯棒性好的特點(diǎn)。

本項(xiàng)目針對(duì)深低溫條件下挑管系統(tǒng)定位不精確、夾取成功率低的問題，計(jì)劃將傳統(tǒng)圖像處理算法和深度學(xué)習(xí)算法結(jié)合，通過2D工業(yè)相機(jī)獲取凍存盒孔位信息、深度相機(jī)獲取樣本管的距離信息，結(jié)合先進(jìn)的圖像分割與姿態(tài)估計(jì)技術(shù)，確保在異常情況下仍能準(zhǔn)確識(shí)別和定位樣本；通過基于3D視覺信息進(jìn)行機(jī)械臂軌跡規(guī)劃和持續(xù)學(xué)習(xí)，確保機(jī)械臂能夠按照最優(yōu)路徑安全、高效地完成抓取和放置任務(wù)；通過搭建和優(yōu)化機(jī)械臂仿真實(shí)驗(yàn)平臺(tái)，通過強(qiáng)化學(xué)習(xí)的訓(xùn)練和仿真到現(xiàn)實(shí)的算法開發(fā)，提高系統(tǒng)的實(shí)用性和適應(yīng)性。

1. 實(shí)現(xiàn)了Hough圓檢測、基于形狀的模板匹配等傳統(tǒng)圖像處理算法，以及FoundationPose、Sam6D等深度學(xué)習(xí)姿態(tài)估計(jì)算法的開發(fā)和部署；

2. 實(shí)現(xiàn)了機(jī)械臂挑選目標(biāo)樣本管并歸置的任務(wù)、準(zhǔn)確地定位挑管，并對(duì)斜倚、掉管等異常樣本管情況進(jìn)行識(shí)別與相應(yīng)抓取方式的規(guī)劃；

3. 實(shí)現(xiàn)了一個(gè)機(jī)械臂揀選任務(wù)的仿真系統(tǒng)，并利用Isaac Gym對(duì)機(jī)械臂的抓取進(jìn)行強(qiáng)化訓(xùn)練。