本申請涉及人工智能視覺與工業機器人伺服控制交叉,且更為具體地,涉及一種基于ai視覺的智能機器人抓取控制方法及系統。
背景技術:
1、隨著工業自動化的深入發展,基于ai視覺的智能機器人抓取控制方法及系統被廣泛應用于無序堆疊雜亂分揀等非結構化場景中。通過引入ai視覺感知,機器人能夠獲取目標物體的實時位姿并進行伺服引導,從而實現高柔性、高精度的自動化抓取作業,顯著提升了生產制造的智能化水平與整體分揀效率。
2、然而,現有的基于ai視覺的抓取控制方法多采用全局固定的眼在手外架構,存在明顯的結構性局限。在機械臂末端執行器俯沖逼近目標對象執行最后一厘米的對準時,龐大的機械夾爪必然會阻斷相機的觀測投影線,產生嚴重的視覺自遮擋。此時,原有的視覺反饋特征全部坍塌或被機械臂自身的結構紋理所替換,導致依賴實時特征反饋的視覺伺服閉環控制瞬間失效,系統直接退化為無反饋的開環盲抓。一旦目標物體在脫離監控的極短時間內發生毫米級滑落,必將導致抓取任務失敗。為了應對這一遮擋盲區問題,部分前沿技術嘗試引入交叉注意力網絡進行特征幻覺補全以實現盲區透視,但這又引出了遞進的技術缺陷:現有補全機制未對遮擋邊界處可見區域與被遮擋區域之間的梯度連續性約束關系進行顯式建模。這種純全局語義匹配的機制缺乏空間拓撲約束,導致補全后的特征在遮擋邊界處極易產生階躍式跳變的特征斷崖現象。該斷崖偽影會被下游的位姿估計網絡誤判為虛假的物體邊緣,進而引發抓取點的系統性偏移,難以滿足工業級高速節拍下對高定位精度與高抓取成功率的嚴苛要求。
3、因此,期望一種優化的基于ai視覺的智能機器人抓取控制方案。
技術實現思路
1、為了解決上述技術問題,提出了本申請。本申請的實施例提供了一種基于ai視覺的智能機器人抓取控制方法及系統。
2、根據本申請的一個方面,提供了一種基于ai視覺的智能機器人抓取控制方法,其包括:
3、s1,基于精確時間同步協議,對原始視覺流和原始運動學流進行時空對齊融合以得到融合狀態張量;
4、s2,對融合狀態張量進行動態遮擋感知與特征剝離以得到時序視覺特征、動態遮擋掩膜和工具點隱向量;
5、s3,對時序視覺特征、動態遮擋掩膜及工具點隱向量進行遮擋區域目標特征透視補齊以得到全局補全特征;
6、s4,基于具有動作策略評估頭的多層感知機結構,對全局補全特征進行六自由度抓取位姿回歸與不確定性評價以得到抓取目標矩陣和不確定度標量;
7、s5,基于自適應阻抗柔順控制律,對抓取目標矩陣與不確定度標量進行閉環動態伺服執行。
8、根據本申請的另一個方面,提供了一種基于ai視覺的智能機器人抓取控制系統,其包括:
9、時空對齊融合模塊,用于基于精確時間同步協議,對原始視覺流和原始運動學流進行時空對齊融合以得到融合狀態張量;
10、動態遮擋感知與特征剝離模塊,用于對融合狀態張量進行動態遮擋感知與特征剝離以得到時序視覺特征、動態遮擋掩膜和工具點隱向量;
11、特征透視補齊模塊,用于對時序視覺特征、動態遮擋掩膜及工具點隱向量進行遮擋區域目標特征透視補齊以得到全局補全特征;
12、位姿回歸與評價模塊,用于基于具有動作策略評估頭的多層感知機結構,對全局補全特征進行六自由度抓取位姿回歸與不確定性評價以得到抓取目標矩陣和不確定度標量;
13、閉環動態伺服執行模塊,用于基于自適應阻抗柔順控制律,對抓取目標矩陣與不確定度標量進行閉環動態伺服執行。
14、與現有技術相比,本發明提出一種基于ai視覺的智能機器人抓取控制方法。其首先將視覺流與運動學流進行嚴格的時空對齊,利用本體運動學解算精準映射出動態遮擋掩膜,并剝離出歷史視覺特征與物理隱向量。隨后,系統將物理遮擋邊界的梯度連續性先驗顯式注入補全網絡中,在隱空間內對被遮蓋區域進行透視化特征幻覺填充,進而消除邊界折角與特征階躍現象,輸出平滑且幾何保真的全局補全特征。最終,系統對該特征進行連續位姿回歸并同步開展網絡不確定性度量,將得出的不確定度標量作為自變量動態調節底層的阻抗剛度矩陣,在有效克服視覺盲區的同時,通過自適應柔順控制實現了容錯率極高的安全物理抓取閉環。
1.一種基于ai視覺的智能機器人抓取控制方法,其特征在于,包括:
2.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,原始視覺流包含深度相機采集的多分辨率彩色圖像矩陣及與之像素對齊的深度圖陣列;原始運動學流包含機械臂各關節實時旋轉角度與角速度及末端工具中心點笛卡爾坐標。
3.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s1,包括:
4.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s2,包括:
5.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s3,包括:
6.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s4,包括:
7.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s5,包括:
8.根據權利要求1的基于ai視覺的智能機器人抓取控制方法,其特征在于,步驟s3,包括:
9.一種基于ai視覺的智能機器人抓取控制系統,其特征在于,包括:
10.根據權利要求9所述的基于ai視覺的智能機器人抓取控制系統,其特征在于,所述位姿回歸與評價模塊,包括: