本發明涉及智能家居與機器人聯動，尤其涉及基于語義協同的智能家居中控屏與服務機器人聯動方法。
背景技術：
1、隨著智能家居與服務機器人技術的快速融合，家庭場景中智能設備與機器人的協同應用日益廣泛，目前市場上的智能家居系統普遍存在以下問題：
2、1、控制入口分散：缺乏統一交互平臺，用戶需通過（手機app、語音助手、墻面開關等）多個獨立入口操作不同設備，體驗割裂；
3、2、機器人交互不直觀：現有家用機器人（如配送、清潔類）通常依賴app點選坐標或預設路徑，無法理解“餐桌”“沙發旁”等自然空間語義，導致任務失敗率高；
4、3、缺乏空間上下文感知機制：中控屏僅能控制固定設備（如燈、空調），無法與移動機器人共享環境理解，難以實現“取物-送物-照明引導”等復合任務；
5、4、多設備協同能力弱：即使支持場景模式，也多為靜態規則（如“觀影模式=關燈+開電視”），無法根據機器人實時位置動態調整其他設備狀態；
6、例如，用戶發出“讓機器人把藥從電視柜拿來”的指令時，現有系統因無法將自然語言標簽映射為具體物理位置和物體，往往無法執行；或需用戶手動在app地圖上點擊坐標，操作繁瑣且易錯；
7、綜合上述情況，本技術提出了一種基于語義協同的智能家居中控屏與服務機器人聯動方法。
技術實現思路
1、基于背景技術存在的技術問題，本發明提出了基于語義協同的智能家居中控屏與服務機器人聯動方法。
2、本發明提出的基于語義協同的智能家居中控屏與服務機器人聯動方法，應用于包含中控屏、服務機器人、統一空間語義數據庫、智能家居設備群及家庭邊緣節點的系統，包括以下步驟：
3、s1：家庭環境幾何地圖構建：服務機器人啟動同步定位與建圖slam模塊采集環境數據，構建二維柵格地圖并上傳至中控屏，中控屏以俯視圖形式實時渲染顯示，疊加ar圖標顯示服務機器人位置、任務進度、語義標簽；
4、s2：交互式語義標注：用戶在中控屏的俯視圖上選中目標區域或物體輪廓，通過指定輸入方式輸入語義標簽，中控屏將語義標簽與對應區域坐標綁定并映射為統一內部標識符，存入統一空間語義數據庫生成初始語義地圖；
5、s3：語義指令解析與任務下發：用戶向中控屏輸入任務指令，中控屏解析指令關鍵信息，查詢統一空間語義數據庫獲取對應坐標及屬性信息，生成結構化語義指令下發至服務機器人；
6、s4：機器人任務執行與動態協同：服務機器人接收語義指令后，基于語義地圖規劃路徑并避障導航，通過視覺確認目標物體后完成抓取，執行過程中可發起協同請求，中控屏聯動智能家居設備響應，任務完成后向中控屏回傳反饋信息。
7、優選地，所述s1具體包括以下步驟：
8、s1.1：服務機器人首次通電后，啟動同步定位與建圖slam模塊，利用激光雷達與imu傳感器采集環境點云數據；
9、s1.2：采用gmapping算法構建二維柵格地圖g，其中?g?(i,j)=1?表示障礙物，g(i,j)=0?表示自由通行區域；
10、s1.3：機器人通過局域網上傳地圖至中控屏，并在中控屏觸摸屏上以俯視圖形式實時渲染，確保地圖傳輸的實時性。
11、優選地，所述s2具體包括以下步驟：
12、s2.1：用戶在中控屏的家庭俯視圖上，通過觸控操作選中目標區域或物體輪廓；
13、s2.2：中控屏彈出語義標簽輸入界面，支持三種輸入方式：語音輸入（如“這是餐桌”）、文本選擇（從預設詞庫中選取?“dining_table”）、手寫輸入“餐桌”并由ocr識別；
14、s2.3：中控屏將用戶輸入的自然語言標簽t與對應區域的像素坐標集合omega_t綁定；
15、s2.4：調用內置的語義標準化模塊，將標簽t映射為統一內部標識符（如“dining_table”），避免同義詞歧義；
16、s2.5：將綁定結果存入統一空間語義數據庫，形成結構化條目?entry_t，包含以下字段：
17、-?semantic_id：內部標識符（如?"dining_table"）；
18、 -?user_label：用戶原始標簽（如“餐桌”）；
19、 -?geometry：對應的像素區域?omega_t；
20、 -?centroid：幾何中心坐標，計算公式為?p_center?=?(1?/?|omega_t|)?×?所有像素坐標的平均值；
21、 -?attributes：功能屬性（如{type:?"furniture",?accessible:?true}）；
22、s2.6：重復?s2.1-s2.5?步驟，完成主要區域與關鍵物體的標注，生成初始語義地圖s。
23、優選地，所述s3具體包括以下步驟：
24、s3.1：用戶通過語音、觸控圈選或手勢向中控屏輸入任務指令；
25、s3.2：中控屏集成10.1英寸觸摸屏、8麥克風陣列、rgb-d攝像頭、uwb定位模塊，內置多模態意圖理解引擎，解析指令中的動作、目標物體、來源位置關鍵信息；
26、s3.3：中控屏查詢統一空間語義數據庫，獲取目標物體與位置對應的幾何中心坐標及屬性信息；
27、s3.4：生成結構化語義指令，格式為?{"action":"xxx",?"object":"xxx",?"from":"xxx"}（如{"action":"fetch",?"object":"water_glass",?"from":"dining_table"}），并下發至服務機器人。
28、優選地，所述s4具體包括以下步驟：
29、s4.1：服務機器人接收語義指令后，查詢本地緩存的語義地圖s，獲取目標區域的中心位姿?p_goal=(x_g,?y_g,?theta_g)；
30、s4.2：采用改進a?*?算法進行全局路徑規劃，評估函數為：
31、f(n)?=?g(n)?+?1.2?×?歐氏距離(p_n,?p_goal)
32、其中?g(n)?為從起點到節點?n?的實際路徑長度；
33、?s4.3：局部避障與跟蹤：采用動態窗口法（dwa），實時優化機器人速度?(v,omega)，目標函數為：
34、max?[?alpha?×?航向得分?+?beta?×?避障距離得分?+?gamma?×?速度得分?]
35、確保安全抵達目標區域附近（距離小于等于0.8米）；
36、s4.4：視覺目標確認：啟動?rgb-d?攝像頭捕獲彩色圖像i與深度圖d，調用grounding?dino?開放詞匯檢測模型，以目標物體名稱為文本提示，輸出候選檢測框及置信度s_k；通過相機外參和深度圖反投影計算候選物體的世界坐標系中心位置p_k，進行空間一致性校驗，計算最終得分：
37、score_final,k?=?s_k?×?exp(?-?||p_k?-?p_goal||^2?/?(2?×?sigma^2)?)；其中?sigma?=?0.5?米；
38、s4.5：機械臂抓取：服務機器人具備機械臂抓取能力及物體識別能力，基于由圖像i與深度圖d融合生成的目標物體的3d點云擬合抓取平面，規劃機械臂軌跡完成抓取；
39、s4.6：異常協同處理：若路徑被動態障礙物阻擋超過10秒，機器人向中控屏發送協同請求，（如?{"request":"obstacle_blocked",?"location":"hallway_near_bedroom"}），中控屏觸發包括但不限于開啟走廊燈、廣播語音提醒、暫停附近掃地機器人運行聯動策略；
40、s4.7：任務反饋：機器人完成任務后，向中控屏回傳反饋信息，中控屏彈出確認對話框，用戶確認后記錄任務日志，用于后續習慣學習。
41、優選地，所述統一空間語義數據庫存儲結構化語義地圖，包含區域標簽、物體標簽、功能屬性，支持用戶通過中控屏手動標注或語音修正標簽，所有地圖數據本地加密存儲，不上傳云端，保障用戶隱私安全。
42、優選地，所述s4.4中，rgb-d?攝像頭同步采集彩色圖像與深度圖，通過圖像與深度圖的融合生成目標物體的3d點云數據，為機械臂抓取軌跡規劃提供精準的空間位置參考；所述物體識別采用yolov8+clip融合模型，提升復雜環境下目標物體的識別精度。
43、優選地，所述s4.6中，中控屏的聯動策略可根據家庭場景需求靈活擴展，包括但不限于調節燈光亮度、控制窗簾開關、調整空調溫度、發送手機通知提醒，實現多設備協同響應機器人的任務執行需求；所述服務機器人的機械臂抓取軌跡規劃基于3d點云數據實時優化，確保抓取動作的精準性與安全性。
44、與現有的技術相比，本發明的有益效果是：
45、1、通過構建統一空間語義模型，實現自然語言到物理位置的精準映射，用戶無需記憶設備id或坐標，使用日常語言即可控制機器人，大幅降低使用門檻，使得交互更自然：
46、2、服務機器人具備機械臂抓取能力與高精度物體識別能力，通過語義標簽+視覺二次確認，避免機器人誤取物品，提高任務成功率；
47、3、中控屏價值升級：中控屏作為協同中樞，可根據機器人實時狀態聯動調整其他智能設備，實現“取物-送物-環境適配”的復合任務閉環，從被動顯示終端變為主動空間指揮中心，提升產品粘性與使用頻率，提高中控屏應用價值；
48、4、所有圖像與語音數據在本地處理，僅傳輸結構化語義指令，符合gdpr/個人信息保護法要求，保障隱私安全；
49、5、新接入的機器人或智能設備只需注冊到語義數據庫，即可參與協同任務，提高擴展性。
50、本發明通過構建統一空間語義模型，實現自然語言到物理位置的精準映射，用戶無需記憶坐標即可通過日常語言控制機器人，降低使用門檻；服務機器人具備機械臂抓取能力與高精度物體識別能力，結合視覺二次確認機制，大幅提升抓取成功率；中控屏作為協同中樞，可根據機器人實時狀態聯動調整其他智能設備，實現“取物-送物-環境適配”的復合任務閉環；所有原始數據本地處理，僅傳輸結構化語義指令，保障隱私安全，且系統擴展性強，新設備接入便捷，具備較強的實用性和推廣價值。