本發明屬于圖書管理，涉及一種基于多模態識別的圖書自助歸還分揀系統及方法。
背景技術：
1、在圖書館日常運營中，圖書自助歸還后的分揀是重要環節。當前圖書自助歸還系統的分揀方式多依賴射頻識別標簽條形碼或簡單視覺識別技術。射頻識別標簽和條形碼技術僅能獲取圖書唯一標識符等基礎元數據，無法提取圖書內容主題等深層信息，分揀規則局限于預設館藏位置映射，缺乏靈活性。
2、簡單視覺識別技術多聚焦圖書封面或書脊的單一特征，易受頁面磨損遮擋或印刷質量影響，識別準確率受限，且不能整合圖書內容相關信息。現有分揀系統的邏輯較為簡單，僅通過基礎元數據關聯館藏位置，未考慮圖書內容關聯性、實時借閱數據、館藏區域密度及圖書物理狀態等多維因素。
3、這導致分揀結果與實際借閱需求脫節，熱門圖書難以快速上架，同類圖書分布分散，部分館藏區域堆積嚴重，破損或超期圖書無法及時分流處理，最終影響分揀的精準性和效率，難以滿足圖書館自動化動態化管理需求。
技術實現思路
1、為解決背景技術中存在的問題，本發明提出了一種基于多模態識別的圖書自助歸還分揀系統及方法。
2、本技術的第一方面提供了一種基于多模態識別的圖書自助歸還分揀系統，包括：信息采集模塊、特征融合模塊、分揀規則模塊和反饋優化模塊；
3、信息采集模塊，用于采集圖書的視覺信息、文本信息、射頻識別信息、借閱數據、物理狀態信息及實時館藏動態數據；
4、特征融合模塊，用于對采集的多模態信息進行特征提取與融合，生成融合特征向量；
5、分揀規則模塊，用于基于融合特征向量構建多目標加權優化的分揀決策函數，結合主題聚類實現動態館藏區域映射，輸出分揀指令；
6、反饋優化模塊，用于根據分揀結果與人工復核反饋，通過強化學習算法迭代優化模型參數。
7、可選地，信息采集模塊包括：高清圖像采集單元、光學字符識別單元、射頻識別閱讀器、傳感器組及數據聯動單元；
8、高清圖像采集單元采集圖書封面、書脊、版權頁、目錄頁及前言的圖像；光學字符識別單元識別圖像中的文字內容；射頻識別閱讀器獲取圖書唯一標識符、歷史館藏位置及借閱歷史；傳感器組檢測圖書物理完整性與裝訂類型；數據聯動單元調取實時館藏動態數據與借閱數據。
9、可選地，特征融合模塊包括：特征提取子模塊、可靠性評估子模塊、跨模態語義對齊子模塊及加權融合子模塊；
10、特征提取子模塊通過卷積神經網絡提取視覺特征向量，通過文本編碼模型提取文本特征向量，對射頻識別信息與借閱數據組成的結構化數據進行歸一化處理得到結構化特征向量；
11、可靠性評估子模塊計算視覺特征可靠性、文本特征可靠性及結構化特征可靠性；
12、跨模態語義對齊子模塊實現視覺-文本及文本-結構化數據的語義匹配；加權融合子模塊基于上述可靠性動態計算權重，通過公式生成融合特征向量，其中，，，，v為視覺特征向量，t為文本特征向量，s為結構化特征向量，為視覺特征可靠性，為文本特征可靠性，為結構化特征可靠性。
13、可選地，分揀規則模塊包括：決策函數構建子模塊與主題聚類子模塊；
14、決策函數構建子模塊構建分揀決策函數，其中,為圖書與館藏區域的類別相似度，為圖書借閱熱度，為館藏密度均衡度，為圖書特殊狀態優先級，、、、為目標權重；主題聚類子模塊通過增量式聚類算法提取各館藏區域的核心主題詞，計算圖書與各區域核心主題詞的相似度并確定分揀目標區域。
15、可選地，借閱熱度，其中,為圖書年度借閱次數，為圖書最近一次借閱距今天數的歸一化值，a與b為加權系數且a+b=1。
16、可選地，反饋優化模塊包括：強化學習子模塊與人工反饋子模塊；
17、強化學習子模塊將分揀過程建模為強化學習環境，智能體為分揀規則模塊，狀態空間包括融合特征向量、實時館藏狀態及借閱數據，動作空間為分揀目標區域選擇，獎勵函數，其中,為圖書分揀后預設周期內的借閱率，為單本圖書分揀耗時，為人工復核確認的分揀錯誤率，、、為獎勵系數；人工反饋子模塊接收人工復核標注的錯誤類型，針對性調整特征融合模塊與分揀規則模塊的參數，并將錯誤案例擴充至模型訓練集。
18、本技術的第二方面，提供了一種基于多模態識別的圖書自助歸還分揀方法，包括：
19、通過信息采集模塊采集圖書的視覺信息、文本信息、射頻識別信息、借閱數據、物理狀態信息及實時館藏動態數據；
20、通過特征融合模塊對采集的多模態信息進行特征提取，經可靠性評估與跨模態語義對齊后，基于視覺特征可靠性、文本特征可靠性及結構化特征可靠性動態計算權重，通過公式生成融合特征向量；
21、通過分揀規則模塊基于融合特征向量構建分揀決策函數，結合主題聚類確定分揀目標區域并輸出分揀指令，其中,為圖書與館藏區域的類別相似度，為圖書借閱熱度，為館藏密度均衡度，為圖書特殊狀態優先級，、、、為目標權重；
22、通過反饋優化模塊根據分揀結果與人工復核反饋，通過強化學習算法迭代優化模型參數。
23、可選地，物理狀態信息包括：圖書物理完整性與裝訂類型，實時館藏動態數據包括目標館藏區域剩余容量、同主題圖書實時借閱狀態及館員作業狀態；文本信息包括目錄章節主題詞、前言核心研究領域、版權頁版次及印刷數量。
24、可選地，通過卷積神經網絡提取視覺特征向量，通過文本編碼模型提取文本特征向量，對射頻識別信息與借閱數據組成的結構化數據進行歸一化處理得到結構化特征向量；公式生成融合特征向量，其中，，，，v為視覺特征向量，t為文本特征向量，s為結構化特征向量，為視覺特征可靠性，為文本特征可靠性，為結構化特征可靠性。
25、可選地，通過增量式聚類算法定期更新各館藏區域的核心主題詞，支持臨時主題區域的動態創建；分揀決策函數中，為圖書與館藏區域的類別相似度，，為圖書特殊狀態優先級，、、、為目標權重，a與b為加權系數且a+b=1，為圖書年度借閱次數，為圖書最近一次借閱距今天數的歸一化值；每完成預設批次的圖書分揀后，通過獎勵函數計算累積獎勵，通過強化學習算法更新特征融合權重與分揀決策目標權重，其中為圖書分揀后預設周期內的借閱率，為單本圖書分揀耗時，為人工復核確認的分揀錯誤率，、、為獎勵系數。
26、與現有技術相比，本發明具有以下有益效果：
27、第一，提升分揀精準性。通過多模態信息采集模塊獲取圖書視覺信息、文本信息、射頻識別信息等多維度數據，經跨模態語義對齊和動態加權融合生成全面的融合特征向量，結合主題聚類和多目標分揀決策函數，實現圖書與館藏區域的精準匹配，有效避免單一識別技術導致的分類偏差。
28、第二，提高分揀效率。動態分揀規則模塊根據實時館藏動態數據和借閱熱度動態調整分揀優先級，熱門圖書可快速分配至便利區域，破損或超期圖書直接分流至對應處理區域，減少人工干預環節，縮短分揀周期，提升整體分揀流程的流暢性。
29、第三，增強分揀靈活性和適應性。主題聚類子模塊支持館藏區域核心主題詞的動態更新和臨時主題區域的創建，可適配圖書館館藏結構調整和新書入庫需求。反饋優化模塊通過強化學習和人工反饋持續優化模型參數，使系統能適應不同類型圖書館的運營需求和圖書特征變化。
30、第四，優化館藏管理效果。分揀過程兼顧類別相關性和館藏密度均衡度，同類圖書集中存放，各區域館藏量分布合理，方便讀者查找借閱，同時降低館員整理工作量，助力圖書館實現動態化高效化管理。