本申請涉及多媒體數據分析,例如涉及一種用于視頻素材的檢索方法及檢索裝置、電子設備。
背景技術:
1、目前,隨著短視頻平臺的發展,視頻素材會被二次創作為新的視頻。因此,在實際應用場景中,例如,版權侵權監測、用戶生成內容的素材溯源等場景,需要檢索識別成品查詢視頻中被利用的視頻素材。
2、相關技術中,通常是采用視覺特征匹配的方式,計算查詢視頻的視覺特征(例如,顏色分布特征等)與視頻素材的相似度,確定查詢視頻與視頻素材的匹配結果。
3、在實現本公開實施例的過程中,發現相關技術至少存在如下問題:
4、在基于視頻素材二次創作查詢視頻時,可能會對視頻素材進行加速、慢放、抽幀等時間維度的非線性處理,這會導致確定出的查詢視頻與視頻素材的檢索結果極易出現誤判和漏檢的情況,準確性較低。因此,如何提高檢索視頻素材的準確性,成為了亟需解決的技術問題。
5、需要說明的是,在上述背景技術部分公開的信息僅用于加強對本申請的背景的理解,因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。
技術實現思路
1、為了對披露的實施例的一些方面有基本的理解,下面給出了簡單的概括。所述概括不是泛泛評述,也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍,而是作為后面的詳細說明的序言。
2、本公開實施例提供了一種用于視頻素材的檢索方法及檢索裝置、電子設備,可以提高檢索視頻素材的準確性。
3、在一些實施例中,用于視頻素材的檢索方法,包括:基于查詢視頻與底庫中素材視頻的語義特征序列,識別查詢視頻與素材視頻之間的多個候選匹配幀對;對每個候選匹配幀對計算在多個不同速度假設下的時間偏移量;對每個速度假設下的時間偏移量進行分箱統計投票,確定查詢視頻相對于素材視頻的最佳播放速度和對齊位置;輸出包括素材視頻在底庫中編號、最佳播放速度和對齊位置的檢索結果。
4、可選地,基于查詢視頻與底庫中素材視頻的語義特征序列,識別查詢視頻與素材視頻之間的多個候選匹配幀對,包括:獲取查詢視頻和素材視頻的語義特征序列;根據查詢視頻和素材視頻的語義特征序列的相似度,確定查詢視頻與素材視頻之間的多個候選匹配幀對。
5、可選地,獲取查詢視頻和素材視頻的語義特征序列,包括:分別對查詢視頻和素材視頻進行關鍵幀采樣,確定多幀關鍵圖像;通過預先構建的特征提取模型提取多幀關鍵圖像的高維特征向量;對高維特征向量進行歸一化處理,獲得查詢視頻和素材視頻的語義特征序列。
6、可選地,候選匹配幀對包括查詢幀時間戳和素材幀時間戳;按照如下表達式對每個候選匹配幀對計算在多個不同速度假設下的時間偏移量:
7、×;
8、其中,為當前速度假設,為在當前速度假設r下的時間偏移量,為素材幀時間戳,為查詢幀時間戳。
9、可選地,對每個速度假設下的時間偏移量進行分箱統計投票,確定查詢視頻相對于素材視頻的最佳播放速度和對齊位置,包括:為每個速度假設分別建立投票箱,并將時間偏移量映射至每個投票箱中對應的時間區間分箱;其中,對于映射至同一時間區間分箱內的多個候選匹配幀對,在多個候選匹配幀對源于同一查詢幀的情況下,則僅選取相似度最高的一個候選匹配幀對作為該時間區間分箱貢獻的投票得分;統計全部投票箱內每個時間區間分箱的累計投票得分,并計算每個投票箱的投票總分;將投票總分最高的目標投票箱對應的速度假設確定為最佳播放速度,將目標投票箱內累計投票得分最高的時間區間分箱對應的時間偏移量,確定為時間對齊位置。
10、可選地,在輸出包括素材視頻在底庫中編號、最佳播放速度和對齊位置的檢索結果之前,檢索方法還包括:計算滿足最佳播放速度與時間對齊位置的所有候選匹配幀對的相似度總和或累計覆蓋時長;計算相似度總和或累計覆蓋時長與查詢視頻總時長比值,作為查詢視頻與素材視頻的匹配置信度;在匹配置信度大于設定閾值的情況下,確定輸出檢索結果。
11、可選地,在計算相似度總和或累計覆蓋時長與查詢視頻總時長比值之前,檢索方法還包括:對相似度總和或累計覆蓋時長與查詢視頻總時長進行歸一化處理。
12、在一些實施例中,用于視頻素材的檢索裝置,包括:識別模塊,用于基于查詢視頻與底庫中素材視頻的語義特征序列,識別查詢視頻與素材視頻之間的多個候選匹配幀對;計算模塊,用于對每個候選匹配幀對計算在多個不同速度假設下的時間偏移量;投票模塊,用于對每個速度假設下的時間偏移量進行分箱統計投票,確定查詢視頻相對于素材視頻的最佳播放速度和對齊位置;輸出模塊,用于輸出包括素材視頻在底庫中編號、最佳播放速度和對齊位置的檢索結果。
13、在一些實施例中,用于視頻素材的檢索裝置,包括處理器和存儲有程序指令的存儲器,處理器被配置為在運行所述程序指令時,執行如上述的用于視頻素材的檢索方法。
14、在一些實施例中,電子設備,包括:設備本體;如上述的用于視頻素材的檢索裝置,被安裝于設備本體。
15、本公開實施例提供的用于視頻素材的檢索方法及檢索裝置、電子設備,可以實現以下技術效果:
16、本公開實施例中,在檢測查詢視頻中采用的視頻素材時,預先構建了多個速度假設,在基于查詢視頻與底庫中素材視頻的語義特征序列,識別出查詢視頻與素材視頻之間的多個候選匹配幀對后,會先針對每個候選匹配幀對計算在多個不同速度假設下的時間偏移量。然后,再分別對每個速度假設下的時間偏移量進行分箱統計投票,確定查詢視頻相對于素材視頻的最佳播放速度和對齊位置。最后,再輸出包括素材視頻在底庫中編號、最佳播放速度和對齊位置的檢索結果。這樣,相比基于視覺特征匹配視頻素材的方式,可以降低時間維度非線性編輯處理對檢測匹配的影響,降低了誤判和漏檢的風險。因此,本公開實施例可以提高檢索視頻素材的準確性。
17、以上的總體描述和下文中的描述僅是示例性和解釋性的,不用于限制本申請。
1.一種用于視頻素材的檢索方法,其特征在于,包括:
2.根據權利要求1所述的檢索方法,其特征在于,基于查詢視頻與底庫中素材視頻的語義特征序列,識別查詢視頻與素材視頻之間的多個候選匹配幀對,包括:
3.根據權利要求2所述的檢索方法,其特征在于,獲取查詢視頻和素材視頻的語義特征序列,包括:
4.根據權利要求1所述的檢索方法,其特征在于,候選匹配幀對包括查詢幀時間戳和素材幀時間戳;按照如下表達式對每個候選匹配幀對計算在多個不同速度假設下的時間偏移量:
5.根據權利要求1所述的檢索方法,其特征在于,對每個速度假設下的時間偏移量進行分箱統計投票,確定查詢視頻相對于素材視頻的最佳播放速度和對齊位置,包括:
6.根據權利要求1至5中任一項所述的檢索方法,其特征在于,在輸出包括素材視頻在底庫中編號、最佳播放速度和對齊位置的檢索結果之前,檢索方法還包括:
7.根據權利要求6所述的檢索方法,其特征在于,在計算相似度總和或累計覆蓋時長與查詢視頻總時長比值之前,檢索方法還包括:
8.一種用于視頻素材的檢索裝置,其特征在于,包括:
9.一種用于視頻素材的檢索裝置,包括處理器和存儲有程序指令的存儲器,其特征在于,所述處理器被配置為在運行所述程序指令時,執行如權利要求1至7中任一項所述的用于視頻素材的檢索方法。
10.一種電子設備,其特征在于,包括: