本申請(qǐng)涉及計(jì)算機(jī),具體涉及一種基于多模態(tài)大模型的數(shù)據(jù)處理系統(tǒng)。
背景技術(shù):
1、隨著大規(guī)模文本到圖像擴(kuò)散模型的出現(xiàn),圖像生成技術(shù)取得了顯著進(jìn)步。圖像生成技術(shù)可以根據(jù)文本提示生成生動(dòng)的圖像,在增強(qiáng)現(xiàn)實(shí)(augmented?reality,ar)、個(gè)性化內(nèi)容創(chuàng)作、設(shè)計(jì)行業(yè)等領(lǐng)域有廣泛應(yīng)用。然而,現(xiàn)有基于文本提示的圖像生成技術(shù),存在生成的圖像不符合用戶需求的問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供一種基于多模態(tài)大模型的數(shù)據(jù)處理系統(tǒng)。
2、第一方面,本申請(qǐng)?zhí)峁┮环N方法,包括:
3、獲取待處理數(shù)據(jù)信息;
4、基于待處理數(shù)據(jù)信息,確定目標(biāo)特征信息;
5、對(duì)目標(biāo)特征信息進(jìn)行圖像生成處理,得到目標(biāo)圖像信息。
6、第二方面,本申請(qǐng)?zhí)峁┮环N系統(tǒng),包括:
7、數(shù)據(jù)獲取模塊,用于獲取待處理數(shù)據(jù)信息;
8、信息確定模塊,用于基于待處理數(shù)據(jù)信息,確定目標(biāo)特征信息;
9、圖像生成模塊,用于對(duì)目標(biāo)特征信息進(jìn)行圖像生成處理,得到目標(biāo)圖像信息。
10、第三方面,本申請(qǐng)還提供一種計(jì)算機(jī)設(shè)備,計(jì)算機(jī)設(shè)備包括:
11、一個(gè)或多個(gè)處理器;
12、存儲(chǔ)器;以及
13、一個(gè)或多個(gè)應(yīng)用程序,其中一個(gè)或多個(gè)應(yīng)用程序被存儲(chǔ)于存儲(chǔ)器中,并配置為由處理器執(zhí)行以實(shí)現(xiàn)第一方面中任一項(xiàng)的方法。
14、第四方面,本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器進(jìn)行加載,以執(zhí)行第一方面中任一項(xiàng)的方法中的步驟。
1.一種方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述待處理數(shù)據(jù)信息包括第一文本信息,所述目標(biāo)特征信息包括第一特征信息,和/或,第二特征信息;
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述待處理數(shù)據(jù)信息還包括第一圖像信息、第二圖像信息和第二文本信息,所述第一特征信息通過特征提取模型對(duì)所述待處理數(shù)據(jù)信息進(jìn)行特征提取得到,所述特征提取模型包括:第一特征提取模塊、第二特征提取模塊和特征映射模塊;
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述第一特征提取模塊包括:第一信息融合單元和第一特征提取單元;
5.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述第二特征提取模塊包括:第二信息融合單元和第二特征提取單元;
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述對(duì)所述目標(biāo)特征信息進(jìn)行圖像生成處理,得到目標(biāo)圖像信息,包括:
7.根據(jù)權(quán)利要求6所述的方法,其特征在于,所述目標(biāo)特征信息包括第一特征信息和第二特征信息,所述基于所述目標(biāo)特征信息和第一圖像表示,確定出目標(biāo)圖像表示,包括:
8.根據(jù)權(quán)利要求7所述的方法,其特征在于,所述基于所述第二特征信息和第一圖像表示,確定第二圖像表示,包括:
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述基于所述第一特征信息和所述第二圖像表示,確定出目標(biāo)圖像表示,包括:
10.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述獲取待處理數(shù)據(jù)信息,包括:
11.根據(jù)權(quán)利要求10所述的方法,其特征在于,所述基于所述第一數(shù)據(jù)信息,確定出待處理數(shù)據(jù)信息,包括:
12.根據(jù)權(quán)利要求11所述的方法,其特征在于,所述第一數(shù)據(jù)信息包括所述第一文本信息,所述基于所述第一數(shù)據(jù)信息,確定第一文本信息、第二文本信息和第一圖像信息,包括:
13.一種系統(tǒng),其特征在于,包括:
14.一種計(jì)算機(jī)設(shè)備,其特征在于,所述計(jì)算機(jī)設(shè)備包括:
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器進(jìn)行加載,以執(zhí)行權(quán)利要求1至12任一項(xiàng)所述的方法中的步驟。