本發(fā)明涉及一種問答方法，尤其是關(guān)于一種適用于多個大語言模型的問答方法以及問答系統(tǒng)。
背景技術(shù)：
1、用戶可將同個題目提供給不同的大語言模型（large?language?model，llm），以通過多個llm集思廣益以找出完整且可行的一組最佳的解題方案。為了避免llm發(fā)生知識幻覺以及回答的不穩(wěn)定性，目前的優(yōu)化方式可例如是包括，通過每個llm一次性地給予k個回答（即，top-k?prompt）、通過每個llm多次地進行回答（即，self-random?sampling）、或者通過對所有回答進行置信度的計算（即，avg-confidence）等操作。所述知識幻覺是指llm基于不存在的知識提出不可行的回答，對應(yīng)的優(yōu)化方式主要通過進行一定程度的驗證以確保解題方案的可行性。所述不穩(wěn)定性是指，即使llm的回答為可行的解題方案，但llm不一定每次都可輸出相同的回答，對應(yīng)的優(yōu)化方式則主要通過進行一定程度的探索以確保解題方案的完整性。
2、然而，由于目前的優(yōu)化方式是基于個別llm所輸出的回答進行處理，因此所優(yōu)化的解題方案受限于單個llm的輸出結(jié)果。也就是說，目前的優(yōu)化方式僅可針對單個llm的行為進行優(yōu)化，而無法對整體llm所集成的一組解題方案進行優(yōu)化。如此，目前的優(yōu)化方式無法確保最終提供給用戶的整體解題方案是否可行且完整。
3、此外，由于每個llm具備不同的能力及特性，個別llm對于整體解題方案可以做出的貢獻也不同。因此，相較于平均使用多個llm各自挖掘解題方案，從多個llm之中選擇適合整體方案優(yōu)化方向的llm進行方案挖掘，才可以有效使用資源針對整體解題方案的可行性及完整性進行優(yōu)化。
技術(shù)實現(xiàn)思路
1、本發(fā)明實施例提供一種問答方法，適用于多個大語言模型，并且能夠確保解題方案的完整性以及可行性。
2、本發(fā)明實施例的問答方法包括以下的步驟。獲取問題。根據(jù)挖掘方向設(shè)定、探索方向權(quán)重以及驗證方向權(quán)重，執(zhí)行多個llm以對問題進行回答以選擇性地執(zhí)行方案探索挖掘或者方案驗證挖掘，以產(chǎn)生方案挖掘結(jié)果，并據(jù)以更新探索方向權(quán)重以及驗證方向權(quán)重。根據(jù)經(jīng)更新的探索方向權(quán)重所計算的方案完整性以及經(jīng)更新的驗證方向權(quán)重所計算的方案可行性，判斷方案挖掘結(jié)果是否滿足應(yīng)用設(shè)定，以判斷是否停止進行對問題進行挖掘的迭代。當(dāng)停止對問題進行挖掘時，輸出所有迭代的方案挖掘結(jié)果所形成的預(yù)挖掘方案以作為解題方案庫。
3、本發(fā)明實施例還提供一種問答系統(tǒng)，適用于多個大語言模型。問答系統(tǒng)包括存儲裝置以及處理器。存儲裝置存儲多個模塊。處理器耦接存儲裝置。處理器用以執(zhí)行多個模塊以及多個llm以執(zhí)行上述的問答方法。
4、基于上述，本發(fā)明實施例的問答方法以及問答系統(tǒng)通過多個llm執(zhí)行方案挖掘（包括，方案探索挖掘以及方案驗證挖掘），能夠根據(jù)應(yīng)用設(shè)定來評估基于方案探索挖掘所產(chǎn)生的方案挖掘結(jié)果的回答完整性，并且還評估基于方案驗證挖掘所產(chǎn)生的方案挖掘結(jié)果的回答可行性。如此，問答方法能夠優(yōu)化多個llm所集成的預(yù)挖掘方案，并據(jù)以確保整體方案（即，解題方案庫）的完整性以及可行性。
5、為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合附圖作詳細說明如下。
1.一種問答方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的問答方法，其特征在于，當(dāng)所述多個大語言模型選擇性地執(zhí)行方案探索挖掘時，所述問答方法還包括：
3.根據(jù)權(quán)利要求2所述的問答方法，其特征在于，所述選中大語言模型所對應(yīng)的所述探索權(quán)重是根據(jù)所述方案挖掘結(jié)果中新方案的數(shù)量相較于所述方案挖掘結(jié)果的數(shù)量來被更新，其中當(dāng)所述方案挖掘結(jié)果的數(shù)量為0時，所述選中大語言模型所對應(yīng)的所述探索權(quán)重被更新為0。
4.根據(jù)權(quán)利要求2所述的問答方法，其特征在于，所述探索方向權(quán)重是根據(jù)所述多個大語言模型所分別對應(yīng)的所述多個探索權(quán)重的平均值來被更新。
5.根據(jù)權(quán)利要求1所述的問答方法，其特征在于，當(dāng)所述多個大語言模型選擇性地執(zhí)行方案驗證挖掘時，所述問答方法還包括：
6.根據(jù)權(quán)利要求5所述的問答方法，其特征在于，所述選中大語言模型所對應(yīng)的所述驗證權(quán)重是根據(jù)所述方案挖掘結(jié)果中的有效驗證次數(shù)相較于重復(fù)方案的數(shù)量來被更新，其中當(dāng)所述方案挖掘結(jié)果的數(shù)量為0時，或者當(dāng)所述重復(fù)方案的數(shù)量為0時，所述選中大語言模型所對應(yīng)的所述驗證權(quán)重被更新為0。
7.根據(jù)權(quán)利要求5所述的問答方法，其特征在于，所述驗證方向權(quán)重是根據(jù)所述多個大語言模型所分別對應(yīng)的所述多個驗證權(quán)重的平均值來被更新。
8.根據(jù)權(quán)利要求1所述的問答方法，其特征在于，所述多個大語言模型中的選中大語言模型被選擇以作為提問對象，并且被執(zhí)行以對所述問題進行回答以產(chǎn)生所述方案挖掘結(jié)果，
9.根據(jù)權(quán)利要求8所述的問答方法，其特征在于，當(dāng)所述選中大語言模型所對應(yīng)的探索權(quán)重不允許為0?時，所述問答方法還包括：
10.根據(jù)權(quán)利要求9所述的問答方法，其特征在于，所述探索權(quán)重目標值為所述多個大語言模型的數(shù)量的倒數(shù)，或者所述多個大語言模型所分別對應(yīng)的所述多個探索權(quán)重中的最小探索權(quán)重。
11.根據(jù)權(quán)利要求8所述的問答方法，其特征在于，當(dāng)所述選中大語言模型所對應(yīng)的驗證權(quán)重不允許為0?時，所述問答方法還包括：
12.根據(jù)權(quán)利要求11所述的問答方法，其特征在于，所述驗證權(quán)重目標值為所述多個大語言模型的數(shù)量的倒數(shù)，或者所述多個大語言模型所分別對應(yīng)的所述多個驗證權(quán)重中的最小驗證權(quán)重。
13.根據(jù)權(quán)利要求8所述的問答方法，其特征在于，當(dāng)所述方案挖掘結(jié)果為非空集合時，所述問答方法還包括：
14.根據(jù)權(quán)利要求13所述的問答方法，其特征在于，還包括：
15.根據(jù)權(quán)利要求13所述的問答方法，其特征在于，在驗證所述重復(fù)方案的操作中，所述問答方法還包括：
16.根據(jù)權(quán)利要求15所述的問答方法，其特征在于，所述投票驗證閾值是根據(jù)所述多個大語言模型的數(shù)量來被決定。
17.根據(jù)權(quán)利要求1所述的問答方法，其特征在于，還包括：
18.根據(jù)權(quán)利要求1所述的問答方法，其特征在于，所述挖掘方向設(shè)定包括探索資源比例以及驗證資源比例，
19.一種問答系統(tǒng)，適用于多個大語言模型，其特征在于，包括：