本發明涉及測試領域，尤其涉及一種任務測試方法、裝置、電子設備及計算機可讀存儲介質。
背景技術：
：互聯網的快速發展催生了大數據時代，移動互聯網的興起，使大數據變得無處不在，基于大數據的基本數據組項目(basicdatasetproject，bdsp)也由此誕生，所述bdsp項目可以應用于企業的數據信息化管理，幫助企業進行更好的任務分配和執行。目前，在bdsp項目中的中游系統任務執行完成后，會寫入hadoop平臺日志標簽，以供下游系統使用判斷，但是，由于中游系統中包含著大量的執行任務結果，若通過人工進行檢測耗費時間比較長，同時需要打入的測試命令較多，從而會影響任務結果測試的效率。技術實現要素：本發明提供一種任務測試方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高任務測試的效率。為實現上述目的，本發明提供的一種任務測試方法，包括：獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集；計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集；利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果；利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽；若不包含所述日志標簽，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配；若包含所述日志標簽，則將所述運行結果返回至對應的下游用戶。可選地，所述對所述原始數據集進行統一化，得到標準數據集，包括：讀取所述原始數據集，并判斷所述原始數據集中每個原始數據是否合法；若所述原始數據不合法，則刪除所述原始數據；若所述原始數據合法，獲取所述原始數據的數據格式，將所述數據格式轉換為鍵值對格式，得到所述標準數據集。可選地，所述對所述標準數據集進行掃描區域劃分，得到目標數據集，包括：獲取所述標準數據集的字段，根據所述字段，及利用預設的自定義語句確定所述標準數據集的掃描區域劃分策略；根據所述掃描區域劃分策略，利用預設的腳本命令執行所述標準數據集的掃描區域劃分，得到目標數據集。可選地，所述計算每個所述目標數據集中目標數據的信息增益率，包括：計算所述目標數據及目標數據集的信息熵，計算所述目標數據的分裂信息量；根據所述目標數據及目標數據集的信息熵、所述目標數據的分裂信息量，利用所述預構建的信息增益模型計算出所述目標數據的信息增益率。可選地，所述計算所述目標數據的分裂信息量，包括：利用下述方法計算所述目標數據的分裂信息量：其中，m表示目標數據的數量，|dj|表示第j個目標數據，|d|表示目標數據集的數據數量。可選地，所述預構建的信息增益模型包括：其中，gainratio(a)表示目標數據a的信息增益率，info(d)表示目標數據集的信息熵，infoa(d)表示目標數據a的信息熵，splitinfoa(a)表示目標數據a的分裂信息量。可選地，所述利用預設的任務調度框架對所述特征數據集進行調度任務分配，生成調度任務，包括：利用所述任務調度框架中的依賴識別模塊識別所述特征數據集的數據依賴關系；根據所述數據依賴關系，利用所述任務調度框架中的線程分配模塊對所述特征數據集進行調度任務的劃分，得到調度任務。為了解決上述問題，本發明還提供一種任務測試裝置，所述裝置包括：劃分模塊，用于獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集；計算模塊，用于計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集；分配模塊，用于利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果；識別模塊，用于利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽；所述識別模塊，還用于在不包含所述日志標簽時，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配；所述識別模塊，還用于在包含所述日志標簽時，則將所述運行結果返回至對應的下游用戶。為了解決上述問題，本發明還提供一種電子設備，所述電子設備包括：至少一個處理器；以及，與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以實現上述所述的任務測試方法。為了解決上述問題，本發明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有至少一個計算機程序，所述至少一個計算機程序被電子設備中的處理器執行以實現上述所述的任務測試方法。本發明實施例首先獲取原始數據集，對所述原始數據集進行格式統一化、掃描區域劃分，得到目標數據集，并計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集，節省了后續數據在運行時數據處理時間，提高了數據運行速度；其次，本發明實施例利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，確定了數據之間在執行任務時的依賴關系，并在調度任務中加載日志標簽讀取指令，避免了人工打入過多的日志標簽生成測試命令，從而提高了任務結果的測試效率；進一步的，本發明實施例運行所述調度任務，得到運行結果，利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽，若不包含所述日志標簽，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配，若包含所述日志標簽，則將所述運行結果返回至對應的下游用戶。因此，本發明提出的一種任務測試方法、裝置、電子設備以及存儲介質可以提高任務測試的效率。附圖說明圖1為本發明一實施例提供的任務測試方法的流程示意圖；圖2為本發明第一實施例中圖1提供的任務測試方法其中一個步驟的詳細流程示意圖；圖3為本發明一實施例提供的任務測試裝置的模塊示意圖；圖4為本發明一實施例提供的實現任務測試方法的電子設備的內部結構示意圖；本發明目的的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。具體實施方式應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。本申請實施例提供一種任務測試方法。所述任務測試方法的執行主體包括但不限于服務端、終端等能夠被配置為執行本申請實施例提供的該方法的電子設備中的至少一種。換言之，所述任務測試方法可以由安裝在終端設備或服務端設備的軟件或硬件來執行，所述軟件可以是區塊鏈平臺。所述服務端包括但不限于：單臺服務器、服務器集群、云端服務器或云端服務器集群等。參照圖1所示，為本發明一實施例提供的任務測試方法的流程示意圖。在本發明實施例中，所述任務測試方法包括：s1、獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集。本發明實施例中，所述原始數據集可以由半結構化/非結構的數據文件組成，其中，所述數據文件包括：文本文件、文檔文件、視頻格式文件以及圖片格式文件等。進一步地，由于所述原始數據集中的數據存在許多數據格式，本發明實施利用預設計算框架對所述原始數據集的數據格式進行統一化，可以實現后續數據的快速導入和查詢以及支持數據庫的吞吐高并發。一個可選實施例中，所述預設計算框架為spark框架，其中，所述spark框架指的是專為大規模數據處理而設計的快速通用的計算引擎，其支持開源集群計算環境，不僅能夠提供交互式的數據查詢，還可以優化數據迭代的工作負載。進一步地，本發明實施例利用spark框架對所述原始數據集的數據格式進行統一化，即將所述原始數據集的數據格式轉換為鍵值對(key-value)格式，得到標準數據集，即hfile文件集。具體的，所述利用spark框架對所述原始數據集進行統一化，得到標準數據集，包括：利用所述spark框架中的讀取指令讀取所述原始數據集；通過所述spark框架中的檢測指令判斷所述原始數據集中每個原始數據是否合法；若所述原始數據不合法，則刪除所述原始數據；若所述原始數據合法，通過所述spark框架中的獲取指令獲取所述原始數據的數據格式，并調用所述spark框架中的轉換指令將所述數據格式轉換為鍵值對格式，得到所述標準數據集。一個可選實施例中，所述讀取指令為rdd.saveasnewapihadoopfile，所述檢測指令為checkoutputspecs，所述獲取指令getrecordwriter，所述轉換指令為getwriter，所述輸出指令為hfileoutputformat。進一步地，本發明實施例利用預設的腳本命令對所述標準數據集進行掃描區域劃分，以將所述標準數據集中標準數據進行數據類型歸類，提高后續數據處理的速度。可選的，所述預設的腳本命令包括：autosolvedepend.sh。詳細地，參閱圖2所示，所述利用預設的腳本命令對所述標準數據集進行掃描區域劃分，得到目標數據集，包括：s20、獲取所述標準數據集的字段，根據所述字段，及利用預設的自定義語句確定所述標準數據集的掃描區域劃分策略；s21、根據所述掃描區域劃分策略，利用所述腳本命令執行所述標準數據集的掃描區域劃分，得到目標數據集。其中，所述字段包括：id、屬性以及主鍵等，所述預設的自定義語句包括：create'hadoope_table'，{name＝>'cf'，ttl＝>xxx}，{numregions＝>xxx，splitalgo＝>'hexstringsplit'}，所述掃描區域劃分策略包括確定需要建立的掃描區域數量以及自定義需要建立掃描區域的字段。s2、計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集。本發明實施例中，所述信息增益率可以理解為一個數據在后續數據處理過程中所占比例的占比值，其信息增益率越大，表示對應數據越重要，因此，本發明根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集。進一步地，所述計算每個所述目標數據集中所有目標數據的信息增益率，包括：計算所述目標數據及目標數據集的信息熵，計算所述目標數據的分裂信息量，根據所述目標數據及目標數據集的信息熵、所述目標數據的分裂信息量，利用所述預構建的信息增益模型計算出所述目標數據的信息增益率。其中，所述信息熵用于度量一個數據集合的信息量，一個數據集合越有序，其信息熵越低，需要聲明的是，信息熵的計算方法屬于當前較為成熟的已知技術，在此不在做闡述。一個可選實施例中，利用下述方法計算所述目標數據的分裂信息量：其中，m表示目標數據的數量，|dj|表示第j個目標數據，|d|表示目標數據集的數據數量。較佳地，本發明實施例中，所述預構建的信息增益模型如下所示：其中，gainratio(a)表示目標數據a的信息增益率，info(d)表示目標數據集的信息熵，infoa(d)表示目標數據a的信息熵，splitinfoa(a)表示目標數據a的分裂信息量。進一步地，所述根據所述信息增益率提取出所述目標數據集的特征數據包括：若所述信息增益率大于預設的信息增益率，則提取出對應的目標數據，并將提取的目標數據作為所述特征數據，若所述信息增益率不大于預設的信息增益率，則刪除對應的目標數據。優選地，所述預設的信息增益率為0.5。基于所述特征數據的提取，可以過濾掉所述目標數據集中部分數據，減輕后續過濾海量數據時的壓力。進一步的，為保證所述特征數據集的隱私性和安全性，所述特征數據集還可存儲于一區塊鏈節點中。s3、利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果。本發明實施例中，所述特征數據集中的特征數據在執行調度時，存在一定的依賴關系，比如特征數據a依賴于特征數據b的運行結果，因此，本發明實施例通過預設的任務調度框架對所述特征數據集進行調度任務分配，以確定所述特征數據集的工作流，同時可以避免人工進行參與特征數據集的任務分配，節省了大量的數據運行時間以及提高了后續數據讀取的速度。進一步地，本發明實施例中，所述預設的任務調度框架包括：azkaban，所述azkaban是由linkedin開源的一個批量工作流任務調度器，用于在一個工作流內以一個特定的順序運行一組數據工作和流程。詳細地，所述利用預設的任務調度框架對所述特征數據集進行調度任務分配，生成調度任務，包括：利用所述任務調度框架中的依賴識別模塊(dbserver)識別所述特征數據集的數據依賴關系，根據所述數據依賴關系，利用所述任務調度框架中的線程分配模塊(executorserver)對所述特征數據集進行調度任務的劃分，得到調度任務。進一步地，本發明實施例在所述調度任務中加載日志標簽讀取指令，以識別出后續調度任務在運行結束時是否產生任務日志標簽，從而可以自動測試出任務執行結果，可選的，所述日志標簽讀取指令通過shell腳本編譯，包括bash指令。詳細地，所述在所述調度任務中加載日志標簽讀取指令包括：獲取所述調度任務的編譯環境，利用預設的加載指令在所述編譯環境中添加所述日志標簽讀取指令。其中，所述編譯環境包括：myeclipse，所述預設的加載指令通過java語言編譯，包括：load指令。本發明實施例利用線程運行所述調度任務，得到運行結果，并根據述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽。s4、利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽。若不包含日志標簽，則返回s3、重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配。本發明實施例中，若所述運行結果中未包含日志標簽，則表示所述調度任務運行存在異常，即對應下游用戶無法根據運行結果繼續執行對應的調度任務，因此，本發明實施例重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配，以保障所有調度任務的正常執行。若包含日志標簽，則執行s5、將所述運行結果返回至對應的下游用戶。本發明實施例中，若所述運行結果中包含日志標簽，則表示所述調度任務運行未存在異常，即對應下游用戶無法根據運行結果繼續執行對應的調度任務，因此，本發明實施例將所述運行結果返回至對應的下游用戶，以實現所述調度任務的正常執行。如圖3所示，是本發明任務測試裝置的功能模塊圖。本發明所述任務測試裝置100可以安裝于電子設備中。根據實現的功能，所述任務測試裝置可以包括劃分模塊101、計算模塊102、分配模塊103以及識別模塊104。本發所述模塊也可以稱之為單元，是指一種能夠被電子設備處理器所執行，并且能夠完成固定功能的一系列計算機程序段，其存儲在電子設備的存儲器中。在本實施例中，關于各模塊/單元的功能如下：所述劃分模塊101，用于獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集；所述計算模塊102，用于計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集；所述分配模塊103，用于利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果，；所述識別模塊104，用于利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽；所述識別模塊104，還用于在不包含所述日志標簽時，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配；所述識別模塊104，還用于在包含所述日志標簽時，則將所述運行結果返回至對應的下游用戶。詳細地，本發明實施例中所述任務測試裝置100中的所述各模塊在使用時采用與上述的圖1和圖2中所述的任務測試方法一樣的技術手段，并能夠產生相同的技術效果，這里不再贅述。如圖4所示，是本發明實現任務測試方法的電子設備的結構示意圖。所述電子設備1可以包括處理器10、存儲器11和總線，還可以包括存儲在所述存儲器11中并可在所述處理器10上運行的計算機程序，如任務測試程序12。其中，所述存儲器11至少包括一種類型的可讀存儲介質，所述可讀存儲介質包括閃存、移動硬盤、多媒體卡、卡型存儲器(例如：sd或dx存儲器等)、磁性存儲器、磁盤、光盤等。所述存儲器11在一些實施例中可以是電子設備1的內部存儲單元，例如該電子設備1的移動硬盤。所述存儲器11在另一些實施例中也可以是電子設備1的外部存儲設備，例如電子設備1上配備的插接式移動硬盤、智能存儲卡(smartmediacard，smc)、安全數字(securedigital，sd)卡、閃存卡(flashcard)等。進一步地，所述存儲器11還可以既包括電子設備1的內部存儲單元也包括外部存儲設備。所述存儲器11不僅可以用于存儲安裝于電子設備1的應用軟件及各類數據，例如任務測試的代碼等，還可以用于暫時地存儲已經輸出或者將要輸出的數據。所述處理器10在一些實施例中可以由集成電路組成，例如可以由單個封裝的集成電路所組成，也可以是由多個相同功能或不同功能封裝的集成電路所組成，包括一個或者多個中央處理器(centralprocessingunit，cpu)、微處理器、數字處理芯片、圖形處理器及各種控制芯片的組合等。所述處理器10是所述電子設備的控制核心(controlunit)，利用各種接口和線路連接整個電子設備的各個部件，通過運行或執行存儲在所述存儲器11內的程序或者模塊(例如執行任務測試等)，以及調用存儲在所述存儲器11內的數據，以執行電子設備1的各種功能和處理數據。所述總線可以是外設部件互連標準(peripheralcomponentinterconnect，簡稱pci)總線或擴展工業標準結構(extendedindustrystandardarchitecture，簡稱eisa)總線等。該總線可以分為地址總線、數據總線、控制總線等。所述總線被設置為實現所述存儲器11以及至少一個處理器10等之間的連接通信。圖4僅示出了具有部件的電子設備，本領域技術人員可以理解的是，圖4示出的結構并不構成對所述電子設備1的限定，可以包括比圖示更少或者更多的部件，或者組合某些部件，或者不同的部件布置。例如，盡管未示出，所述電子設備1還可以包括給各個部件供電的電源(比如電池)，優選地，電源可以通過電源管理裝置與所述至少一個處理器10邏輯相連，從而通過電源管理裝置實現充電管理、放電管理、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意組件。所述電子設備1還可以包括多種傳感器、藍牙模塊、wi-fi模塊等，在此不再贅述。進一步地，所述電子設備1還可以包括網絡接口，可選地，所述網絡接口可以包括有線接口和/或無線接口(如wi-fi接口、藍牙接口等)，通常用于在該電子設備1與其他電子設備之間建立通信連接。可選地，該電子設備1還可以包括用戶接口，用戶接口可以是顯示器(display)、輸入單元(比如鍵盤(keyboard))，可選地，用戶接口還可以是標準的有線接口、無線接口。可選地，在一些實施例中，顯示器可以是led顯示器、液晶顯示器、觸控式液晶顯示器以及oled(organiclight-emittingdiode，有機發光二極管)觸摸器等。其中，顯示器也可以適當的稱為顯示屏或顯示單元，用于顯示在電子設備1中處理的信息以及用于顯示可視化的用戶界面。應該了解，所述實施例僅為說明之用，在專利申請范圍上并不受此結構的限制。所述電子設備1中的所述存儲器11存儲的任務測試12是多個計算機程序的組合，在所述處理器10中運行時，可以實現：獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集；計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集；利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果；利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽；若不包含所述日志標簽，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配；若包含所述日志標簽，則將所述運行結果返回至對應的下游用戶。具體地，所述處理器10對上述計算機程序的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。進一步地，所述電子設備1集成的模塊/單元如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個非易失性計算機可讀取存儲介質中。所述計算機可讀存儲介質可以是易失性的，也可以是非易失性的。例如，所述計算機可讀介質可以包括：能夠攜帶所述計算機程序代碼的任何實體或裝置、記錄介質、u盤、移動硬盤、磁碟、光盤、計算機存儲器、只讀存儲器(rom，read-onlymemory)。本發明還提供一種計算機可讀存儲介質，所述可讀存儲介質存儲有計算機程序，所述計算機程序在被電子設備的處理器所執行時，可以實現：獲取原始數據集，對所述原始數據集進行格式統一化，得到標準數據集，對所述標準數據集進行掃描區域劃分，得到目標數據集；計算所述目標數據集中目標數據的信息增益率，根據所述信息增益率提取出對應目標數據的特征數據，得到特征數據集；利用預設的任務調度框架對所述特征數據集進行調度任務分配，得到調度任務，并在所述調度任務中加載日志標簽讀取指令，運行所述調度任務，得到運行結果；利用所述日志標簽讀取指令識別出所述運行結果中是否包含日志標簽；若不包含所述日志標簽，則重新利用所述預設的任務調度框架對所述特征數據集進行調度任務分配；若包含所述日志標簽，則將所述運行結果返回至對應的下游用戶。在本發明所提供的幾個實施例中，應該理解到，所揭露的設備，裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。另外，在本發明各個實施例中的各功能模塊可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現，也可以采用硬件加軟件功能模塊的形式實現。對于本領域技術人員而言，顯然本發明不限于上述示范性實施例的細節，而且在不背離本發明的精神或基本特征的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有變化涵括在本發明內。不應將權利要求中的任何附關聯圖標記視為限制所涉及的權利要求。本發明所指區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模式。區塊鏈(blockchain)，本質上是一個去中心化的數據庫，是一串使用密碼學方法相關聯產生的數據塊，每一個數據塊中包含了一批次網絡交易的信息，用于驗證其信息的有效性(防偽)和生成下一個區塊。區塊鏈可以包括區塊鏈底層平臺、平臺產品服務層以及應用服務層等。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除復數。系統權利要求中陳述的多個單元或裝置也可以由一個單元或裝置通過軟件或者硬件來實現。第二等詞語用來表示名稱，而并不表示任何特定的順序。最后應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，盡管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和范圍。當前第1頁12