ETL測試工具簡介

ETL測試

ETL測試過程與其他測試過程類似，包括一些階段。

• 确定業務需求
• 測試計劃
• 設計測試用例和測試資料
• 測試執行和錯誤報告參考
• 總結報告
• 測試結束

ETL測試的類型

• 生産驗證測試： 也稱為表平衡或産品對帳。 它在以正确順序移入生産系統之前或同時對資料執行。
• 源目标測試： 在資料轉換後驗證資料值。
• 源應用程式更新： 檢查資料是從舊應用程式或新應用程式或存儲庫中提取的。
• 資料轉換測試： 為每一行運作多個SQL查詢以驗證資料轉換标準。
• 資料完整性測試：驗證是否按照預定義标準将預期資料加載到适當的目的地。

我還想将ETL測試與資料庫測試進行比較，但在此之前讓我們看一下有關資料庫測試的ETL測試類型。

下面給出了與資料庫測試有關的ETL測試類型：

• 限制測試：NULL、唯一、主鍵、外鍵、校驗、空值、預設
• 重複檢查測試：源表和目标表包含大量具有頻繁重複值的資料，在這種情況下，測試人員會按照一些資料庫查詢來查找此類重複。
• 導航測試：導航涉及應用程式的GUI。 當使用者在整個系統中獲得簡單且相關的導航時，使用者會發現應用程式友好。 測試人員必須專注于從使用者的角度避免不相關的導航。
• 初始化測試：執行初始化測試以檢查硬體和軟體要求以及安裝的平台的組合

• 屬性檢查測試：

  執行此測試以驗證源系統和目标系統的所有屬性是否相同

從上面的清單中可以看出，ETL測試與資料庫測試非常相似，但事實是ETL測試涉及資料倉庫測試而不是資料庫測試。

ETL測試與資料庫測試不同，還有其他一些事實。

讓我們快速看看它們是什麼：

• 資料庫測試的主要目标是檢查資料是否遵循資料模型的規則和标準，另一方面，ETL Testing檢查資料是否按預期移動或映射。
• 資料庫測試側重于維護主鍵 - 外鍵關系，而ETL測試根據需求或期望驗證資料轉換 ，并在源系統和目标系統上相同。
• 資料庫測試可識别缺失資料，而ETL測試可确定重複資料。
• 據庫測試用于企業商業智能報告的 資料內建和ETL測試

  這些是使ETL測試與資料庫測試不同的一些主要差異。 
             

  ETL錯誤清單的表：

bug的類型	描述
計算錯誤	由于數學錯誤，最終輸出錯誤
輸入/輸出錯誤	接受無效值、拒絕有效值
H/W錯誤	由于硬體問題，裝置無響應
使用者界面錯誤	與應用程式的GUI相關
加載條件錯誤	拒絕多個使用者

如何在ETL測試中建立測試用例

ETL測試的主要目标是確定提取和轉換的資料是否從源到目标系統準确加載。 ETL測試包括兩個文檔，它們是：

• 1）ETL映射表：該文檔包含有關源表和目标表及其引用的資訊。 映射表提供了在執行ETL測試時建立大SQL查詢的幫助。
• 2）源和目标表的資料庫模式：應該在具有資料庫模式的映射表中保持更新，以執行資料驗證。

最流行的ETL測試工具清單

與自動化測試一樣，ETL測試也可以自動化。 自動ETL測試可減少測試過程中的時間消耗，并有助于保持準确性。

Informatica資料驗證

Informatica Data Validation是一個基于GUI的ETL測試工具，用于提取，[轉換和加載（ETL）。 測試包括資料遷移之前和之後的表的比較。 此類測試可確定資料完整性，即正确加載資料量并以預期格式進入目标系統。

主要特點：

• 全面的ETL測試工具，不需要任何程式設計技能。
• 在ETL測試期間提供自動化，確定資料是否正确傳送并且是否以預期的格式傳送到目标系統。
• 有助于在測試和生産環境中完成資料驗證和協調。
• 降低了在轉換過程中引入錯誤的風險，并避免将錯誤資料轉換到目标系統。
• 在開發，測試和生産環境中非常有用，在此環境中，必須在進入生産系統之前驗證資料完整性。
• 可以節省50％到90％的成本和工作量。
• 為資料驗證和資料完整性提供了完整的解決方案。
• 直覺的使用者界面和内置操作員，減少了程式設計工作和業務風險。
• 識别并防止資料品質問題并提高業務生産力。
• 允許64％免費試用和36％付費服務，減少資料驗證所需的時間和成本。

通路官方網站 ：

Informatica Data Validation

QuerySurge

主要特點 ：

• QuerySurge是一個用于大資料測試和ETL測試的自動化工具。
• 提高資料品質并加快測試周期。
• 使用查詢向導驗證資料。
• 它通過自動化手動工作并在特定時間安排測試來節省時間和成本。
• QuerySurge支援跨IBM，Oracle，Microsoft，SAP等各種平台的ETL測試。
• 有助于建構測試場景和測試套件以及可配置的報告，而無需具備SQL的特定知識。
• 通過自動化流程生成電子郵件報告。
• 可重複使用的查詢代碼段，用于生成可重用的代碼。
• 它提供了資料健康的協作視圖。
• 與HP ALM，TFS，IBM Rational Quality Manager內建。
• 通過ETL過程驗證，轉換和更新資料。
• 它是一種商業工具，可連接配接源資料和目标資料，還支援測試場景的實時進度。

iCEDQ

iCEDQ是一個自動化的ETL測試工具，專門針對資料中心項目（如資料倉庫，資料遷移等）所面臨的問題而設計.iCEDQ在源系統和目标系統之間執行驗證，驗證和協調。 它確定遷移後資料是否完整，并避免将錯誤資料加載到目标系統中。

• iCEDQ是一個獨特的ETL測試工具，可以比較數百萬行資料庫或檔案。
• 有助于識别包含資料問題的确切行和列。
• 在執行後向訂閱的使用者發送警報和通知。
• 支援回歸測試。
• 支援各種資料庫，可以從任何資料庫讀取資料。
• 連接配接關系資料庫，任何JDBC相容資料庫，富文本等。
• 根據資料庫中的唯一列比較記憶體中的資料。
• 與HP ALM內建。
• 專為ETL測試，資料遷移測試和資料品質驗證而設計。
• 識别資料內建錯誤，無需任何自定義代碼。
• 支援ETL流程的規則引擎，協作工作和有組織的QA流程。
• 30天試用期的商業工具，可提供包含警報和通知的自定義報告。
• 大資料版現在使用Hadoop Cluster的強大功能
• 使用iCEDQ進行BI報告測試和儀表闆測試

Datagaps ETL Validator

ETL Validator工具專為ETL測試和大資料測試而設計。 它是資料內建項目的解決方案。 此類資料內建項目的測試包括各種資料類型，大量資料和各種源平台。 ETL Validator通過自動化幫助克服這些挑戰，進一步有助于降低成本并最大限度地減少工作量。

• 内置的ETL引擎，可以比較來自各種資料庫或平面檔案的數百萬條記錄。
• 專為自動資料倉庫測試而設計的資料測試工具。
• 具有拖放功能的Visual Test Case Builder。
• Query Builder的功能，可以編寫測試用例而無需手動輸入任何查詢。
• 比較聚合資料，如計數，總和，不同計數等。
• 簡化跨各種環境的資料庫模式的比較，包括資料類型，索引，長度等。
• ETL Validator支援各種平台，如Hadoop，XML，Flat檔案等。
• 支援電子郵件通知，Web報告等。
• 它可以與HP ALM內建，進而在各種平台上共享測試結果。
• 查資料有效性，資料準确性以及執行中繼資料測試。
• 檢查參照完整性，資料完整性，資料完整性和資料轉換。
• 試用期為30天，無需自定義程式設計，提高了業務效率。

QualiDI

QualiDi是一個自動化測試平台，提供端到端測試和ETL測試。 它可以自動化ETL測試并提高ETL測試的有效性。 它還可以減少靜止周期并提高資料品質。 QualiDI非常容易識别不良資料和不合規資料。 QualiDI減少了回歸周期和資料驗證。

• QualiDI建立自動化測試用例，并為自動資料比較提供支援。
• 提供資料可追溯性和測試用例可追溯性。
• 集中的存儲庫，用于需求，測試用例和測試結果。
• 它可以與HPQC，Hadoop等內建。
• QualiDI在早期階段發現了一個缺陷，進而降低了成本。
• 電子郵件通知。
• 支援持續內建過程。
• 支援靈活開發和快速傳遞sprint。
• QualiDI管理複雜的BI測試周期，消除人為錯誤和維護的資料品質。

通路官方網站：

QualiDi

用于資料內建的 Open Studio

Talend Open Studio for Data Integration是一個開源工具，可以簡化ETL測試。 它包括所有ETL測試功能和其他持續傳遞機制。 在Talend Data Integration工具的幫助下，使用者可以使用各種作業系統在遠端伺服器上運作ETL作業。

ETL測試確定資料從源系統轉換到目标而不會丢失任何資料，進而遵守轉換規則。

• Talend資料內建支援任何類型的關系資料庫，平面檔案等。
• 內建的GUI，簡化了ETL過程的設計和開發。
• 内置資料連接配接器，包含900多個元件。
• 快速檢測轉換規則中的業務歧義和不一緻性。
• 支援遠端作業執行。
• 早期識别缺陷以降低成本。
• 根據ETL最佳實踐提供定量和定性名額。可以在兩者之間切換
• ETL開發，ETL測試和ETL生産環境。
• 實時資料流跟蹤以及詳細的執行統計資訊。

Talend ETL Testing

參考資料

完整内容和圖檔請通路

https://www.jianshu.com/p/23927950732d

Codoid的ETL測試服務

Codoid的ETL和資料倉庫測試服務包括從源到目标系統的資料遷移和資料驗證。 ETL測試確定在将資料從源加載到目标系統時沒有資料錯誤，沒有錯誤資料或資料丢失。 它可以快速識别ETL過程中發生的任何資料錯誤或任何其他常見錯誤。

• 可確定資料倉庫中的資料品質以及從源系統到目标系統的資料完整性驗證。
• ETL測試和資料驗證確定從源系統轉換到目标系統的業務資訊準确可靠。
• 自動化測試過程在資料遷移期間和之後執行資料驗證，并防止任何資料損壞。
• 資料驗證包括目标資料和實際資料之間的計數，聚合和抽查。
• 自動化測試過程驗證資料類型，資料長度，索引是否準确轉換并加載到目标系統中。
• 資料品質測試可防止資料錯誤，錯誤資料或任何文法問題。

Codoid’s ETL Testing

Data-Centric Testing

資料中心測試工具執行強大的資料驗證，以避免資料轉換期間的資料丢失或資料不一緻等任何故障。 它比較系統之間的資料，并確定加載到目标系統的資料在資料量，資料類型，格式等方面與源系統完全比對。

• 建構資料中心測試以執行ETL測試和資料倉庫測試。
• 以資料為中心的測試是最大和最經典的測試實踐。
• 提供ETL測試，資料遷移和協調。
• 支援各種關系資料庫，富文本等。
• 高效的資料驗證，100％的資料覆寫率。
• 以資料為中心的測試還支援全面的報告。
• 資料驗證的自動化過程會生成SQL查詢，進而降低成本和工作量。
• 它提供了Oracle和SQL Server等異構資料庫之間的比較，并確定兩個系統中的資料格式正确。

SSISTester

SSISTester是一個架構，有助于SSIS包的單元和內建測試。 它還有助于在測試驅動的環境中建立ETL過程，進而有助于識别開發過程中的錯誤。 在實作ETL過程時會建立許多包，這些包需要在單元測試期間進行測試。 內建測試也是“實時測試”。

• 單元測試創​​建并驗證測試，一旦執行完成，它就會執行清理工作。
• 內建測試驗證在執行單元測試後所有包都符合以前哦愛u。
• 當使用者在Visual Studio中建立測試時，将以簡單的方式建立測試。
• 使用SSISTester可以實時測試測試。
• 使用者友好的GUI監控測試執行。
• 測試結果以HTML格式導出。
• 它通過使用虛假的源和目标位址來删除外部依賴項。
• 對于測試的建立，它支援任何.NET語言。

TestBench

TestBench是一個資料庫管理和驗證工具。 它是一個獨特的解決方案，可解決與資料庫相關的所有問題。 使用者管理的資料復原可提高測試效率和準确性。 它還有助于減少環境停機時間。 TestBench報告在測試環境中執行的所有插入，更新和删除的事務，并捕獲事務之前和之後的資料狀态。

• 保持資料機密性以保護資料。
• 應用程式的恢複點。
• 改善了決策知識。
• 自定義資料集以提高測試效率。
• 有助于最大限度地測試覆寫率并有助于減少時間和金錢。
• 資料隐私規則可確定測試環境中的實時資料不可用。
• 将結果與各種資料庫進行比較。 結果包括表格的差異和對​​表格的操作。
• TestBench分析表之間的關系并維護表之間的引用完整性。

GTL QAceGen

QAceGen專門用于生成複雜的測試資料，自動化ETL回歸套件以及驗證應用程式的業務邏輯。 QAceGen根據ETL規範中定義的業務規則生成測試資料。 它建立了包含資料生成和資料驗證語句的每個場景。

QAceGen

Zuzena自動化測試服務

Zuzena是一種為資料倉庫測試而開發的自動化測試服務。 它用于執行大型項目，如資料倉庫，商業智能，它管理資料并執行內建和回歸測試套件。 它自動管理ETL執行和結果評估。 它具有廣泛的名額，可監控QA目标和團隊績效。

uzena Automated Testing

DbFit

DbFit是一個開源測試工具，在GPL許可下釋出。 它為任何資料庫代碼編寫單元和內建測試。 這些測試易于維護，可以直接從浏覽器執行。 這些測試使用表編寫，并使用指令行或Java IDE執行。 它支援主要資料庫，如Oracle，MySQL，DB2，SQL Server，PostgreSQL等。

AnyDbTest

AnyDbTest是專為DBA或資料庫開發人員設計的自動化單元測試工具。 AnyDbTest使用XML編寫測試用例，并允許使用excel電子表格作為測試用例的來源。 支援标準斷言，如SetEqual，StrictEqual，IsSupersetOf，RecordCountEqual，Overlaps等。它支援各種類型的資料庫，如MySQL，Oracle，SQL Server等。測試可以包括多個資料庫，即源資料庫可以是Oracle伺服器和目标需要加載資料的資料庫可以是SQL Server。

99 Percentage ETL Testing

99 Percentage ETL Testing'確定任何資料庫系統的資料完整性和生産協調。 它維護ETL映射表并驗證行和列的源和目标資料庫映射。 它還維護源資料庫和目标資料庫的DB Schema。 它支援生産驗證測試，資料完整性和資料轉換測試。

要點

• 應用合适的業務轉型邏輯。
• 執行後端資料驅動的測試。
• 建立并執行絕對測試用例，測試計劃和測試工具。
• 確定資料轉換，可擴充性和性能的準确性。
• 確定E
• TL應用程式報告無效值。
• 應将單元測試創​​建為目标标準。

結論

ETL測試不僅是測試人員的職責，還涉及開發人員，業務分析師，資料庫管理者（DBA）甚至使用者。 ETL測試過程變得至關重要，因為它需要定期制定戰略決策。

ETL測試被視為企業測試，因為它需要熟悉SDLC，SQL查詢，ETL過程等。 和