天天看點

OceanBase知識加油站(工具篇二):使用導數工具了嘛?

OceanBase知識加油站(工具篇二):使用導數工具了嘛?

在日常工作中,我們經常需要将資料庫中的對象和資料進行導入導出的操作。OceanBase 針對這種情況提供了專門的導數工具—— OBLOADER 和 OBDUMPER 來完成這項工作。日常導資料的工作是繁瑣又細緻,在導資料過程中您很容易遇到各種各樣的問題。是以我們為大家提供了這篇導數工具的使用指導,本文将會從簡單入門和性能調優兩個方面指導大家使用 OceanBase 導數工具。

基礎功能入門

連接配接方式

OBLOADER和 OBDUMPER 支援兩種連接配接方式。第一種是連接配接至 ODP 代理服務,要求您在輸入指令時必需指定 -c 叢集名 選項;第二種是直連到 OBServer 節點,您在輸入指令時無需指定 -c 叢集名 選項。通常,我們強烈建議您在使用 OBLOADER 或者 OBDUMPER 工具時,通過連接配接到 ODP 代理服務來通路 OceanBase 資料庫。

示例語句如下所示:

OceanBase知識加油站(工具篇二):使用導數工具了嘛?
OceanBase知識加油站(工具篇二):使用導數工具了嘛?

資料格式

OBLOADER和 OBDUMPER 支援三種資料格式,分别是 CSV 格式、Insert SQL 格式和 Delimited Text 格式。如何辨識這三種資料格式,請浏覽另外一篇文檔《

準備好您的資料了嗎?

》。

下述以 OBLOADER 為例,展示了導入這三種格式資料的示例語句。

OceanBase知識加油站(工具篇二):使用導數工具了嘛?
OceanBase知識加油站(工具篇二):使用導數工具了嘛?

說明

--column-delimiter 選項在 CSV 格式中指定的是值定界符,即引号所包含的值域範圍。--column-separator 選項在 CSV 格式中代表的是值分隔符。

--column-separator 選項僅用于 CSV 格式,分隔符隻能使用單個字元。--column-splitter 選項僅用于 Delimited Text 格式,分隔符可以使用單個字元,也可以使用字元串。

下載下傳并解壓 OceanBase 導數工具後,隻要輸入上述必需的選項和參數,您就已經可以初步地使用導入導出工具。然而,當您處理大規模的資料庫或者資料檔案時,僅指定上述的基礎選項參數顯然是不夠的。您還需要掌握一些性能調優的技巧,以便于更高效地完成資料導入導出操作。

導數性能優化

無論您正在使用的是 OBDUMPER 資料導出功能還是 OBLOADER 資料導入功能,我們都需要進行性能優化工作(主要就是調參)。這裡涉及到兩個環節的參數調整,第一個環節是調整 OceanBase 導數工具自身的參數,第二個環節是調整 OBServer 叢集的參數。OceanBase 導數工具是由 Java 編寫的工具,是以在運作 Bash 腳本之前,我們需要在 Bash 檔案中修改 JVM 記憶體參數大小。通常,我們隻需要修改 -Xms -Xmx 參數(預設值為 4 G),推薦将其修改為主控端 60% 可用實體記憶體大小即可。其它與 OceanBase 導數工具自身相關的參數選項和設定建議如下。

工具相關的選項

OceanBase知識加油站(工具篇二):使用導數工具了嘛?
OceanBase知識加油站(工具篇二):使用導數工具了嘛?

叢集相關的參數

OceanBase知識加油站(工具篇二):使用導數工具了嘛?
OceanBase知識加油站(工具篇二):使用導數工具了嘛?
說明無論是工具選項參數還是叢集租戶相關的參數,目前并沒有絕對可用的經驗值。我們也是根據實際的業務進行調參優化,以便于找到适合目前業務的最佳參數值。性能優化是一個逐漸探索的過程。我們需要更多的耐心進行觀察試驗。在資料導入或者導出後,以上系統變量和參數務必要重新修改為預設值。

檔案巧妙地運用進階權限

這裡主要講 OceanBase 導數工具内部所依賴的資料庫的使用者權限。OceanBase導數工具差別于其他資料庫廠商導資料工具的關鍵地方,在于它充分利用了 OceanBase 資料庫内部的一些分布式的特性并進行了專門的性能優化。使用時,您必須提供root@sys 使用者的密碼或者配置供應商提供的秘鑰檔案,這樣 OceanBase 導數工具在運作的過程中才能查詢到資料庫内部的系統資訊。是以在輸入指令行參數時,除了需要輸入業務使用者的密碼以外,還需要輸入 root@sys 使用者的密碼,例如 -p '業務使用者的密碼' --sys-password 'root@sys的密碼'。

寫在最後

關于OceanBase 導數工具更多的功能介紹和常見問題回答可以檢視我們的官方文檔(💡 OceanBase 配套工具即将釋出,敬請期待~),文檔位址如下:

OBLOADER 2.1.13 版本(最新版本):

OceanBase知識加油站(工具篇二):使用導數工具了嘛?
OceanBase知識加油站(工具篇二):使用導數工具了嘛?

OBDUMPER 2.1.13 版本(最新版本)

OceanBase知識加油站(工具篇二):使用導數工具了嘛?