天天看點
傳回

GooseFS透明加速能力，助力加速 CosN 通路 COS 的性能

GooseFS帶您快速上雲~

01 前言

原生的對象存儲接口協定并不相容HDFS檔案語義，是以對象存儲COS提供了COSN工具這一的标準的 Hadoop 檔案系統實作，可以為 Hadoop、Spark 以及 Tez 等大資料計算架構內建 COS 提供支援。

使用者可使用實作了 Hadoop 檔案系統接口的 CosN 插件，讀寫存儲在 COS 上的資料。但原生的對象存儲服務的架構設計原因，在List和Rename性能表現并不理想，是以騰訊雲對象存儲服務推出了GooseFS這一分布式緩存方案，主要針對包括需要緩存加速的資料湖業務場景，提供基于對象存儲COS服務的近計算端資料加速層。

透明加速能力是GooseFS的特色功能，用于加速 CosN 通路 COS 的性能。對于已經使用 CosN 工具通路 COS 的使用者，GooseFS 提供了一種用戶端路徑映射方式，讓使用者可以在不修改目前 Hive table 定義的前提下，仍然能夠使用 CosN scheme 通路 GooseFS，該特性友善使用者在不修改已有表定義的前提下，對 GooseFS 的功能和性能進行對比測試。

對于雲 HDFS 的使用者（CHDFS），也可以通過修改配置，實作使用 OFS 用戶端的Scheme 通路 GooseFS 的目的。

CosN Schema 和 GooseFS Schema 的之間的路徑是如何進行映射的呢？下面以一個例子進行說明。

假設COS上有一個examplebucket-1250000000，使用者将數倉中的資料存儲在data/warehouse/的路徑下，裡邊有/folder/test.txt，/folder/test2.txt等檔案，那麼按照CosN的通路路徑格式，對應的路徑為：

cosn://examplebucket-1250000000/data/warehouse/

則 CosN 到 GooseFS 的路徑映射關系如下：

cosn://examplebucket-1250000000/data/warehouse -> /warehouse/
cosn://examplebucket-1250000000/data/warehouse/folder/test.txt ->/warehouse/folder/test.txt

GooseFS 到 CosN 的路徑映射關系如下：

/warehouse ->cosn://examplebucket-1250000000/data/warehouse/
/warehouse/ -> cosn://examplebucket-1250000000/data/warehouse/
/warehouse/folder/test.txt -> cosn://examplebucket-1250000000/data/warehouse/folder/test.txt

注意：如果通路的 CosN 路徑無法轉換為 GooseFS 路徑，對應的 Hadoop API 調用會抛出異常。

02 操作示例

下邊進行透明加速的示範。該示例示範了 Hadoop 指令行以及 Hive 中，如何使用 gfs://、 cosn://、ofs:// 三種 Schema 通路 GooseFS。操作流程如下：

1. 準備資料和計算叢集

參考 建立存儲桶 文檔，建立一個測試用途的存儲桶；

參考 建立檔案夾 文檔，在存儲桶根路徑下建立一個名為 ml-100k 的檔案夾；

從 Grouplens 下載下傳 ml-100k 資料集，并将檔案 u.user 上傳到

<存儲桶根路徑>/ml-100k

參考 EMR 指引文檔，購買一個 EMR 叢集并配置 HIVE 元件。

2. 環境配置

i. 将 GooseFS 的用戶端 jar 包（goosefs-1.0.0-client.jar）放入 share/hadoop/common/lib/ 目錄下：

cp goosefs-1.0.0-client.jar  hadoop/share/hadoop/common/lib/

注意：配置變更和添加 jar 包，需同步到叢集上所有節點。

ii. 修改 Hadoop 配置檔案 etc/hadoop/core-site.xml，指定 GooseFS 的實作類：

<property>
 <name>fs.AbstractFileSystem.gfs.impl</name>
 <value>com.qcloud.cos.goosefs.hadoop.GooseFileSystem</value>
</property>
<property>
 <name>fs.gfs.impl</name>
 <value>com.qcloud.cos.goosefs.hadoop.FileSystem</value>
</property>

iii. 執行如下 Hadoop 指令，檢查是否能夠通過 gfs:// Scheme 通路 GooseFS，其中 <MASTER_IP> 為 Master 節點的 IP：

hadoop fs -ls gfs://<MASTER_IP>:9200/

iv. 将 GooseFS 的用戶端 jar 包放到 Hive 的 auxlib 目錄下，使得 Hive 能加載到 GooseFS Client 包：

cp goosefs-1.0.0-client.jar  hive/auxlib/

v. 執行如下指令，建立 UFS Scheme 為 CosN 的Namespace，并列出 Namespace。您可将該指令中的 examplebucket-1250000000 替換為你的 COS 存儲桶，SecretId 和 SecretKey 替換為您的密鑰資訊：

goosefs ns create ml-100k cosn://examplebucket-1250000000/ml-100k  --secret fs.cosn.userinfo.secretId=SecretId --secret fs.cosn.userinfo.secretKey=SecretKey--attribute fs.cosn.bucket.region=ap-guangzhou --attribute fs.cosn.credentials.provider=org.apache.hadoop.fs.auth.SimpleCredentialProvider
goosefs ns ls

vi. 執行指令，建立 UFS Scheme 為 OFS 的 Namespace，并列出 Namespace。您可将該指令中的 instance-id 替換為您的 CHDFS 執行個體，1250000000 替換為您的 APPID：

goosefs ns create ofs-test  ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/ofs-test --attribute fs.ofs.userinfo.appid=1250000000
goosefs ns ls

3. 建立 GooseFS Schema 表和查詢資料

通過如下指令執行：

create database goosefs_test;
use goosefs_test;
CREATE TABLE u_user_gfs (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'gfs://<MASTER_IP>:<MASTER_PORT>/ml-100k';
select sum(age) from u_user_gfs;

4. 建立 CosN Schema 表和查詢資料

CREATE TABLE u_user_cosn (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'cosn://examplebucket-1250000000/ml-100k';
select sum(age) from u_user_cosn;

5. 修改 CosN 的實作為 GooseFS 的相容實作

修改 hadoop/etc/hadoop/core-site.xml：

<property>
   <name>fs.AbstractFileSystem.cosn.impl</name>
   <value>com.qcloud.cos.goosefs.hadoop.CosN</value>
</property>
<property>
   <name>fs.cosn.impl</name>
   <value>com.qcloud.cos.goosefs.hadoop.CosNFileSystem</value>
</property>

​

執行 Hadoop 指令，如果路徑無法轉換為 GooseFS 中的路徑，指令的輸出中會包含報錯資訊：

hadoop fs -ls  cosn://examplebucket-1250000000/ml-100k/
Found 1 items
-rw-rw-rw-   0 hadoop hadoop      22628 2021-07-02 15:27 cosn://examplebucket-1250000000/ml-100k/u.user
hadoop fs -ls cosn://examplebucket-1250000000/unknow-path
ls: Failed to convert ufs path cosn://examplebucket-1250000000/unknow-path to GooseFs path, check if namespace mounted

重新執行 Hive 查詢語句：

select sum(age) from u_user_cosn;

6. 建立 OFS Schema 表和查詢資料

通過如下指令執行：

CREATE TABLE u_user_ofs (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS TEXTFILE
LOCATION 'ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/ofs-test/';
select sum(age) from u_user_ofs;

7. 修改 OFS 的實作為 GooseFS 的相容實作

<property>
   <name>fs.AbstractFileSystem.ofs.impl</name>
   <value>com.qcloud.cos.goosefs.hadoop.CHDFSDelegateFS</value>
</property>
<property>
   <name>fs.ofs.impl</name>
   <value>com.qcloud.cos.goosefs.hadoop.CHDFSHadoopFileSystem</value>
</property>

執行 Hadoop 指令，如果路徑無法轉換為 GooseFS 中的路徑，則輸出結果中會包含報錯資訊：

hadoop fs -ls  ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/ofs-test/
Found 1 items
-rw-r--r--   0 hadoop hadoop      22628 2021-07-15 15:56 ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/ofs-test/u.user
hadoop fs -ls  ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/unknown-path
ls: Failed to convert ufs path ofs://instance-id.chdfs.ap-guangzhou.myqcloud.com/unknown-path to GooseFs path, check if namespace mounted
           
select sum(age) from u_user_ofs;

03 結語

GooseFS 旨在提供一站式的資料湖緩存加速及分布式緩存解決方案，解決需要緩存加速的資料業務場景，提供基于對象存儲COS服務的近計算端資料加速層，助力加速CosN通路COS的性能。關于更多GooseFS請前往：https://cloud.tencent.com/document/product/436/56412

騰訊雲 對象存儲 資料加速器 GooseFS
上一篇: Qt&amp;Vtk-009-Cone4Qt&amp;Vtk-Cone4
下一篇: 稀疏數組系列篇

繼續閱讀