高性能資料分析序列化 parquet

‬parquet 介紹

Parquet是一種列式存儲格式，旨在提高大規模資料處理的效率和性能。它最初是由Apache Hadoop生态系統中的多個公司共同開發的，現在已經成為Apache Software Foundation的頂級項目之一。

與傳統的行式存儲格式（如CSV或JSON）不同，Parquet将資料按列存儲，而不是按行存儲。這種存儲方式使得Parquet能夠高效地壓縮和編碼資料，進而大大減少了存儲和傳輸資料的成本。此外，它還提供了一些進階功能，如資料模式的嵌入式定義、快速分割和過濾、列式存儲的統計和壓縮等。

Parquet被廣泛用于處理大規模資料的場景，特别是在Hadoop和Spark等大資料處理架構中。它支援多種程式設計語言，如Java、Python和C++等，并且可以與多個資料存儲和處理系統內建，如Hive、Pig、Impala、Spark SQL等。

parquet 優勢

1. 列式存儲：Parquet将資料按列存儲，而不是按行存儲，這有助于提高查詢性能和壓縮比率。因為同一列中的資料通常具有相似的資料類型和值，是以列式存儲可以更好地利用壓縮算法來減少存儲空間。此外，查詢通常隻涉及一部分列，是以列式存儲可以隻讀取必要的列，進而提高查詢性能。

2. 壓縮：Parquet支援多種壓縮算法，包括Snappy、Gzip和LZO等。這些算法可以顯著減少存儲和傳輸資料的成本，同時不會降低查詢性能。

3. 資料模式：Parquet支援嵌入式資料模式定義。這意味着資料模式可以存儲在檔案中，而不需要單獨的架構檔案。這使得Parquet适用于處理半結構化和非結構化資料。

4. 快速分割和過濾：由于資料按列存儲，Parquet可以在不讀取整個檔案的情況下快速分割和過濾資料。這可以提高查詢性能和降低I/O成本。

5. 跨平台：Parquet是一個開放的格式，可以在多個系統和程式設計語言之間進行交換。它支援多種資料類型和編碼方式，并且可以與多個資料存儲和處理系統內建。

‬parquet 使用 demo

以下是一個使用Python讀寫Parquet檔案的示例代碼：

import pandas as pd

# 寫入Parquet檔案
df = pd.DataFrame({'col1': [1, 2, 3], 'col2': ['a', 'b', 'c']})
df.to_parquet('example.parquet')

# 讀取Parquet檔案
df = pd.read_parquet('example.parquet')
print(df)           

在這個示例中，我們使用pandas庫建立一個DataFrame對象，包含兩列資料。然後，我們使用DataFrame的to_parquet方法将資料寫入Parquet檔案。最後，我們使用read_parquet方法讀取Parquet檔案，并将結果存儲在一個新的DataFrame對象中。最後，我們輸出這個DataFrame對象以檢視讀取的資料。

需要注意的是，為了運作這個示例，您需要安裝pandas庫。可以使用pip指令安裝：

pip install pandas           

近期閱讀的好書推薦

最近在研究雲原生下高性能的網絡解決方案，搭配K8S原生叢集适配動态CNI的政策，學習過程中發現業内主流的解決方案就是EBPF，是以買了BPF的書籍閱讀，感覺不錯是以推薦：

BPF之巅 ￥199 購買

我的近期專欄動态如下

我日常工作研究的心得筆記以及生産環境最佳實踐會整理成專欄分享出來，感興趣的讀者可以移步閱讀本人的專欄。