作者：Python進階者
來源：Python爬蟲與資料挖掘
前言
大家好，我是吳老闆。今天給大家分享一個可将Mongodb資料庫裡邊的檔案轉換為表格檔案的庫，這個庫是我自己開發的，有問題可以随時咨詢我。
Mongo2file庫是一個 Mongodb 資料庫轉換為表格檔案的庫。
在我的日常工作中經常和 mongodb 打交道，而從 mongodb 資料庫中批量導出資料為其他格式則成為了剛需。
如果您跟我一樣每次導出資料時都需要重新編寫或到處尋找 腳本代碼 的話，這個庫可能會對您産生幫助。
依賴于快速 PyArrow
mongo2file 依賴于 PyArrow 庫。它是 C++ Arrow 的 Python 版本實作。
PyArrow 目前與 Python 3.7、3.8、3.9 和 3.10 相容。
倉庫位址: https://github.com/apache/arrow
如果您在 Windows 上遇到任何的導入問題或錯誤，您可能需要安裝 Visual Studio 2015。
警告: PyArrow 目前隻支援到 win64 位 ( Python 64bit ) 作業系統。
其次，除了常見的 csv、excel、以及 json 檔案格式之外, mongo2file 還支援導出 pickle、feather、parquet 的二進制壓縮檔案。
pickle、feather、parquet 是 Python 序列化資料的一種檔案格式, 它把資料轉成二進制進行存儲。進而大大減少讀取的時間。
安裝
pip install mongo2file
基本用法
快速開始
import os
from mongo2file import MongoEngine
M = MongoEngine(
host=os.getenv('MONGO_HOST', '127.0.0.1'),
port=int(os.getenv('MONGO_PORT', 27017)),
username=os.getenv('MONGO_USERNAME', None),
password=os.getenv('MONGO_PASSWORD', None),
database=os.getenv('MONGO_DATABASE', 'test_'),
collection=os.getenv('MONGO_COLLECTION', 'test_')
)
def to_csv():
result_ = M.to_csv()
assert "successfully" in result_
def to_excel():
result_ = M.to_excel()
assert "successfully" in result_
def to_json():
result_ = M.to_excel()
assert "successfully" in result_
def to_pickle():
result_ = M.to_pickle()
assert "successfully" in result_
def to_feather():
result_ = M.to_feather()
assert "successfully" in result_
def to_parquet():
result_ = M.to_parquet()
assert "successfully" in result_
to_csv()
當 MongoEngine 控制類指定了 mongodb 表名稱時、将對資料表 (mongodb集合) 進行導出操作。
其類方法參數包括:
- query: 指定對資料表的查詢參數、隻對指定表名時有效
- folder_path: 指定導出目錄路徑
- filename: 指定導出檔案名、預設為 表名稱 + 目前時間
- _id: 指定是否導出 _id、布爾型、預設為 False
- limit: 指定導出表的限制資料、int類型、預設為 -1、即不限制。
import os
from mongo2file import MongoEngine
"""
作用于 MongoEngine 類未指定表名稱時
"""
M = MongoEngine(
host=os.getenv('MONGO_HOST', '127.0.0.1'),
port=int(os.getenv('MONGO_PORT', 27017)),
username=os.getenv('MONGO_USERNAME', None),
password=os.getenv('MONGO_PASSWORD', None),
database=os.getenv('MONGO_DATABASE', 'test_')
)
def to_csv():
result_ = M.to_csv()
assert "successfully" in result_
def to_excel():
result_ = M.to_excel()
assert "successfully" in result_
def to_json():
result_ = M.to_json()
assert "successfully" in result_
to_csv()
當 MongoEngine 控制類隻指定了 mongodb 庫名稱時、将對資料庫下所有集合進行導出操作。
面對 mongo2file的瓶頸和改進
對于 mongodb 的全表查詢、條件查詢、聚合操作、以及索引操作(當資料達到一定量級時建議) 并不是直接影響 資料導出的最大因素。
因為 mongodb 的查詢一般而言都非常快速，主要的瓶頸在于讀取 資料庫 之後将資料轉換為大清單存入 表格檔案時所耗費的時間。
_這是一件非常可怕的事情_。
當沒有多線程(當然這裡的多線程并不是對同一檔案進行并行操作，檔案寫入往往是線程不安全的)、 資料表查詢語句無優化時，并且當資料達到一定量級時(比如 100w 行)，單表單線程表現出來的效果真是讓人窒息。
在 mongo2file 在進行大資料量導出時表現的并沒有多麼優秀。導緻的主要原因可能是:
- 采用的 xlsxwriter 庫寫入 excel 時是積極加載(非惰性)的，資料全部加載至記憶體後插入表格。
- 大資料量插入表格時、跟主控端器的性能有關。
mongo2file 表現的不如人意時，我做出了一下改進:
- 當資料量過大時，資料表分塊讀取，導出多表格。
- 增加線程池的最大并發數、當選取的 block_size 值合适時，将發揮最大性能。
對于資料轉換一些建議
- 對于 xlsxwriter、openpyxl、xlwings 以及 pandas 引用的任何引擎進行寫入操作時、都會對寫入資料進行非法字元的過濾。這一點從部分源碼中可以看得出來。
- 由于行資料表中可能存在 excel 無法識别的非法字元 (比如空清單 []) , 當寫至此行時将抛出 非法類型 的錯誤。
- 而比較恰當合理的做法就是在存儲 mongodb 文檔時不要存入類似于 []、{} 的這種對原始資料無意義的空對象。
Reference API
MongoEngine
MongoEngine(
host='localhost',
port=27017,
username=None,
password=None,
database='測試庫',
collection='測試表_200000'
)
to_csv(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
:param is_block: 是否分塊導出
:param block_size: 塊大小、is_block 為 True 時生效
to_excel(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
:param is_block: 是否分塊導出
:param block_size: 塊大小、is_block 為 True 時生效
:param mode: 導出模式, 枚舉類型、sheet 或 xlsx, 當 is_block 為 True 時生效
:param ignore_error: 是否忽略錯誤、資料表中存在非序列化類型時使用、這将一定程度上影響程式的性能
to_json(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
:param is_block: 是否分塊導出
:param block_size: 塊大小、is_block 為 True 時生效
to_pickle(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
to_feather(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
to_parquet(query, folder_path, filename, ...)
:param query: 資料庫查詢條件、字典類型、隻作用于單表導出
:param folder_path: 指定導出的目錄
:param filename: 指定導出的檔案名
:param _id: 是否導出 _id 預設否
:param limit: 限制資料表查詢的條數
總結
大家好，我是吳老闆。以上就是今天要分享的全部内容了，總的來說，Mongo2file庫是一個可以将 Mongodb 資料庫轉換為表格檔案的庫，不僅支援導出csv、excel、以及 json 檔案格式, 還支援導出 pickle、feather、parquet 的二進制壓縮檔案。歡迎大家積極嘗試，在使用過程中有遇到任何問題，歡迎随時聯系我。
![“超越融合 異築信創”，AntDB資料庫攜手超雲等生态夥伴共建信創大生态[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)