1、資料類型多種多樣 (有二進制、文本檔案、編碼後的圖像檔案如JPEG或PNG、網絡爬取的資料),不可能用一套代碼實作所有類型的輸入資料讀取, 轉換為統一格式 可以簡化資料讀取層的實作;
2、使用LMDB、LEVELDB 可以提高磁盤IO使用率。
1、資料類型多種多樣 (有二進制、文本檔案、編碼後的圖像檔案如JPEG或PNG、網絡爬取的資料),不可能用一套代碼實作所有類型的輸入資料讀取, 轉換為統一格式 可以簡化資料讀取層的實作;
2、使用LMDB、LEVELDB 可以提高磁盤IO使用率。