解決中級資料量（千萬級、億級）的資料檢索方案探索

背景

在目前所有的系統中，不管是何種架構都需要存儲資料，正常的管理系統在兩三年之後，資料往往是百萬級别，甚至小千萬級别的。涉及到制造業中的生産資訊，運輸業中的gps資訊等每天會大批量産生的場景，往往數個月就會到達上億級别的資料。這種資料又不是傳統的大資料，幾十TB甚至PB，這種中間層面的資料該怎麼處理呢？有兩點要求，一方面滿足存儲，一方面滿足檢索的能力。

解決方案

存儲的問題，其實是很好解決的，存資料庫，存各種fs，關鍵是怎麼把資料從資料庫中讀取出來。

中間資料量快速檢索

對于大幾百萬，小幾千萬的資料，這種量級的資料，通過索引就能做很大的優化。通過把查詢的語句進行分析，建立對應的索引，讓檢索功能都盡量走索引，是一種很正常的解決方案。尤其是針對mysql這種關系型資料庫，加上索引效果還是很明顯的。這種政策的本質是空間換時間，因為索引的本質還是一種資料結構形成的檔案，需要占用磁盤空間，通過空間換時間的方式來實作資料檢索速度的提升。加了索引之後，需要提升你的sql水準，讓你的sql走索引，避免全盤搜尋的這種情況，從技術的角度就解決了很大一部門了。

套路性答案

實戰案例·政策表