大資料解決方案

原文: 大資料解決方案

大資料處理

1、資料庫

垂直拆分：根據業務把表放到不同的資料庫，解決表之間的IO競争

水準拆分：根據某種規則把單表資料分成多張表存儲，解決單表資料量大的問題

索引：根據業務場景建立合理的索引，如果資料量很小建議使用索引（300條以内）

索引使用場景：

動作描述	聚集索引	非聚集索引
主鍵列	是
外鍵列
列經常被分組排序
傳回某範圍内的資料		否
一個或極少不同值
小數目的不同值
大數目的不同值
頻繁更新的列
頻繁修改索引列

分離活躍資料：把常用的資料和不常用的資料分離，例如活躍使用者和不活躍使用者

讀寫分離：寫用主庫，讀用從庫

其它：表結構優化、SQL語句優化

2、緩存

     讀資料時先從緩存中取，命中不到再讀庫

3、叢集

     使用hadoop做叢集，可以同時處理相同的資料