簡介文字:
小紅書業務增長非常迅猛,保證資料存取效率的前提下,海量的SNS資料無法用傳統型關系資料庫去解決,同時爆發式的業務場景使小紅書的研發團隊更佳青睐于用非關系型資料庫做主業務資料存儲。為了應對快速增長的業務資料需求,小紅書海量規模的使用了騰訊雲redis(CRS),存儲容量接近6T,在行業内算是超大海量規模的使用redis的網際網路公司。
作者簡介
陳環,騰訊雲NoSQL産品經理,負責騰訊雲redis,Mongodb,Hbase等産品策劃和系統建設,研發推動騰訊雲Redis産品的建設以及MongoDB的釋出,長期關注NoSQL資料庫在各個行業裡的運用與發展。
小紅書大規模使用騰訊雲redis(CRS),存儲容量接近6T,在行業内算是海量規模的使用redis的網際網路公司,在這裡分享redis的存儲之道。
先說說案例情況:小紅書是一家從社群起家的電商公司,2013年6月成立于上海,希望幫下一代消費者找到全世界的好東西。業務主要包括兩個闆塊,UGC(使用者原創内容)模式的海外購物分享社群,以及跨境電商“福利社”。小紅書已經成立3年之久,目标群體包括18至35歲的中國女性。平台宣傳注冊使用者達到1700萬,曾先後獲紀源資本和真格基金的投資。有資料顯示,截止到2015年9月,小紅書營收達7億元。
上雲前的技術挑戰:如何應對運維單執行個體上百G的挑戰?
業務資料快速增長,單個執行個體的資料量達到上百G,很快達到單機的實體瓶頸。
為了解決這一棘手問題,目前成熟的twemproxy對平滑擴容、故障恢複和叢集管理方面多做得不夠,運維和服務能力需要很多定制開發,社群的cluster版本對現有業務的相容性和性能方面都不夠理想。
活動大促,如何扛住高并發的通路量?
小紅書大促活動首日24小時的銷售額,已超過當月整月的總銷量。兩周注冊使用者增加300萬。劇增的新增使用者産生近200G的首頁recommend資料需要快速讀取,搶購活動時間點上,redis的網絡流量高于20Gbps,遠遠高于單機網絡瓶頸。受到單程序的限制,服務擴充能力受到很大的限制,在海量使用者高并發場景下,怎麼能扛住是一個難以繞開的問題。
騰訊雲CRS的應對方法
多輪溝通後決定借助騰訊雲CRS即基于QQ背景分布式存儲系統、相容redis協定的雲服務,
資料以一緻性hash的方式分布到多台機器上,單個叢集支援上T的容量,可以擴容對業務無感覺,目前小紅書的單個執行個體資料量已經超過300G。在高并發通路的時刻,借助騰訊雲CRS的分布式能力,多台機器分擔流量請求,請求都在1ms内傳回,輕松應對毫無壓力。2名DBA就能穩健運維現網環境上百台機器,上千的資料庫執行個體以及複雜的業務資料。
雲上的業務技術突破,6T存儲!
小紅書雲上業務基礎架構
目前小紅書主要的業務資料分布在note叢集,explore叢集,recommend叢集這三大redis存儲叢集。
note叢集1T主要存放使用者縮發的内容資料,包括内容,時間,狀态等基本元素資訊。
explore叢集1T主要存放内容發現資料,對讀寫性能要求非常高。
recommend叢集2T主要存放首頁feed個性化推薦内容資料,記錄每個使用者的推薦結果list資料,資料量非常之大。
單機版執行個體和叢集版執行個體混合部署,業務邏輯層路由到不同執行個體上,同時單機版執行個體存儲量增長到一定容量的時候可以平滑的擴容大叢集版。擴容過程中業務無中斷。叢集版可無上限了擴容,随時應對海量存儲。
騰訊雲存儲redis的介紹
相比于自己搭建redis服務,雲存儲redis提供了一鍵生産,線上擴容,自動備份和監控告警等功能,旨在幫使用者提供更為彈性的雲存儲服務和更為便捷的運維管理。
支援分布式服-無縫更新,平滑擴容,不中斷服務;支援事務操作
穩定可靠-支援備份多拷貝,資料高可靠;主從熱備,自動容災,服務高可用;
資料落地存儲-支援資料持久化;支援資料操作流水日志;資料自動備份,多種恢複方式
便捷管理-全web 管理, 提升運維效率;立體化監控,提前規避營運風險
資料持久化-資料可持久化,且落地存儲過程中不影響對外服務
資料管理-備份回檔一鍵式操作,支援自動備份
自定義監控告警-通過浏覽器即可檢視CRS 豐富的性能監控資料,支援針對不同的監控項自定義門檻值告警。
2016年7月5日,誠邀您參與騰訊·“雲+未來”生态峰會,與騰訊董事會主席馬化騰先生及各界頂級企業家,國際專家一同,共探産業與網際網路融合發展之道,推動網際網路+生态圈發展。歡迎點選了解http://www.qcloud.com/event/tcc2016?utm_source=infoqlink&utm_medium=wzl&utm_campaign=infoQ