用户福利
限时获取云数据库HBase一年仅需1元的使用权,广大HBase用户学习研究必备,更多内容请
参考链接。

文末有技术交流群,欢迎添加。
前言
HBase是大数据架构中最常用的面向半结构、非结构化的存储系统,是Google三驾马车之一Bigtable的开源实现(Apache顶级项目),具备高可靠、高性能、可伸缩能力。
伴随着互联网时代数据的澎湃增长,HBase在国内外知名公司(Facebook、LinkedIn、Pinterest、雅虎、阿里、小米、腾讯、滴滴等)中进行了大规模应用,并与Cloudera、AWS、微软等商业公司一起推动建设HBase生态与社区,使得HBase成为Apache基金会下最活跃的项目之一。
值得骄傲的是,HBase是国内同学参与贡献最有影响力之一的国际项目,截至目前,国内共有6位HBase PMC,10多位HBase Committer,中国力量已成为HBase生态积极壮大的核心源动力。
过去几年,围绕HBase的生态体系也正在蓬勃发展。Phoenix是基于HBase的SQL引擎,帮助解决HTAP和OLAP场景的问题;OpenTSDB是基于HBase的时序数据库,成为IoT场景的首选开源方案;JanusGraph是基于HBase的图数据库,在面向关系分析、安全风控的大数据场景成为必备品;GeoMesa是基于HBase的时空数据库,在共享出行、自动驾驶、城市大脑、智慧物流等新兴行业拥有广阔的前景空间。
学习HBase、使用HBase、开发HBase正在成为大数据领域从业者的必选项。作为HBase较早参与者之一,希望能将过去看到的很多优秀资料做一些梳理汇总,方便新手老鸟按需阅读,后续将会更新,也欢迎大家一起补充。
发展历史
- 2006年11月:Google发布BigTable论文
- 2007年2月:HBase宣布在Hadoop项目中成立
- 2008年1月:Hadoop成为Apache的顶级项目,HBase成为Hadoop的子项目
- 2010年5月:HBase成为Apache的顶级项目
- 2010年6月:HBase-0.89发布,Facebook开始使用
- 2011年1月:HBase-0.90发布,阿里巴巴开始使用
- 2012年5月:HBase-0.94发布,开始广泛使用
- 2015年2月:HBase-1.0发布
- 2018年5月:HBase-2.0发布
产品能力
- 产品对比
- HBase与关系型数据库的异同: MySQL vs HBase
- 三大NoSQL数据库的区别与定位: HBase、Mongodb、Redis
- 大数据之HBase和Hive的差别是什么
- 功能特性
- 核心功能
- 基本数据模型
- 过期自动删除:TTL
- 多版本与多列簇
- 数据压缩及编码: 特性介绍 、 使用指南
- 高级特性
- 中小对象实时存储: HBase MOB特性
- 全链路offheap
- 冷热分离
- 二级索引
- 核心功能
应用实践
- 关于Rowkey设计
- 如何合理的设计HBase RowKey? :来自毕姥爷的分享,介绍RowKey设计的常见技巧、原则,分析时序、时空、图场景下的三个典型案例(OpenTSDB/JanusGraph/GeoMesa)
- 社交Feed流场景
- 基于HBase的Feed流存储架构设计 :介绍Feed流的常见架构及背后考虑,并以HBase为例给出详细设计
- Pinterest的基于HBase的Smart Feed架构与算法
- 监控系统场景
- 搜索与推荐场景
- HBase在阿里搜索推荐中的应用 ,介绍HBase如何作为阿里搜索与推荐系统中的核心存储
- HBase在搜狐内容推荐系统中的应用 ,介绍搜狐的推荐系统及HBase存储使用
- 风控场景
- 用户画像
- 40 亿移动设备的用户画像和标签架构实践 ,分享TalkingData公司对于画像标签系统架构的设计实践,其中存储部分主要使用HBase
- 阿里HBase在用户画像领域的实践 ,分享阿里在画像领域的HBase实践
- 小米用户画像的演进及应用解读 ,分享了小米的用户画像,及其如何应用,驱动业务增长,产生价值,其中主要使用HBase作为画像数据的存储
- 一号店用户画像系统实践 ,介绍一号店画像系统的技术架构,以及HBase的在离线分离存储设计
- 关于用户画像产品构建和应用的几点经验 ,来自贝聊的用户画像产品构建的详细经验分享,存储部分主要使用HBase+ES的组合
- 物联网/车联网
- 车纷享:基于阿里云HBase构建车联网平台实践 ,介绍汽车终端数据如何上传、存储、计算分析等
- HBase实践案例:车联网监控系统 ,介绍百万车辆的监控系统设计实践
- 数据大屏
- 订单类场景
- 有赞亿级订单同步的探索与实践 ,介绍有赞亿级订单的存储架构设计和实践,使用HBase存储订单详情,使用ES检索订单
- 地理与时空
- HBase与时空索引 :介绍时空场景下的索引技术,以及基于HBase如何实现
- 基于HBase的海量GIS数据分布式处理实践 , 介绍基于HBase的GIS数据处理设计
- 数据迁移
- HBase集群之间的迁移: BDS - HBase数据迁移同步方案的设计与实践
- MySQL同步至HBase
- 全量同步 : 使用Sqoop从Mysql向HBase同步数据
- 实时同步: RDS实时数据同步至云HBase、Phoenix
大公司案例
HBase在大公司常使用于安全、风控、推荐、搜索、用户画像、订单存储、社交Feed流、物联网、车联网、监控、 数据大屏、日志处理、行为分析、大数据存储等各个场景
- 阿里巴巴
- 大数据时代的结构化存储-HBase在阿里的应用实践 :讲述在阿里巴巴集团的实践,HBase在阿里集团已经超过10000台,主要在订单、监控、风控、消息、大数据计算等领域使用
- :讲述HBase在阿里搜索场景下的应用及相关的改进
- 腾讯
- HBase在腾讯大数据的应用实践 :在游戏营销、广告处理、监控、日志等领域的HBase应用
- 日均采集1200亿数据点,腾讯千亿级服务器监控数据存储实践 :介绍使用HBase存储TMP服务器海量监控数据的实践历程
- 互联网金融行业HBase实践与创新 :介绍HBase在腾讯金融支付场景的实践与挑战
- Facebook
- HBase在消息系统的应用 :介绍Facebook消息系统选择HBase存储的原因,包括电子邮件、即时通讯、短信、文本信息、Facebook站内信息
- Pinterest
- 基于HBase的Feed架构设计 :介绍了Pinterest的智能Feed架构设计及如何基于HBase设计存储
- HBase在Pinterest的应用及版本升级实战 :主要场景包括主页Feed流、搜索、发现、用户元数据等
- 滴滴
- HBase在滴滴出行的应用场景和最佳实践 :统计结果、报表类数据、原始事实类数据、中间结果数据、线上系统的备份数据的一些应用
- 网易
- 网易HBase实践 : 在报表、监控、日志类业务、消息类业务、推荐类业务、风控类业务有所使用,另外讲述了一些优化的点。
- Apache HBase at Netease : HBase在网易的实践与改进
- 京东
- HBase在京东的实践 :介绍HBase在罗盘(商家、供应商、品牌)、个性化推荐、商品评价、风控/白条/支付/资管(金融)、订单/青龙、MDC/UMP/CAP/JDH/监控大屏等场景的应用与挑战
- 基于HBase的大数据存储在京东的应用场景
- 小米
- HBase在小米的实践 :HBase在米聊、MiCloud、Push服务、离线分析等场景的应用及挑战改进
- 百度
- 快手
- 快手HBase在千亿级用户特征数据分析中的应用与实践 :使用HBase存储的用户特征数据
- Hulu
- HBase在Hulu的使用和实践 :用户画像、订单存储系统、日志存储系统的使用
- 中国人寿
- 中国人寿基于HBase的企业级大数据平台 :使用一个大跨表存储所有的保单,HBase宽表的实践
- G7
- hbase 在物联网领域的实践及解决方案 讲述了怎么使用spark及hbase来满足物联网的需求
活动与圈子
- 微信公众号:中国HBase技术社区
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
生态
技术原理
成为贡献者
- Apache HBase拥有一个非常活跃和开放的社区,如果你对HBase有任何小的改进或Bug修复,都可以反馈到社区。你也可以通过参与mail list、issue的讨论、文档的补充或翻译,去进行各种形式的贡献。
- 目前国内有多达10多位的HBase Committer,这个队伍还在继续扩大,如果你有意成为其中一员,大家是非常乐意培养的,欢迎联系。
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
推荐书籍
- 《HBase原理与实践》
- 适合HBase数据库的研发人员阅读,2019出版,国内资深HBase专家著作,介绍HBase的内部原理,比较全面,也适合对分布式数据库架构感兴趣的同学
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
- 适合HBase数据库的研发人员阅读,2019出版,国内资深HBase专家著作,介绍HBase的内部原理,比较全面,也适合对分布式数据库架构感兴趣的同学
- 《HBase不睡觉书》
- 适合HBase应用开发人员和系统管理人员学习使用,原理和应用都有涉及,比较综合
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
- 适合HBase应用开发人员和系统管理人员学习使用,原理和应用都有涉及,比较综合
- 《HBase企业应用开发实战》
- 适合HBase应用开发人员阅读,本书强调HBase在企业的实际应用,立足于企业的实际生产环境,旨在帮助企业切实解决大数据技术如何落地的问题
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
- 适合HBase应用开发人员阅读,本书强调HBase在企业的实际应用,立足于企业的实际生产环境,旨在帮助企业切实解决大数据技术如何落地的问题
- 《HBase实战》
- 适合HBase应用开发人员阅读, 基于经验提炼而成的指南,它教给读者如何运用HBase设计、搭建及运行大数据应用系统
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
- 适合HBase应用开发人员阅读, 基于经验提炼而成的指南,它教给读者如何运用HBase设计、搭建及运行大数据应用系统
- 《HBase权威指南》
- 适合HBase数据库的研发人员阅读,介绍内部原理为主,也适合学习分布式数据库原理的同学,内容比较全面。2012年出版,个别具体的设计内容可能已与目前版本不符
HBase从入门到精通-经典资料汇总(持续更新v2019.10)用户福利前言发展历史产品能力应用实践大公司案例活动与圈子生态技术原理成为贡献者推荐书籍相关论文
- 适合HBase数据库的研发人员阅读,介绍内部原理为主,也适合学习分布式数据库原理的同学,内容比较全面。2012年出版,个别具体的设计内容可能已与目前版本不符
相关论文
- HBase的最初理论原型Bigtable
- HBase底层存储HDFS的理论原型GFS
- No Relation: The Mixed Blessings of Non-Relational Databases
-
[Storage Infrastructure Behind Facebook Messages
Using HBase at Scale](
http://sites.computer.org/debull/a12june/facebook.pdf)