醉染图书HBase应用架构9787519811211

序 1
前言 3
部分 HBase概述
章 什么是HBase 11
面向列与面向行 13
实现和使用示例 13
第2章 HBase原理 15
表格式列族 15
表的内部操作 22
依赖 27
HBase 角色 27
第3章 HBase生态系统 32
监控工具 32
SL 40
框架 42
第4章 HBase规模预估和调优概述 45
硬件 46
存储 46
网络 47
操作系统调优 48
Hadoop调优 49
HBase调优 50
负载不均调优 52
第5章 环境设置 54
系统要求 55
HBase单机安装 58
虚拟机中的HBase 61
本地与VM 62
故障排除 63
步 65
伪分布式模式和全分布式模式 73
第二部分 用例
第6章 用例：HBase作为一个记录系统 77
摄取/预处理 78
处理/服务 79
用户体验 84
第7章 底层存储引擎的实现 87
表设计 87
数据转换 92
HFile校验 98
批量加载 99
数据索引 104
数据检索 107
更进一步 109
第8章 用例：近实时事件处理 111
摄取/预处理 114
近实时事件处理 115
处理/服务 116
第9章 近实时实现事件处理 119
应用流 121
实施 125
进一步 144
0章 用例：HBase作为主数据管理工具 145
摄取 146
处理 148
1章 主数据管理工具HBase的实现 150
MapReduce与Spark 150
Spark与HBase交互 151
Spark结合HBase实现 152
进一步 162
2章 用例：文档存储 163
数据服务 165
数据摄取 166
清理 168
3章 文档存储的实现 169
MOB 169
数据一致 174
进一步 175
第三部分 疑难问题的定位和排错
4章 region过多 179
后果 179
原因 180
解决方案 181
防范 188
5章 列族过多 191
后果 192
原因、解决方案和预防 193
6章 热点 196
后果 196
原因 196
防范和解决方案 200
7章 超时和垃圾回收 201
后果 201
原因 203
解决方案 205
预防 205
8章 HBCK和不一致 210
HBase文件系统布局 210
查看META表 211
在HDFS上查看HBase 212
HBCK概述 214
使用HBCK 215

Jean-Marc Spaggiari，自2012年来是HBase的contributor，作为Cloudera 的HBase精通解决方案架构师，他一直从事着Hadoop和HBase的技术支持和咨询工作。他曾经与北美洲一些很大的HBase用户一起工作。
Kevin O'Dell，自2012年来是HBase的contributor，作为Rocana的现场，他和客户一起设计并完成大规模的IT运营。此外，他还在HBaseCon、HadoopSummit及一些Hadoop用户组做过分享。

前言随着Hadoop越来越受到很多人的欢迎，其生态系统也充满活力，包括广泛使用的工具，如Hive、Spark、Impala及 HBase。这本书着重于工具Apache HBase，它构建于Hadoop分布式文件系统（HDFS）之上，具有可扩展、容错、低延迟等特征。HBase整合了Hadoop的水平扩展能力和实时数据服务两方面的优势。在规模方面，HBase允许从单个集群中进行每秒钟数百万次的读写操作，同时仍可保持Hadoop所有应用的可用。HBase迅速普及，现在已经为世界上一些较大的Hadoop集群部署提供了支持，如Apple、Salesforce.com及 Facebook。然而，开始使用HBase是一个艰巨的任务。虽然有许多可以帮开发人员入手的资源（包括邮件列表，联机手册和Javadocs），但使用Apache HBase构建、设计和部署真正生产应用程序的信息相当有限。这正是写作本书的原因。本书的目的是为了真正生产应用的HBase部署。虽然本书中讨论的每个用例已经部署并投入生产，但这并不意味着没有改进的余地，或者即使你不需要修改你的特定任务，但它确实展示了事情的实际情况。这本书还包括了有用的故障处理内容（第三部分）。我们的目标是帮你避免常见的部署错误。第三部分还提供了经常被我们忽略的能调优内容，如垃圾回收和区域分配。本书的读者对象？本书主要针对那些架构师及开发人员而设计，希望他们能更好地理解大数据应用程序的部署。在这之前，你应该具备基本的Hadoop知识，包括所需组件的设置以及成功安装过Hadoop集群，我们不会在Hadoop的配置或NodeManager功能上花费时间。阅读本书的架构师不需要有一个完整的Java知识，但必须充分了解部署章节的内容。这本书涵盖多个垂直用例，希望能够协各个企业和初创公司。架构师可以品读以细节为导向的用例章节，其中包括各个组件的部署方式以及它们是如何被集成在一起的。在开发章节，开发人员可快速查看详细代码示例，这样可以加快生产部署。部署章节提供了对特定API的深入了解以及相应的能提升技巧，这样可大大减少我们的故障处理时间。那些对大数据好奇的人将会发现架构和部署章节都很有用，并且还可以深入了解HBase生态系统以及HBase的部署细节。本书结构本书分为三个部分：部分，HBase的介绍，涵盖的主题有：HBase是什么；HBase生态系统是什么样的以及如何部署它。第二部分，涵盖了具体用例，是本书的核心。我们希望这是你常参考的部分，因为它包含了对你有用的提示和技巧。，第三部分讨论了故障处理，你应该经常参阅这一部分。我们希望这将是第二个常参考的部分（以积极的态度，而不是被动的）。本部分提供了关于region数量控制、垃圾收集调优和避免热点等方面的内容。额外的资源这本书没有涵盖HBase的内部设计。我的好朋友Lars George通过《HBase指南》（O’Reilly出版）将HBase的内部设计带到了一个全新的水平。我们建议把他的书当作我们的启蒙书。这将有于你更好地理解一些术语，而我们只是用一两段注释来解释它们。虽然我们花了不少时间讨论部署HBase的细节，但本书不会涵盖部署HBase的大部分理论。Nick Dimiduk和Amandeep Khurana的《HBase in Action》（Manning出版）涵盖了部署HBase的实用。虽然他们的书不太关注整个应用程序的开发，但在生产实践上做了较详细的介绍。排版约定本书使用了下述排版约定：斜体（Italic）表示新术语、URL、邮件地址、文件名和文件扩展名。等宽字体（Constant width）用于程序列表，以及用于引用程序元素的段落内，如变量或函数名、数据库、数据类型、环境变量、语句和关键字。等宽粗体（Constant width Bold）显示应由用户逐字键入的命令或文本。等宽斜体（Constant width italic）显示应由用户提供的值或由上下文确定的值替换的文本。表示提示或建议。表示一般注意事项。表示提醒或警告。使用代码示例补充材料（代码示例，练习等）可从https://itu.com/ArchitectingHBase/examples下载。这本书是为了帮你完成你的工作。一般来说，如果本书提供了代码实例，你可以在程序和文档中使用它。除非复制代码的重要部分，否则不需要与我们联系。例如，编写使用本书中多个代码块的程序不需要许可。出售或分发CD-ROM的例子来自O’Reilly的书籍需要许可。引用这本书来回答一个问题和引用示例代码不需要许可。将本书中的大量示例代码写入产品文档中，则需要获得许可。我们使用书属的引方式，但并不一定完全要求这样。书属的引方式通常包括标题，作者，出版商和ISBN。例如：“Architecting HBase Applications，Jean-Marc Spaggiari and Kevin O’Dell（O’Reilly），Copyright 2016 Jean-Marc Spaggiari and Kevin O’Dell，978-1-491-91581-3。”如果你觉得所使用的代码示例超出了上面的许可范围，可以随时通过邮件permissions@oreilly.com与我们联系。Safari在线图书Safari Books Online（http://safaribooksonline.com）是应需而变的数字图书馆，它同时以图书和视频的形式出版世界很好技术和商务作家的专业作品。Safari Books Online是技术专家、软件开发人员、Web设计师、商务人士和创意人士开展调研、解决问题、学习和认培训的手资料来源。Safari Books Online为企业、部门、教育机构和个人提供了多种套餐和价格。订阅者可以在一个完全可搜索的全文数据库中访问上千种图书、培训视频和正式出版之前的书稿。这些内容由以下出版社提供：O’Reilly Media、Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、e、Peachpit  Press、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett、Course Technology等。关于Safari BooksOnline的更多信息，请访问我们的：http://www.safaribooksonline.com。如何联系我们请将有关本书的意见和问题反馈给出版商：美国：O’Reilly Media, Inc.1005 Gravenstein Highway NorthSebastopol, CA 95472中国：北京市西城区西直门南大街2号成铭大厦C座807室（100035）奥莱利技术咨询（北京）有限公司本书有一个Web页面，我们列出了勘误表、示例和相关内容信息。可以通过http://bit.ly/architectin-ase-applications访问此页面。要评论本书或咨询技术问题，请发送邮件至bookquestions @oreilly.com。想了解更多关于我们的书籍，课程，会议和新闻的信息，请访问我们的http://www.oreilly.com。在Facebook上找到我们：http://facebook.com/oreilly在Twitter上关注我们：http://twitter.com/oreillymedia在YouTube上观看我们：http://www.youtube.com/oreillymedia致谢Kev in和J ean Marc要感谢每一位让这本书成功出版的人，感谢他们所有的辛苦工作：我们的编辑Marie Beaugureau；在O’Reilly Media的卓越员工；撰写序的Lars Hofhansl；我们的主要审稿人Nate Neff、Suzanne McIntosh、Jeff“Jeffrey”Holoman、Prateek Rungta、Jon Hsieh、holoman、Sean Busbey和Nicolae Popa；以及给予我们支持和指导的各位作者：Ben Spivey、Joey Echeverria、TedMalaska、Gwen Shapira、Lars George、Eric Sammer、Amandeep Khurana、TomWhite。我们还要感谢Linden Hillenbrand、Eric Driscoll、Ron Beck、Paul Beduhn、Matt Jackson、Ryan Blue、Aaron“ATM”Meyers、Dave Shuman、Ryan Bosshart（谢谢你的鼎力相）、Jean-Daniel“JD”Cryans、St. Ack、Elliot Clark、Harsh JChouraria、AmyO’Connor、Patrick Angeles和Alex Moundalexis。，我们要感谢Cloudera和Rocana的所有人对我们的支持、建议和鼓励。来自Kevin感谢我的朋友和兄弟的全力支持和鼓励：Matthew“Kabuki” Langrehr、ScottHopkins、Paul Bernier、Zack Myers、Matthew Ring、Brian Clay、Chris Holt、ColeSillivant、Viktor“Shrek”Skowronek、Kyle Prawdzik和船长Matt Jones。我还要感谢我的朋友、同事、合作伙伴以及一路帮过我的客户：Ron Kent、John Lynch、Brian Burton、Mark Schnegelberger、David Hackett、Sekou McKissick、ScottBurkey、David Rahm、Steve Williams、Nick Preztak、Steve“Totty”Totman、Brock Noland、Josh“Nooga”Patterson、Shawn Dolley、Stephen Fritz、RichardSaltzer、Ryan P和Sam Heywood。特别感谢所有发布过他们用例以及提供咨询服务的人：Kathleen DeValk、Kevin Farmer、Raheem Daya、Tomas Mazukna、ChrisIngrassia、Kevin Sommer和Jeremy Ulstad。特别感谢Mike Olson和 Angus Klein招聘我到Cloudera工作；感谢Eric Sammer、Omer Trajman和Marc“Boat Ready”Degenkolb 把我带到Rocana；感谢DonBrown的非议；个感谢你，Jean-Marc，感谢你让我成为你的合著者。来自Jean-Marc感谢在写作本书的这段旅程中支持过我的所有的人。