正版 可观测性工程

目录序1前言3第一部分 可观测性的路径第1章 什么是可观测性111.1 可观测性的数学定义111.2 把可观测性应用到软件系统121.3 关于软件可观测性的错误描述141.4 为什么现在可观测性很重要151.5 使用指标进行调试与使用可观测性进行调试的对比181.6 使用可观测性进行调试211.7 可观测性适用于现代系统221.8 结论23第2章 可观测性和监控之间的调试实践有何不同242.1 监控数据如何用于调试242.2 可观测性如何实现更好的调试302.3 结论31第3章 不通过可观测性扩展系统的经验教训323.1 关于Parse的介绍323.2 Parse的扩展实践333.3 向现代系统演进363.4 向现代化实践变革383.5 在Parse的转变实践393.6 结论42第4章 可观测性与DevOps、SRE和云原生的关联434.1 云原生、DevOps和SRE简介434.2 可观测性：调试方式的过去与现在454.3 可观测性增强了DevOps和SRE的实践454.4 结论47第二部分 可观测性基础第5章 结构化事件—可观测性的构建块515.1 通过结构化事件进行调试515.2 指标作为构建块的局限性525.3 传统日志作为构建块的局限性545.4 在调试中有用的事件属性565.5 结论57第6章 将事件拼接成链路586.1 分布式链路追踪及其重要性586.2 链路追踪的组件596.3 硬编码探针构建链路追踪616.4 将自定义字段添加到链路span646.5 将事件拼接到链路中666.6 结论67第7章 遵照OpenTelemetry的探针687.1 探针简介687.2 开源探针标准697.3 使用基于代码的示例的探针697.4 结论75第8章 通过事件分析实现可观测性778.1 从已有条件调试778.2 从第一性原理调试798.3 AIOps的误导性承诺848.4 结论85第9章 可观测性和监控的融合869.1 监控适合的地方869.2 可观测性适合的地方879.3 系统与软件注意事项889.4 评估你的组织需求899.5 结论92第三部分 团队的可观测性第10章 在团队中应用可观测性实践9510.1 参与社区9510.2 从优选的痛点着手9610.3 购买代替自建9710.4 反复完善你的探针9910.5 温和改进，积极复用10010.6 全力冲刺10110.7 结论102第11章 可观测性驱动开发10311.1 测试驱动开发10311.2 软件开发生命周期中的可观测性10411.3 从哪里开始调试10511.4 微服务时代的调试10611.5 探针如何提高可观测性10711.6 可观测性左移10811.7 利用可观测性加快软件交付10811.8 结论110第12章 使用SLO来提高可靠性11112.1 传统监控方法造成危险的告警疲劳11112.2 阈值告警只适用于“已知的未知”情况11212.3 用户体验是一颗北极星11412.4 什么是SLO11512.5 结论120第13章 处理和调试基于SLO的告警12113.1 在错误预算消耗完之前发出告警12113.2 将时间定义成一个滑动窗口12313.3 预见性地创建预测消耗告警12413.4 使用SLO与时间序列数据的可观测性数据13413.5 结论136第14章 可观测性与软件供应链13714.1 为什么Slack需要可观测性13914.2 探针：共享客户端库和维度14014.3 案例研究：软件供应链的运营14314.4 结论148第四部分 大规模可观测性第15章 自建与购买以及投资回报率15115.1 如何分析可观测性的投资回报率15115.2 自建的真实成本15215.3 购买软件的真实成本15615.4 购买与自建不是二元选择15915.5 结论160第16章 高效的数据存储16116.1 可观测性的功能要求16116.2 案例研究：Honeycomb的列式数据存储实现16816.3 结论177第17章 如何使采样精准且便宜17917.1 使用采样策略来优化数据采集17917.2 使用不同的采样策略18017.3 将采样策略转化为代码18317.4 结论193第18章 使用流水线进行遥测管理19518.1 遥测流水线的属性19618.2 管理一个遥测流水线：解剖20018.3 管理遥测流水线时的挑战20218.4 用例：Slack的遥测管理20418.5 开源替代方案20718.6 管理遥测流水线：自建与购买20818.7 结论208第五部分 传播可观测性文化第19章 可观测性的商业案例21119.1 被动引入变更的方法21119.2 可观测性的投资回报21319.3 主动引入变更的方法21419.4 将可观测性引入实践21519.5 使用合适的工具21619.6 知道何时你有足够的可观测性21819.7 结论219第20章 可观测性利益相关方和联盟     22020.1 识别非工程可观测性需求22020.2 在实践中创建可观测性同盟22220.3 使用可观测性与商业智能工具22520.4 在实践中结合使用可观测性和商业智能工具22720.5 结论228第21章 可观测性成熟度模型22921.1 关于成熟度模型的说明22921.2 为什么可观测性需要成熟度模型23021.3 关于可观测性成熟度模型23121.4 可观测性成熟度模型中的能力参考23221.5 在你的组织中使用可观测性成熟度模型23721.6 结论238第22章 未来发展趋势23922.1 可观测性的过去与现在23922.2 其他资源24122.3 可观测性发展方向的预测242

推荐序一可观测性创造繁荣技术和软件生态可观测性在2022年迅速成为热门话题，形成了云原生和DevOps之后新的技术潮流，并且广泛融入各个技术领域。该技术最开始在运维领域中仅作为监控模块出现，后来逐渐演进成为贯穿软件全生命周期（研发、测试、部署、运维）的技术平台，不断推动软件工程走向数据化和现代化。近些年来，可观测性从技术理论走向落地实践，成为企业信息化服务建设的推荐工具。在云原生时代，可观测性的普及有效解决了软件系统运维难度大的痛点，推动了IT系统实现高效交付、统一运维，以及持续且精准的系统优化。中国信通院云大所（中国信息通信研究院云计算与大数据研究所）作为国内数字化技术传播和标准制定的核心单位，亦在积极组织可观测性技术研讨，推动可观测性技术在产业界的实践落地，深度挖掘其在众多行业领域的应用价值。本书系统讲解了可观测性的基本理念、建设方式和落地成效，包含丰富的实践案例，可以帮助读者快速理解可观测性的技术内涵，亦可帮助广大信息技术从业人员、技术爱好者，以及寻求信息化转型的传统企业的从业人员，了解、实践和应用可观测性。本书是一本的技术佳作。希望能够通过本书进一步向业界普及可观测性的技术理念与实践应用，把可观测性技术深度引入软件全生命周期的各个领域，提高软件产品的开放性和兼容性，推动IT系统在可靠性、可用性、敏捷性和研发效能等方面不断提升，实现云上软件系统架构升级，培养优秀的国产软件，促进国内软件生态的繁荣。何宝宏 中国信息通信研究院云计算与大数据研究所所长 推荐序二为什么我们要了解可观测性工程第一次工业革命的基础是蒸汽动力的发明，第二次工业革命的基础是电力驱动的发明，那么当前信息革命优选的基础就是互联网驱动的数字革命，而互联网还在各行各业不断渗透，已经成为整个社会和人类进步的基本因素。如今各行各业都在快速互联网化，未来不仅仅是传统意义上的互联网公司提供互联网应用，每一个行业都会变成互联网应用。在零售行业，不仅仅只是线下门店、APP、小程序、数字门店、电商，整个零售行业都变成了一个互联网应用。在汽车行业，我们看到新能源汽车的蓬勃发展，但更要看到所有的汽车都变成了互联网汽车，每一辆车都是联网的，汽车本身从传统的硬件变成了某种情况下的软件，成为互联网应用。政府和医院也开始互联网化，我们现在可以通过线上平台、便民APP或小程序使用各种公共服务，这些服务也变成了一个个互联网应用。可见，越来越多的产业都在发生这样的变化。在互联网化的巨大业务需求下，整个 IT 基础设施正发生重大变化—从传统的单体应用逐步向微服务演化。这不仅体现在不同软件之间能通过 API 连接，随着容器和云原生技术的发展，软件内部也变成一个个微服务。在云计算的加持下，面向互联网的软件从传统的信息化支撑软件演进成业务的关键核心系统，此时对软件系统本身的生命周期管理也在改变，比如，以前交付后能以初始版本不升级就连续运行几年，变成现在每几天就会在线热更新一次。此刻，我们不仅要解决软件系统运行时产生的稳定性问题，更需要发现潜在的线索，包括找到如何持续优化软件本身的思路，以及如何进一步提升最终用户体验，等等。传统的监控软件整体设计思路是被动的，是基于阈值或者事件驱动的逻辑，或者说是一种基于故障触发的逻辑。这对传统系统是有效的，因为监控软件的主要使用者是运维工程师，他们只需要保证 IT 系统本身的稳定性，并不过多关注上层业务，更不用说最终用户体验了。而构建可观测性的目标可不只是做一个更庞大的传统监控，而是要让所有与该系统相关的工程师能从全局角度去理解整个系统的运行状态，包括理解软件的运行情况、理解代码的执行逻辑等，最终目标是服务所有研发、测试和运维团队，使大家能够在同一个上下文中阅读系统，对问题有一致的理解并给出真正能触及根因的解决方案。可观测性面向的不仅是已显现的故障，更重要的是能够通过主动探索系统去发现问题，这些问题包括传统意义上的已定义的故障，也包括代码内隐蔽的 Bug、架构上的瓶颈点、执行逻辑里的漏洞、用户体验的缺陷、某一个最终用户操作中遇到的各种麻烦，等等。说到这里，你可能会认识到，若要实现整个可观测性工程，就需要有一个记录软件运行状态的实时数据仓库，这个数仓的数据规模要比传统监控大得多，不仅包含指标、链路和日志，还包括用户行为事件、网络数据、安全数据、业务数据等，并要有能力去综合采集、存储、分析、管理各类海量的数据，同时又要保证整体成本可控。它要能以统一标准的方式全量接入相关的数据，而不是只收集那些你自认为需要监控的数据，因为若很多数据没有被记录，那将无法完整还原真实历史状态；它能提供更多的测量手段去观测数据以探明动态的因果关联，而不像传统监控软件那样只能用固定格式的仪表盘来展示数据；它需要大幅度降低使用者的学习门槛，不仅面向运维工程师，还有研发测试团队，甚至涉及产品运营团队，大家共同来解决共识问题，快速理解这些软件问题与业务问题间的上下文关联。因此，可观测性工程不只是一个更好的监控工具，更是一种现代化的互联网软件基础设施，是团队执行力的体现。我们会清晰地发现，能否有效地构建可观测性工程直接反映了整个公司产品的质量，间接反映了整个公司的发展潜力和工程师文化。构建可观测性工程本质上就是整个互联网软件本身的数字化，使用可观测性平台的组织才会成为基于数据驱动的现代化组织。本书非常详细地描述了为什么要构建可观测性、可观测性的价值、可观测性构建过程中的原则和可能存在的陷阱，也指出了现代化软件工程的发展方向和趋势，值得每位工程师（包括所有技术管理者）好好阅读和思考。我相信，当你看完本书后，一定会迫不及待地在公司内开始构建可观测性工程。蒋烁淼观测云创始人&CEO推荐序三窥见更远：望远镜和软件可观测性软件可观测性是近年来快速发展的一个主题，从技术到商业，我们看到围绕该主题诞生了无数新思想和新产品。虽然这是一本技术书籍，不过这里我想聊聊关于可观测性的意义和一些更接近根源的东西。有记载的最早的望远镜概念可追溯到1608年10月，荷兰一位名叫Hans Lippershey的眼镜商人提交的一份专利，其中描述了一种能将远处的东西放大的装置，距今已经400多年。这400多年是人类科学突飞猛进的时期，望远镜就像眼睛一样，让我们得以看清宇宙和万物，也因此成为科学中最重要的仪器之一。从第一台望远镜诞生到现在，我们拥有了各种各样的望远镜：对宏观世界，有玩具双目望远镜到哈勃太空望远镜；对微观世界，有显微镜到LHC。科学史从某个角度来说是一部望远镜的进化史，一部可观测性技术的进化史，也是一部我们对客观世界的理解不断深入的历史。将不可见的世界变成可见是我们理解客观世界运行规律的重要方式，因为不管你看不看和相不相信，这个世界就在此处不由分说地运转着。说回软件世界，我于20世纪90年代进入IT行业，当时的软件系统还都比较简单，大多都是单机系统，对于可观测性的理解基本在于日志和基于源码或者二进制的软件调试技术。从单机的维度来说，这基本已经足够了。但是随着2000年后互联网行业的崛起，分布式系统开始登上舞台，在早期的简单分布式系统中，可观测性并没有得到足够的重视，依旧延续着单机系统的思路：出了问题查询一下日志就好了！这在很长时间也相安无事。但是后来随着我们的应用和系统越来越复杂，再加上分布式系统比单机系统的不确定性更高（考虑到网络联通性），即使我们能够实现代码，也已经不再能够轻易地知道系统的运行状态，这时迫切需要现代的“望远镜”。对于我们这一代软件工程师，最重要的事情之一就是改变我们看待软件可观测性的态度，正视这是一门系统性技术甚至是一门科学。其实如果从上面提到的人类进步史来看，望远镜的发明和发展几乎同步于我们对世界的理解，类比到我们现在所身处的云计算时代，可观测性技术的成熟无疑会推动我们理解和实现云上的复杂系统，对此我毫不怀疑。这个方向仍然处于黎明期，有很多难题还有待解决，例如，如何尽可能消除观测对业务带来的影响？如何以更低的成本存储可观测性数据？如何以更加符合人类直觉的方式快速向管理员展示系统的全貌以便于快速地定位故障和准确归因？回到这本书，本书行文方式非常落地且直观，通过实际的案例和一线软件工程师的经验分享，令人信服地把可观测性的哲学和理念变成可参考的实践。除了技术之外，也有关于团队管理以及软件工程与现代可观测性技术结合的思考，相信无论是初学者还是行业老兵，程序员还是技术管理者，都能从本书中有所收获。最后，我想以希尔伯特的一句名言来结束这篇序言：Wir müssen wissen. Wir werden wissen.（我们必须知道，我们终将知道）。黄东旭，PingCAP联合创始人&CTO2023年2月16日写于美国硅谷

本书基于作者在可观测性领域的丰富实践经验撰写而成，旨在帮助读者在工程团队内开展可观测性实践。书中深入分析了在软件交付和运营的背景下可观测性意味着什么、如何构建基础组件来实现可观测性、可观测性对团队动力的影响、可观测性规模化的考虑因素，以及在组织中建立可观测性文化的实用方法，还通过丰富的实例展示了如何利用可观测性改进现有的工作，并提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项。本书适合软件工程师、产品经理、软件交付和运维人员等阅读。

可观测性对于构建、更改和理解驱动复杂现代系统的软件至关重要。应用可观测性的团队能够快速、从容地发布代码，识别异常值和异常行为，并了解每个用户的体验。本书解释了可观测系统的价值，并向你展示了如何通过实践可观测性来驱动开发工程。 来自Honeycomb公司的三位作者解释了良好的可观测性由哪些要素构成，展示了如何利用可观测性改进现有的工作，并结合具体案例阐释了实施可观测性面临的常见挑战及有效解决方案，提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项，还解释了可观测性与组织文化的相互影响。 学完本书，你将了解： ? 可观测性概念如何应用于大规模软件管理。 ? 在交付复杂的云原生应用和系统时实践可观测性的价值。 ? 可观测性对整个软件开发生命周期的影响。 ? 不同职能团队如何以及为什么在SLO（服务水平目标）中使用可观测性。 ? 如何测试代码以帮助未来的工程师理解你今天编写的代码。 ? 如何为上下文感知的系统调试和系统维护生成高质量的代码。 ? 数据丰富的分析如何帮助你调试难以捉摸的问题。