诺森可观测工程

目录序1前言3部 可观测的路径章 什么是可观测111.1 可观测的数学定义111.2 把可观测应到软件系统121.3 关于软件可观测的错误描述141.4 为什么现在可观测很重要151.5 使用指标进行调试与使用可观测进行调试的对比181.6 使用可观测进行调试211.7 可观测适于现代系统221.8 结论第2章 可观测和监控之间的调试实践有何不同242.1 监控数据如何用于调试242.2 可观测如何实现更好的调试30. 结论31第3章 不通过可观测扩展系统的经验教训3.1 关于Parse的介绍3.2 Parse的扩展实践333.3 向现代系统演进363.4 向现代化实践变革383.5 在Parse的转变实践393.6 结论42第4章 可观测与DevOps、SRE和云原生的关联434.1 云原生、DevOps和SRE简介434.2 可观测：调试方式的过去与现在454.3 可观测了DevOps和SRE的实践454.4 结论47第二部分 可观测基础第5章 结构化事件—可观测的构建块515.1 通过结构化事件进行调试515.2 指标作为构建块的局限525.3 传统日志作为构建块的局限545.4 在调试中有用的事件属565.5 结论57第6章 将事件拼接成链路586.1 分布式链路追踪及其重要56.2 链路追踪的组件596.3 硬编码探针构建链路追踪616.4 将自定义字段添加到链路span646.5 将事件拼接到链路中666.6 结论67第7章 遵照OpenTelemetry的探针687.1 探针简介687.2 开源探针标准697.3 使用基于代码的示例的探针697.4 结论75第8章 通过事件分析实现可观测77.1 从已有条件调试778.2 从原理调试798.3 AIOps的误导承诺48.4 结论85第9章 可观测和监控的融合869.1 监控适合的地方869.2 可观测适合的地方879.3 系统与软件注意事项889.4 评估你的组织需求899.5 结论92第三部分 团队的可观测0章 在团队中应用可观测实践9510.1 参与社区9510.2 从优选的痛点着手9610.3 购买代替自建9710.4 反复完善你的探针9910.5 温和改进，积极复用10010.6 全力冲刺10110.7 结论1021章 可观测驱动开发10311.1 测试驱动开发10311.2 软件开发生命周期中的可观测10411.3 从哪里开始调试10511.4 微服务时代的调试10611.5 探针如何提高可观测10711.6 可观测左移10811.7 利用可观测加快软件交付10811.8 结论1102章 使用SLO来提高可靠11112.1 传统监控方法造成危险的告警疲劳11112.2 阈值告警只适用于“已知的未知”情况1121. 用户体验是一颗北极星11412.4 什么是SLO11512.5 结论1203章 处理和调试基于SLO的告警12113.1 在错误预算消耗完之前发出告警12113.2 将时间定义成一个滑动窗口11.3 预见地创建预测消耗告警12413.4 使用SLO与时间序列数据的可观测数据13413.5 结论1364章 可观测与软件供应链13714.1 为什么Slack需要可观测13914.2 探针：共享客户端库和维度14014.3 案例研究：软件供应链的运营14314.4 结论148第四部分 大规模可观测5章 自建与购买以及回报率15115.1 如何分析可观测的回报率15115.2 自建的真实成本15215.3 购买软件的真实成本15615.4 购买与自建是元15915.5 结论1606章 高效的数据存储16116.1 可观测的功能要求16116.2 案例研究：Honeycomb的列式数据存储实现16816.3 结论1777章 如何使采样精准且便宜17917.1 使用采样策略来优化数据采集17917.2 使用不同的采样策略18017.3 将采样策略转化为代码18317.4 结论1938章 使用流水线进行遥测管理19518.1 遥测流水线的属19618.2 管理一个遥测流水线：解剖20018.3 管理遥测流水线时的挑战20218.4 用例：Slack的遥测管理20418.5 开源替代方案20718.6 管理遥测流水线：自建与购买20818.7 结论208第五部分 传播可观测文化9章 可观测的商业案例21119.1 被动引入变更的方法21119.2 可观测的回报21319.3 主动引入变更的方法21419.4 将可观测引入实践21519.5 使用合适的工具21619.6 知道何时你有足够的可观测2119.7 结论219第20章 可观测利益关方和联盟     22020.1 识别非工程可观测需求22020.2 在实践中创建可观测同盟22220.3 使用可观测与商业智能工具22520.4 在实践中结合使用可观测和商业智能工具22720.5 结论2282章 可观测成熟度模型22921.1 关于成熟度模型的说明22921.2 为什么可观测需要成熟度模型021.3 关于可观测成熟度模型121.4 可观测成熟度模型中的能力参考221.5 在你的组织中使用可观测成熟度模型21.6 结论第22章 未来发展趋势22.1 可观测的过去与现在22.2 资源2412. 可观测发展方向的预测242

序一可观测创造繁荣技术和软件生态可观测在2022年迅速成为热门话题，形成了云原生和DevOps之后新的技术潮流，并且广泛融入各个技术领域。该技术开始在运维领域中仅作为监控模块出现，后来逐渐演进成为贯穿软件全生命周期（研发、测试、部署、运维）的技术平台，不断推动软件工程走向数据化和现代化。近些年来，可观测从技术理论走向落地实践，成为企业信息化服务建设的工具。在云原生时代，可观测的普及有效解决了软件系统运维难度大的痛点，推动了IT系统实现高效交付、统一运维，以及持续且精准的系统优化。中国信通院云大所（中国信息通信研究院云计算与大数据研究所）作为国内数字化技术传播和标准制定的核心单位，亦在积极组织可观测技术研讨，推动可观测技术在产业界的实践落地，深度挖掘其在众多行业领域的应用价值。本书系统讲解了可观测的基本理念、建设方式和落地成效，包含丰富的实践案例，可以帮读者快速理解可观测的技术内涵，亦可帮广大信息技术从业人员、技术爱好者，以及寻求信息化转型的传统企业的从业人员，了解、实践和应用可观测。本书是一本的技术佳作。希望能够通过本书进一步向业界普及可观测的技术理念与实践应用，把可观测技术深度引入软件全生命周期的各个领域，提高软件产品的开放和兼容，推动IT系统在可靠、可、敏捷和研发效能等方面不断提升，实现云上软件系统架构升级，培养的软件，促进国内软件生态的繁荣。何宝宏 中国信息通信研究院云计算与大数据研究所所长 序二为什么我们要了解可观测工程次工业的基础是蒸汽动力的发明，第二次工业的基础是电力驱动的发明，那么当前信息优选的基础就是互联网驱动的数字，而互联网还在各行各业不断渗透，已经成为整个社会和人类进步的基本因素。如今各行各业都在快速互联网化，未来不仅仅是传统意义上的互联网公司提供互联网应用，每一个行业都会变成互联网应用。在行业，不仅仅只是线下门店、APP、小程序、数字门店、电商，整个行业都变成了一个互联网应用。在汽车行业，我们看到新能源汽车的蓬勃发展，但更要看到所有的汽车都变成了互联网汽车，每一辆车都是联网的，汽车本身从传统的硬件变成了某种情况下的软件，成为互联网应用。和医院也开始互联网化，我们现在可以通过线上平台、便民APP或小程序使用各种公共服务，这些服务也变成了一个个互联网应用。可见，越来越多的产业都在发生这样的变化。在互联网化的巨大业务需求下，整个 IT 基础设施正发生重大变化—从传统的单体应用逐步向微服务演化。这不仅体现在不同软件之间能通过 API 连接，随着容器和云原生技术的发展，软件内部也变成一个个微服务。在云计算的加持下，面向互联网的软件从传统的信息化支撑软件演进成业务的关键核心系统，此时对软件系统本身的生命周期管理也在改变，比如，以前交付后能以初始版本不升级就连续运行几年，变成现在每几天就会在线热更新一次。此刻，我们不仅要解决软件系统运行时产生的稳定问题，更需发潜在的线索，包括找到如何持续优化软件本身的思路，以及如何进一步提升用户体验，等等。传统的监控软件整体设计思路是被动的，是基于阈值或者事件驱动的逻辑，或者说是一种基于故障触发的逻辑。这对传统系统是有效的，因为监控软件的主要使用者是运维，他们只需要保 IT 系统本身的稳定，并不过多关注上层业务，更不用说用户体验了。而构建可观测的目标可不只是做一个更庞大的传统监控，而是要让所有与该系统相关的能从全局角度去理解整个系统的运行状态，包括理解软件的运行情况、理解代码的执行逻辑等，目标是服务所有研发、测试和运维团队，使大家能够在同一个上下文中阅读系统，对问题有一致的理解并给出真正触根因的解决方案。可观测面向的不仅是已显现的故障，更重要的是能够通过主动探索系统去发现问题，这些问题包括传统意义上的已定义的故障，也包括代码内隐蔽的 Bug、架构上的瓶颈点、执行逻辑里的漏洞、用户体验的缺陷、某一个用户操作中遇到的各种麻烦，等等。说到这里，你可能会认识到，若实整个可观测工程，就需要有一个记录软件运行状态的实时数据仓库，这个数仓的数据规模要比传统监控大得多，不仅包含指标、链路和日志，还包括用户行为事件、网络数据、安全数据、业务数据等，并要有能力去综合采集、存储、分析、管理各类海量的数据，同时又要保整体成本可控。它要能以统一标准的方式全量接入相关的数据，而不是只收集那些你自认为需要监控的数据，因为若很多数据没有被记录，那将无法完整还原真实历史状态；它能提供更多的测量手段去观测数据以探明动态的因果关联，而不像传统监控软件那样只能用固定格式的仪表盘来展示数据；它需要大幅度降低使用者的学习门槛，不仅面向运维，还有研发测试团队，甚至涉及产品运营团队，大家共同来解决共识问题，快速理解这些软件问题与业务问题间的上下文关联。因此，可观测工程不只是一个更好的监控工具，更是一种现代化的互联网软件基础设施，是团队执行力的体现。我们会清晰地发现，能否有效地构建可观测工程直接反映了整个公司产品的质量，间接反映了整个公司的发展潜力和文化。构建可观测工程本质上就是整个互联网软件本身的数字化，使用可观测平台的组织才会成为基于数据驱动的现代化组织。本书详细地描述了为什么要构建可观测、可观测的值、可观测构建过程中的原则和可能存在的陷阱，也指出了现代化软件工程的发展方向和趋势，值得每位（包括所有技术管理者）好好阅读和思考。我相信，当你看完本书后，一定会迫不及待地在公司内开始构建可观测工程。蒋烁淼观测云创始人&CEO序三窥见更远：望远镜和软件可观测软件可观测是近年来快展的一个主题，从技术到商业，我们看到围绕该主题诞生了无数新思想和新产品。虽然这是一本技术书籍，不过这里我想聊聊关于可观测的意义和一些更接近根源的东西。有记载的早的望远镜概念可追溯到1608年10月，荷兰一位名叫Hans Lippershey的眼镜商人提交的一份专利，其中描述了一种能将远处的东西放大的装置，距今已经400多年。这400多年是人类科学突飞猛进的时期，望远镜就像眼睛一样，让我们得以看清宇宙和万物，也因此成为科学中重要的仪器之一。从台望远镜诞生到现在，我们拥有了各种各样的望远镜：对宏观世界，有玩具双目望远镜到哈勃太空望远镜；对微观世界，有显微镜到LHC。科学史从某个角度来说是一部望远镜的进化史，一部可观测技术的进化史，也是一部我们对客观世界的理解不断深入的历史。将不可见的世界变成可见是我们理解客观世界运行规律的重要方式，因为不管你看不看和相不相信，这个世界就在此处不由分说地运转着。说回软件世界，我于20世纪90年代进入IT行业，当时的软件系统还都比较简单，大多都是单机系统，对于可观测的理解基本在于日志和基于源码或者二进制的软件调试技术。从单机的维度来说，这基本已经足够了。但是随着2000年后互联网行业的崛起，分布式系统开始登上舞台，在早期的简单分布式系统中，可观测并没有得到足够的重视，依旧延续着单机系统的思路：出了问题查询一下日志就好了！这在很长时间也相安无事。但是后来随着我们的应用和系统越来越复杂，再加上分布式系统比单机系统的不确定更（考虑到网络联通），即使我们能够实现代码，也已经不再能够轻易地知道系统的运行状态，这时迫切需代的“望远镜”。对于我们这一代软件，重要的事情之一就是改变我们看待软件可观测的态度，正视这是一门系统技术甚至是一门科学。其实如果从上面提到的人类进步史来看，望远镜的发明和发展几乎同步于我们对世界的理解，类比到我们现在所身处的云计算时代，可观测技术的成熟无疑会推动我们理解和实现云上的复杂系统，对此我毫不怀疑。这个方向仍然处于黎明期，有很多难题还有待解决，例如，如何尽可能消除观测对业务带来的影响？如何以更低的成本存储可观测数据？如何以更加符合人类直觉的方式快速向管理员展示系统的全貌以便于快速地定位故障和准确归因？回到这本书，本书行文方式落地且直观，通过实际的案例和一线软件的经验分享，令人信服地把可观测的哲学和理念变成可参考的实践。除了技术之外，也有关于团队管理以及软件工程与现代可观测技术结合的思考，相信无论是初学者还是行业老兵，程序员还是技术管理者，都能从本书中有所收获。，我想以希尔伯特的一句名言来结束这篇序言：Wir müssen wissen. Wir werden wissen.（我们必须知道，我们终将知道）。黄东旭，PingCAP联合创始人&CTO20年2月16日写于美国硅谷

本书基于作者在可观测领域的丰富实践经验撰写而成，旨在帮读者在工程团队内开展可观测实践。书中深入分析了在软件交付和运营的背景下可观测意味着什么、如何构建基础组件来实现可观测、可观测对团队动力的影响、可观测规模化的考虑因素，以及在组织中建立可观测文化的实用方法，还通过丰富的实例展示了如何利用可观测改进现有的工作，并提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项。本书适合软件、产品经理、软件交付和运维人员等阅读。

可观测对于构建、更改和理解驱动复杂现代系统的软件至关重要。应用可观测的团队能够快速、从容地发布代码，识别异常值和异常行为，并了解每个用户的体验。本书解释了可观测系统的价值，并向你展示了如何通过实践可观测来驱动开发工程。 来自Honeycomb公司的三位作者解释了良好的可观测由哪些要素构成，展示了如何利用可观测改进现有的工作，并结合具体案例阐释了实施可观测面临的常见挑战及有效解决方案，提供了从传统工具（如度量工具、监控工具和日志管理工具）迁移的实际注意事项，还解释了可观测与组织文化的相互影响。 学完本书，你将了解： ? 可观测概念如何应用于大规模软件管理。 ? 在交付复杂的云原生应用和系统时实践可观测的值。 ? 可观测对整个软件开发生命周期的影响。 ? 不同职能团队如何以及为什么在SLO（服务水平目标）中使用可观测。 ? 如何测试代码以帮未来的理解你今天编写的代码。 ? 如何为上下文感知的系统调试和系统维护生成高质量的代码。 ? 数据丰富的分析如何帮你调试难以捉摸的问题。