不完全指南：通过可观察性实现CI/CD的高可用性

本篇目录

随着技术革新的加速，全球云计算领域正经历着一场剧烈的演变。据《福布斯》预计，到2025年，企业将在云计算基础设施上花费超过1686亿美元。

由于大多数应用程序发布都依赖于云基础设施，因此拥有良好的持续集成和持续交付（CI/CD）管道以及端到端可观察性对于确保高可用性系统至关重要。通过在CI/CD管道中集成可观察性工具，组织可以增加部署频率、最大限度地降低风险并构建高可用性系统。

本文将帮助您了解可观察性和高可用性的关键概念以及如何将可观察性集成到CI/CD中以创建高可用性系统。

一、SRE中的可观察性和高可用性

SRE（站点可靠性工程）是指使用软件工具自动执行IT基础架构任务的做法，如系统管理和应用程序监控。而可观察性提供对应用程序性能的实时洞察，能为SRE团队提供必要的工具来深入了解系统的性能。

1、可观察性的组成部分

可观察性涉及三个基本要素：

指标——系统性能和用户体验各方面的可测量数据；
日志——事件发生后审查的详细事件信息；
跟踪——复杂架构中的端到端可视性，帮助您了解跨服务的请求。

它们共同全面描绘了系统的行为、性能和交互。SRE团队可以分析这些可观察性数据，做出数据驱动的决策并快速解决问题，从而确保系统高度可用。

2、可观察性在高可用性中的作用

高可用性意味着通过最大限度地减少停机时间来确保系统保持运行，了解系统的行为、性能和对各种条件的响应是实现高可用性的关键。

企业必须确保其开发和SRE团队能够熟练地预测和解决系统故障、意外流量高峰、网络问题和软件错误，以便为用户提供流畅的体验。

可观察性对于评估高可用性至关重要，它通过持续监控对系统健康至关重要的特定指标（例如延迟、错误率、吞吐量、饱和度等）来提供实时健康检查。偏离正常行为会触发警报，使SRE团队能够在潜在问题影响可用性之前主动解决它们。

3、可观察性如何帮助SRE团队

每个可观察性组件都对系统性能的不同方面提供了独特的见解。这些组件使SRE团队能够主动监控、诊断和优化系统行为。SRE团队使用指标、日志和跟踪的一些用例包括事后审查、系统弱点识别、容量规划和性能优化。

（1）事后回顾

可观察性工具允许SRE团队查看过去的数据，以分析和了解事件、异常或中断期间的系统行为。详细的日志、指标和跟踪提供了事件的时间线，有助于确定问题的根本原因。

（2）识别系统弱点

可观测性数据有助于了解系统在各种条件下的行为方式，从而找出系统弱点。通过分析指标、日志和跟踪，SRE团队可以识别可能表明存在漏洞、性能瓶颈或容易发生故障的区域的模式或异常。

（3）容量规划和性能优化

通过收集和分析与资源利用率、响应时间和系统吞吐量相关的指标，SRE团队可以就容量需求做出明智的决策。这种主动方法可确保系统充分扩展以处理预期的工作负载，并优化其性能以满足用户需求。简而言之，可以在非高峰时段轻松缩减资源，或在需求激增时增加资源。

high-availability-in-cicd-with-observability-2

4、可靠性的SRE最佳实践

从本质上讲，SRE实践旨在使用指导SRE团队的两个关键原则来创建可扩展且高度可靠的软件系统：SRE黄金信号和服务级别目标（SLO）。

（1）了解SRE黄金信号

SRE黄金信号是一组关键指标，可提供系统运行状况和性能的整体视图。四个主要黄金信号是：

延迟——系统统响应请求所需的时间。高延迟会对用户体验产生负面影响。
流量——系统统处理的请求量。监控有助于预测和响应不断变化的需求。
错误——错误率升高可能表明存在软件错误、基础设施问题或其他可能影响可靠性的问题。
饱和度——系统资源（如CPU、内存或磁盘）的利用率。它有助于识别潜在的瓶颈并确保系统有足够的资源来处理负载。

（2）制定有效的SLO

SLO定义了服务旨在实现的可靠性或性能目标水平。它们通常以特定时间段内的百分比表示。SRE团队使用SLO来明确系统行为、可用性和可靠性的期望。他们持续监控SRE黄金信号以评估系统是否满足其SLO。如果系统低于定义的SLO，则会触发对服务架构、容量或其他方面的重新评估，以提高可用性。企业可以使用可观察性工具根据关键指标的预定阈值设置警报。

（3）定义缓解策略

自动执行重复性任务（例如配置管理、部署和扩展）可降低人为错误的风险并提高系统可靠性。在关键组件中引入冗余可确保一个区域的故障不会导致整个系统的中断。这可能涉及冗余服务器、数据中心甚至云提供商。此外，实施部署回滚机制可让SRE团队在新版本出现问题时快速恢复到稳定状态。

二、零停机时间的CI/CD管道

通过有效的CI/CD管道实现零停机时间，服务可以为用户提供对最新版本的持续访问。让我们来看看为确保零停机时间而采用的一些关键策略。

1、确保零停机时间的管道设计策略

一些可最大程度减少中断并最大程度提升用户体验的策略包括蓝绿部署、金丝雀发布和功能切换。让我们更详细地了解一下它们。

（1）蓝绿部署

蓝绿部署涉及维护两个相同的环境（蓝色和绿色），其中只有一个环境每次主动处理生产流量。部署更新时，流量会从当前（蓝色）环境无缝切换到新（绿色）环境。这种方法可确保停机时间最短，因为转换是即时的，因此在出现问题时可以快速回滚。

（2）金丝雀发布

金丝雀发布涉及先向一小部分用户部署更新，然后再向所有人推出。这种循序渐进且可控的方法使团队能够监控真实环境中的潜在问题，同时减少影响。如果金丝雀组没有遇到重大问题，则部署将发布给更广泛的受众。

（3）功能切换

功能切换或功能标记使开发人员能够独立于其他功能控制新功能在生产中的可见性。通过打开或关闭功能，团队可以将代码发布到生产中，但可以动态激活或停用特定功能，而无需部署新代码。这种方法提供了灵活性，允许逐步推出或回滚功能，而无需重新部署整个应用程序。

2、确保高可用性的CI/CD最佳实践

成功实施CI/CD管道以实现高可用性通常需要经过深思熟虑和反复试验。虽然实施方法多种多样，但遵循最佳实践可以帮助您避免常见问题并更快地改进管道。您可以在CI/CD管道中实施一些行业最佳实践以确保零停机时间，这些实践包括自动测试、工件版本控制和基础设施即代码（laC）。

（1）自动化测试

您可以使用全面的测试套件（包括单元测试、集成测试和端到端测试）在开发过程的早期识别潜在问题。集成期间的自动化测试可确保代码更改的可靠性，从而降低在部署期间引入严重错误的可能性。

目前市面上有很多自动化测试工具，禅道团队同样自研了开源的自动化测试框架ZTF和通用数据生成器ZenData，加上禅道项目管理软件构成了专业的自动化测试解决方案，可以帮助用户实现规模化自动化测试，提升测试效率。

（2）工件版本控制

通过为工件（例如已编译的二进制文件或可部署的软件包）分配唯一版本，团队可以系统地跟踪随时间推移的变化。这种做法可以精确识别特定的代码迭代，从而简化调试、故障排除和回滚过程。版本控制工件可确保可追溯性，并在部署期间出现问题时方便回滚到以前的版本。

（3）基础设施即代码

利用基础设施即代码来定义和管理基础设施配置，IaC确保开发、测试和生产环境之间的一致性，从而降低部署相关问题的风险。

high-availability-in-cicd-with-observability-3

3、将可观察性集成到CI/CD管道中

在CI/CD期间观察构建成功率、部署持续时间和资源利用率等关键指标，可以了解CI/CD管道的运行状况和效率。可观察性可以在持续集成(CI)和持续部署(CD)期间以及部署后实现。

（1）持续集成中的可观察性

可观察性工具可捕获CI过程中的关键指标，例如构建成功率、测试覆盖率和代码质量。这些指标可立即反馈代码库的健康状况。日志记录可记录CI过程中的事件和活动。日志可帮助开发人员和CI/CD管理员解决问题并了解执行流程。跟踪工具可深入了解CI任务的执行路径，使团队能够识别瓶颈或需要优化的领域。

（2）持续部署中的可观察性

可观察性平台实时监控CD管道，跟踪部署成功率、部署持续时间和资源利用率。可观察性工具与部署工具集成，以在部署之前、期间和之后捕获数据。基于预定义阈值或CD指标异常的警报会将潜在问题通知团队，从而实现快速干预并最大限度地降低部署错误代码的风险。

（3）部署后可观察性

应用程序性能监控工具可让您深入了解已部署应用程序的性能，包括响应时间、错误率和事务跟踪。这些信息对于识别和解决部署期间和部署后出现的问题至关重要。具有错误跟踪功能的可观察性平台有助于查明并确定部署代码中出现的软件错误或问题的优先级。从部署后环境中汇总日志可以全面了解系统行为，并有助于故障排除和调试。