云原生时代的可观测体系在大规模应用中的落地实践

案例背景:
云原生架构下，容器实例动态运行，在实例多、微服务调用关系复杂的场景下，提升可观测性成为了降低系统复杂度的重要手段。指标、链路追踪，以及日志目前已经成为了云原生应用的“必备品”，当把它们集成在一起时，需要拥有一个更加成熟的现代化可观测体系来支撑，以便了解应用系统内发生的事情。OpenTelemetry 简称 OTel，作为 CNCF 的孵化项目，它重新定义了数据范式以及标准，同时还拥有非常丰富的周边生态，看起来可以承担未来可观测发展的重任。但往往我们在实际生产环境结合 OpenTelemetry 进行大规模落地可观测的过程当中，会遇到系统的稳定性，维护成本，以及如何与存量监控系统互通等等一系列问题，这些问题都将成为了落地一套完整可观测体系的障碍，给 SRE 运维工作带来了极大的困扰。本次分享将这一系列问题重新进行了梳理，给出了解决方案，通过最佳实践的形式来告诉听众，如何来构建一套完整的可观测体系，相比传统的监控体系，云原生时代的可观测体系又能给我们带来哪些增值收益。


解决思路:
1、OpenTelemetry 设计理念及社区动态；
2、云原生可观测以及 OpenTelemetry，跟 Jeager、Zipkin 及商业化可观测产品之间的关系，如何迁移、互通；
3、大规模生产环境下落地可观测体系所遇到的那些“坑”，及解决方案；
4、可观测的未来与展望。

成果：
通过 OpenTelemetry 的技术落地，构建了一套完善的云原生时代的可观测体系，实现了可观测性三大支柱：Metrics、Tracing、Logging 的融合与统一，并在实际生产环境中得到应用，提升SRE的运维效率，使得在故障发生时能够大幅度降低恢复时间。