Flink on Yarn 调度均衡优化

案例背景:
大数据时代，数据量增量迅速，相应的计算力的提升也就尤为重要，我们再实践中遇到了以下问题：
1. Container 分布集中，导致单机 IO 过高，影响 Task 处理性能。
2. Task 调度不均，每个 Container 内部调度的 Task 数量不等，整体需要按照最大值配置，导致了计算资源的大量浪费。

解决思路:
针对上述问题，YARN 团队针对实时计算场景也开发了 GangScheduler，具备 Container 维度更优的调度能力。同时我们也优化了 Flink 引擎的调度策略，使其更均衡的将 Task 调度到各 TaskManager，减少资源浪费，也便于用户配置资源。

成果:

经过上述优化，我们减少了资源浪费，并提升了数据处理能力。