EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
简介: E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor,有效提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。
大数据运维的挑战—如何保证集群稳定与运行效率
企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务,需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战:海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务,都会提升运维难度。作为支撑平台,大数据集群的稳定性和运行效率,会直接影响到公司业务的正常运作和发展。
集群管理员往往对整体集群做好了监控运维体系,对于大数据集群,简单的监控运维体系能够帮助管理员在遇到故障的时候定位问题。但对于整体集群的运行效率,集群的状态,通过单纯的监控指标很难给出一个全面的解答。

对于大数据集群,管理员以及 CIO 等更关注以下的内容:
● 集群内的节点的运行状态和资源使用状况;
● 运行在集群上的服务组件的状态监控和异常处理,包括 YARN、HDFS、Hive 和 Spark 等;
● 计算任务运行情况和执行效率;
● 整体集群的健康程度和如何改进。
面对运维挑战,EMR重磅推出:智能运维诊断系统(EMR Doctor)
为了提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor(简称EMR Doctor)。 EMR Doctor 作为开源大数据集群的管家,会自动每日巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度。
如何使用 EMR Doctor
1. 进入 EMR 控制台健康检查页面。
l 登录 EMR on ECS 控制台。
l 在顶部菜单栏处,根据实际情况选择地域和资源组。
l 在集群管理页面,单击目标集群的集群ID。
l 单击上方的健康检查页签。
2. 在健康检查页面,您可以看到当前集群的健康检查报告(T+1)。健康状态列显示了该集群的健康度,您可以点击查看报告进入检查报告页面。

3. 健康检查报告中包含集群计算资源的总体分析

4. 健康检查报告中包含计算任务从各个维度的排名并给出任务调优建议

5. 健康检查报告中包含对集群存储的总体分析,以及大小文件和冷热数据的详细分析

6. 健康检查报告主要分析内容如下,更详细说明请参见查看健康检查状态和报告



相关阅读
- 微电生理续聘朱郁为财务副总经理兼董秘:2024年薪酬167.64万
- 龙溪股份聘任黄杰为董秘:9月代行董秘职务至今 此前无上市公司董秘工作经验
- 全球工厂集约化管理,海泰新能基于UCloudStack私有云“智造”升级
- 金山办公2025年净利18.36亿增长11.63% 总经理章庆元薪酬202.95万 2026Q1净利21.95亿投资收益大增
- 云南白药2025年归母净利51.53亿增长8.51% 总裁董明薪酬425.34万
- 翔宇医疗2025年净利7815.64万减少24.08% 董事长何永正薪酬80.64万
- 美光正在出样128 GB DDR5内存模块 采用32 Gb DDR5内存芯片
- 安博通2025年亏损扩大至1.54亿 董事长钟竹薪酬529.61万
- Earfun发布Air Pro 3无线耳机:采用最新的蓝牙传输标准LE Audio 并支持LC3新蓝牙编码
- 从电解液添加剂到硅基负极:孚日股份夯实“家纺+新能源”双主业版图