基于python的Linux服务器资源监控

发布时间 2023-12-03 17:10:35作者: 1586128633

介绍

项目地址: https://github.com/leeyoshinari/performance_monitor

已完成如下功能

1、监控整个服务器的CPU使用率、io wait、内存使用、磁盘IO、网络带宽和TCP连接数
2、监控指定端口的CPU使用率、上下文切换、内存占用大小、磁盘读写和TCP连接数
3、针对java应用,可以监控jvm大小和垃圾回收情况;当Full GC频率过高时,可发送邮件提醒
4、系统CPU使用率过高,或者剩余内存过低时,可发送邮件提醒;可设置自动清理缓存
5、可随时启动/停止监控指定端口
6、当端口重启后,可自动重新监控
7、支持运维监控,端口停止后,可发送邮件提醒
8、可直接在服务端停止客户端
9、可按照指定时间段可视化监控结果
10、自动按照百分位数计算出CPU、磁盘IO和带宽的数据
11、数据采样频率最高可达约1次/s,可设置任意采样频率
12、可直接在页面查看服务器当前资源(CPU、内存、磁盘)使用情况
13、可同时管理监控多台服务器
14、服务端停止后,不影响客户端监控

既可以做性能测试监控(不放过每一秒的数据变化),也可以做运维监控(异常自动邮件提醒),而且可以二次开发增加更多功能。

实现

1、使用基于协程的http框架aiohttp
2、服务端前端使用jinjia2模板渲染
3、数据可视化采用echarts
4、采用线程池+队列的方式实现同时监控多个端口
5、客户端每隔8s向服务端注册本机IP和端口
6、服务端每隔10s会查询所有已注册的客户端的状态
7、使用influxDB数据库存储监控数据;数据可设置自动过期时间
8、为保证监控结果准确性,直接使用Linux系统命令获取数据,且可视化时未做任何曲线拟合处理

页面

(1)客户端(agent)启动后,访问http://ip:port可以看到页面显示服务器的CPU、内存、磁盘和网络等信息

(2)服务端(server)启动后,访问http://ip:port/上下文可以看到首页,页面实时展示已经注册的客户端的IP、系统、CPU、内存、磁盘、带宽。CPU、内存、磁盘使用率高于设定值时,红色加粗提示。

(3)点击监控列表,可以看到监控页面;点击开始监控按钮,即可在指定的服务器上开始监控指定的端口;点击停止监控按钮,即可在指定的服务器上停止监控指定的端口;点击获取监控列表按钮,可以查看当前已经监控的端口

(4)点击可视化,可以看到可视化页面;点击画图按钮,即可将指定服务器上的指定端口的监控数据可视化

当前监控程序几乎可以运行在任何可以运行python的linux系统上,已测试过的系统CentOSUbuntu中标麒麟银河麒麟,支持X86_64ARM架构
源码在GitHub上 https://github.com/leeyoshinari/performance_monitor