崩溃！记一次服务器崩溃原因

排查

腾讯云后台查看

登录腾讯云后台查看对应服务器的监控一栏，发现有十分钟服务器是无响应状态的，在此之前服务器的内存、硬盘、带宽都是爆满的。

解决

一开始怀疑是服务器被攻击，后面重启两次，访问jenkins都无响应。第三次启动没有访问jenkins页面，直接访问博客项目是可以访问的，博客项目设置的开机自动重启服务还是有用的。
停止jenkins后打开jenkins工作空间目录/var/lib/jenkins/workspace 发现很多构建未完成的目录，删除之后启动jenkins，可以访问jenkins页面了。
在jenkins页面点击构建项目时，服务器又开始崩溃卡着不动了。之后又是重启、删未完成构建的目录再次正常进入jenkins页面。打开构建控制台输出里面显示 发现执行 npm install 时卡死不动了。自己手动在项目目录手动安装依赖也是卡死的。

结论

最后发现blog-serve项目中的package-lock.json不知道什么时候置空了，导致安装依赖的时候，依赖安装太久无反应，服务器卡死。

！！！ 目前为止好像是pm2 设置的最大内存太大，之前设置的是1g而且两个实例。出现比较多的是安装服务器卡死（Jenkins和手动安装依赖都会）。

20220911

排查发现启动Jenkins时发现c3pool/xmrig挖矿程序，多次重置Jenkins和删除smring相关文件和进程之后终于恢复正常了。

20230215

晚上19点左右服务又卡死了！！死机重启之后，安装yum install htop，输出 htop查看进程信息。
相关字段信息

PID：进行的标识号
USER：运行此进程的用户
PRI：进程的优先级
NI：进程的优先级别值，默认的为0，可以进行调整
VIRT：进程占用的虚拟内存值
RES：进程占用的物理内存值
SHR：进程占用的共享内存值 S：进程的运行状况，R表示正在运行、S表示休眠，等待唤醒、Z表示僵死状态
%CPU：该进程占用的CPU使用率
%MEM：该进程占用的物理内存和总内存的百分比
TIME+：该进程启动后占用的总的CPU时间
COMMAND：进程启动的启动命令名称

按键功能

F3：搜索进程
在界面下按F3或直接输入”/”就可以直接进入搜索模式，是按照进程名进行搜索的
F4：过滤器
相当于模糊查找，不区分大小写，下方输入要搜索的内容后，则界面只显示搜索到的内容，更加方便查看，例如
F5：以树形方式显示
F6：排序方式
F9：杀死进程
F10：退出htop

清除buff/cache

执行`free -m`可以看到free内存已经很少`buff/cache`占用很大，可以执行以下命令清除缓存

echo 1 > /proc/sys/vm/drop_caches
echo 2 > /proc/sys/vm/drop_caches
echo 3 > /proc/sys/vm/drop_caches