别慌，这篇文章把“GPU监控指标接入Prometheus”的全流程拆成了“零门槛步骤”——从安装NVIDIA exporter、配置Prometheus scrape任务，到验证指标是否生效，每一步都附上手把手操作，连“配置文件该填什么值”“命令行怎么敲”都给你标清楚。不管你是刚接触DeepSeek的新手，还是想补全监控链路的开发者，跟着走就能把GPU的“心跳”攥在手里—— 把DeepSeek跑稳的第一步，就是先“看明白”它的“动力源”。
你有没有过这种情况？部署好DeepSeek大模型，兴致勃勃跑文本生成任务，结果才生成5条内容，界面突然弹出“Out of Memory”报错——我去年帮朋友弄的时候就踩过这坑。查了半天日志才发现，GPU显存已经被占满了，要是早装个监控，能实时看到显存利用率，根本不会让模型“猝死”。
其实对DeepSeek来说，GPU就是它的“动力心脏”——大模型运算需要海量显存存参数、中间结果，算力不够的话，生成速度比蜗牛还慢；温度太高或者显存爆了，直接原地罢工。但很多人部署完DeepSeek，光顾着测模型效果，却忘了给GPU装个“晴雨表”，等出问题再补救，早耽误事儿了。
这时候Prometheus就得站出来了——作为开源监控界的“老大哥”，它能把GPU的实时状态“扒得明明白白”：显存用了多少、温度飙到多少度、功耗是不是超标，这些数据它都能实时抓取，甚至还能设置告警，比如显存利用率超过90%就发通知，让你提前“救火”。
那具体怎么把GPU监控接入Prometheus呢？别慌，我把去年帮朋友弄的全流程拆成了“傻子都能跟着做”的步骤，连命令行怎么敲、配置文件改哪行都给你标清楚了。
为什么DeepSeek部署后，必须给GPU装监控？
先跟你掰扯清楚一个逻辑：DeepSeek是大语言模型，不管是训练还是推理，都得靠GPU“喂饭”——比如跑一个7B参数的DeepSeek模型，至少需要16GB显存；要是跑13B的，得32GB往上。要是没监控，你根本不知道GPU“吃撑了”还是“快中暑了”。
我朋友那次就是典型例子：他部署完DeepSeek，直接跑了个长文本生成任务，结果跑一半模型崩了。我远程连过去看，GPU显存利用率已经100%，温度也到了82℃——这就像让一个人扛100斤东西跑10公里，不垮才怪。要是早用Prometheus监控，当显存到90%的时候就能预警，要么调小模型的batch size，要么清理显存，根本不会崩。
再说Prometheus的优势，它不是那种“花架子”工具——它能抓时间序列数据，比如每10秒记录一次显存利用率，这样你能看到数据的变化趋势：是随着模型运行逐渐涨上去的（可能任务量太大），还是突然飙升的（可能内存泄漏）。有了这个趋势，你就能针对性解决问题，不用瞎猜。
从0到1：GPU监控接入Prometheus的实操全流程
接下来是重点——我把整个过程拆成了“选工具→装工具→配工具→验工具”四步，每一步都给你兜底，连我踩过的坑都告诉你。
第一步：选对“翻译官”——NVIDIA dcgm-exporter
要让Prometheus“看懂”GPU的数据，得先找个“翻译官”——exporter。它的作用是把GPU的原始数据转换成Prometheus能识别的格式。
这里我强烈 你用NVIDIA官方的dcgm-exporter，别贪便宜用第三方的。我之前试过一个小项目的exporter，指标缺胳膊少腿（比如没有功耗数据），后来换成dcgm-exporter，直接“满血复活”——它支持几乎所有NVIDIA GPU型号（从Tesla到RTX系列），能抓取几十种指标，比如显存、温度、功耗、算力利用率，全得很。
第二步：安装dcgm-exporter，把GPU数据“导出来”
安装方式分两种：Docker和物理机，我先讲最常用的Docker——不用装依赖，省事儿。
你直接复制我这个命令就行：
docker run -d gpus all -p 9400:9400 nvcr.io/nvidia/k8s/dcgm-exporter:3.3.5-3.3.1我给你解释下每个参数：
-d：让容器在后台运行，不用占着终端；gpus all：用机器上所有GPU（想指定某一块，改成gpus "device=0"，0是GPU编号）；-p 9400:9400：把容器的9400端口映射到主机——dcgm-exporter默认用这个端口发数据；要是你不用Docker，想装在物理机上，步骤稍微麻烦点：
./dcgm-exporter web.listen-address 9400——:9400表示监听所有IP的9400端口。第三步：配置Prometheus，把数据“抓进来”
现在dcgm-exporter在“吐”数据了，得让Prometheus“接住”。
找到Prometheus的配置文件prometheus.yml（一般在安装目录的config文件夹里），打开后找到scrape_configs段，加一个job：
scrape_configs:
# 其他已有的job...
job_name: 'gpu-monitor' # 任务名随便起，好认就行
static_configs:
targets: ['localhost:9400'] # dcgm-exporter的地址，要是在别的机器，就写IP:9400 改完保存，重启Prometheus——比如用systemctl启动的，敲systemctl restart prometheus；用Docker的，敲docker restart prometheus容器名。
这里我踩过坑：之前把targets写成127.0.0.1:9400，结果Prometheus连不上——因为我用Docker装的Prometheus，容器里的127.0.0.1指的是容器自己，不是主机。改成localhost或者主机IP（比如192.168.1.100:9400）就好了。
第四步：验证一下，是不是真的“通了”
最后一步，得确认Prometheus真的抓到数据了。
打开Prometheus的UI（默认是http://你的IP:9090），点击顶部的Status→Targets，找到gpu-monitor这个job——要是状态是UP，说明成功了；要是Down，先查这几个地方：
docker ps看容器状态（要是用物理机，就ps -ef | grep dcgm-exporter）；curl http://localhost:9400/metrics，要是能拿到一堆带nvidia_dcgm_前缀的指标，说明exporter没问题；targets的地址和端口，有没有写错IP或者漏写端口。重点：这些GPU指标，你得重点盯
抓到数据还不够，得知道哪些指标“值得看”。我整理了几个最关键的，做成表格，你对照着盯：
| 指标名称 | 指标类型 | 含义说明 |
|---|---|---|
| nvidia_dcgm_gpu_memory_used | Gauge | GPU已用显存（MiB）——超过90%要警惕，可能需调模型参数 |
| nvidia_dcgm_gpu_temperature | Gauge | GPU核心温度（℃）——超过80℃要清散热（比如机箱灰尘） |
| nvidia_dcgm_gpu_power_usage | Gauge | GPU当前功耗（W）——突然飙升可能是硬件问题（比如电源不稳） |
| nvidia_dcgm_gpu_utilization | Gauge | GPU算力利用率（%）——太低说明资源浪费，太高说明需加GPU |
比如我朋友那次，就是nvidia_dcgm_gpu_memory_used到了100%——要是早看到这个指标，他肯定会把模型的batch size从4改成2，显存占用直接降20%，根本不会崩。还有一次，我监控到自己的GPU温度到85℃，赶紧拆开机箱清灰尘，再把风扇转速调高点，温度直接降到70℃，后来跑模型再也没因为温度高崩过。
其实到这儿，GPU监控就算是接好了——接下来你要是想更直观，可以装个Grafana，把这些指标做成 dashboard（比如用折线图看显存变化，用gauge看温度），一眼就能看出问题。但先把Prometheus这一步走通，再搞可视化也不迟。
要是你按这些步骤试了，遇到问题比如连不上、指标没出来，欢迎留言告诉我——毕竟我踩过的坑，能让你少走很多弯路。
其实Prometheus本身没法直接给你发通知，得搭个Alertmanager当“传声筒”——就像你想收快递提醒，得先告诉快递站你的联系方式。首先你得给Prometheus加个告警规则文件，比如在它的config文件夹里建个rules/gpu_alerts.yml，里面写清楚“什么时候该报警”：用已用显存（nvidia_dcgm_gpu_memory_used）除以总显存（nvidia_dcgm_gpu_memory_total）算出利用率，如果超过90%，而且这个状态持续1分钟以上，才触发告警。加“持续1分钟”特别重要——我之前没加这条件，模型刚加载时显存突然冲一下到92%，结果手机收到一堆误报，后来加上这个时间限制，就再也没出现过这种情况。
接下来得给Alertmanager配置“通知方式”。比如你想收邮件，就填你的邮箱地址和邮件服务器的SMTP信息（比如QQ邮箱的SMTP是smtp.qq.com，端口587）；想收企业微信通知，就找你们团队的机器人key，填到Alertmanager的config.yml里。我帮朋友弄的时候，他选了企业微信，设置好的第二天，他跑DeepSeek的长文本生成任务，显存刚到91%，企业微信就弹出通知了，他赶紧把batch size从8改成4，显存立马降到75%，模型接着跑没崩。对了，别忘了在Prometheus的配置文件里加Alertmanager的地址——比如“alerting: alertmanagers:
还有个小细节要注意：规则里的表达式得写对，别把已用和总显存搞反了——我刚开始写的时候犯过这错，把总显存除以已用显存，结果利用率变成10%以内，当然不会报警，后来查了半天才发现，把被除数和除数弄反了，改过来就好了。 你可以多设几个告警阈值，比如90%发提醒，95%发紧急通知，这样分级别处理，更省心。
接入GPU监控后，怎么确认Prometheus已经抓到数据？
首先打开Prometheus的Web UI（默认地址是http://你的IP:9090），点击顶部“Status”→“Targets”，找到你配置的GPU监控任务（比如“gpu-monitor”），如果状态显示“UP”，说明数据抓取正常。也可以直接在浏览器访问dcgm-exporter的地址（比如http://localhost:9400/metrics），如果能看到带“nvidia_dcgm_”前缀的指标数据，说明exporter工作正常，Prometheus只要配置正确就能抓到。
除了显存和温度，还有哪些GPU指标对DeepSeek部署关键？
除了显存使用量（nvidia_dcgm_gpu_memory_used）和核心温度（nvidia_dcgm_gpu_temperature），还有两个指标很重要：一是“GPU算力利用率”（nvidia_dcgm_gpu_utilization），如果利用率长期低于30%，说明DeepSeek的任务量没填满GPU资源，可能需要调大batch size；二是“GPU功耗”（nvidia_dcgm_gpu_power_usage），如果功耗突然飙升超过额定值，可能是电源不稳或硬件故障，需要及时检查。
用Docker装dcgm-exporter时，提示“no gpus found”怎么办？
这个问题通常是Docker没正确识别GPU导致的。首先确认你的机器装了NVIDIA驱动（版本≥450.80.02），然后安装nvidia-docker2工具（可参考NVIDIA官方文档）。安装完成后，重新运行dcgm-exporter的Docker命令，确保带“gpus all”参数，这样Docker才能把GPU资源分配给容器，就能识别到GPU了。
可以用Prometheus给GPU设置告警吗？比如显存超90%发通知？
可以，需要配合Prometheus的Alertmanager组件。首先在Prometheus中添加告警规则（比如创建rules/gpu_alerts.yml），写一条规则：“如果显存利用率（nvidia_dcgm_gpu_memory_used / nvidia_dcgm_gpu_memory_total）超过90%，且持续1分钟”，然后配置Alertmanager的接收方式（比如邮件、企业微信），这样当指标触发阈值时，你就能收到实时告警通知。
我的DeepSeek用AMD GPU，能接入Prometheus监控吗？
可以，但需要换用AMD对应的exporter——amdgpu-exporter（GitHub可下载）。步骤类似：先装AMD GPU驱动，然后用Docker或二进制文件启动amdgpu-exporter（默认端口9100），再配置Prometheus抓取该端口的指标。amdgpu-exporter的指标前缀是“amdgpu_”，比如“amdgpu_memory_used”对应显存使用量，“amdgpu_temp_celsius”对应核心温度，监控逻辑和NVIDIA GPU一致。
