监控与告警

• 1: 使用 Prometheus 进行监控与告警
• 2: 指标与告警
• 3: 将服务日志或审计日志发布到外部服务
• 4: 使用 InfluxDB 进行监控与告警
• 5: Metrics version 2
• 6: 健康检查 API
• 7: 使用 Grafana 监控 Silo 服务端

1 - 使用 Prometheus 进行监控与告警

• 使用 MinIO 和 Prometheus 进行监控：概览
• 使用 MinIO 和 Prometheus 进行监控：实验

MinIO 使用 Prometheus 数据模型 发布集群、节点、存储桶和资源指标。 本页过程说明了以下内容：

• 配置 Prometheus 服务，抓取并展示 MinIO 部署的指标
• 基于某个 MinIO 指标配置 Alert Rule，以触发 AlertManager 动作

本文说明使用 version 2 指标。 关于指标 API 版本的更多信息，请参见 指标与告警。

配置 Prometheus 收集 MinIO 指标并触发告警

1) 生成抓取配置

使用 mc admin prometheus generate 命令生成 Prometheus 执行抓取请求所需的 scrape 配置：

mc admin prometheus generate ALIAS

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/cluster
     scheme: https
     static_configs:
     - targets: [minio.example.net]

mc admin prometheus generate ALIAS node

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-node
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/node
     scheme: https
     static_configs:
     - targets: [minio-1.example.net, minio-2.example.net, minio-N.example.net]

mc admin prometheus generate ALIAS bucket

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-bucket
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/bucket
     scheme: https
     static_configs:
     - targets: [minio.example.net]

mc admin prometheus generate ALIAS resource

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-resource
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/resource
     scheme: https
     static_configs:
     - targets: [minio.example.net]

• 设置合适的 scrape_interval，确保每次抓取操作都能在下一次开始前完成。 推荐值为 60 秒。

  某些部署由于需要抓取的指标数量较多，可能需要更长的抓取间隔。 为降低 MinIO 和 Prometheus Server 的负载，请选择满足监控要求的最长间隔。

• 将 job_name 设置为与该 MinIO 部署相关的值。

  请使用唯一值，以确保该部署的指标与同一 Prometheus 服务采集的其他指标彼此隔离。

• 对于以 MINIO_PROMETHEUS_AUTH_TYPE 设置为 "public" 启动的 MinIO 部署，可以省略 bearer_token 字段。

• 对于未使用 TLS 的 MinIO 部署，请将 scheme 设置为 http。

• 在 targets 数组中设置能够解析到 MinIO 部署的主机名。

  这可以是任意单个节点，也可以是负责处理与 MinIO 节点连接的负载均衡器或代理。

  对于 Kubernetes 基础设施上的 MinIO Tenant，如果使用的是同一集群中的 Prometheus 集群，则可以指定 minio service 的 DNS 名称。 否则，你可以指定已配置为向 MinIO Tenant 路由连接的 ingress 或 load balancer 端点。

2) 使用更新后的配置重启 Prometheus

将上一步生成的目标 scrape_configs job 追加到配置文件中：

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/cluster
     scheme: https
     static_configs:
     - targets: [minio.example.net]

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-node
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/node
     scheme: https
     static_configs:
     - targets: [minio-1.example.net, minio-2.example.net, minio-N.example.net]

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-bucket
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/bucket
     scheme: https
     static_configs:
     - targets: [minio.example.net]

global:
   scrape_interval: 60s

scrape_configs:
   - job_name: minio-job-resource
     bearer_token: TOKEN
     metrics_path: /minio/v2/metrics/resource
     scheme: https
     static_configs:
     - targets: [minio.example.net]

使用该配置文件启动 Prometheus 集群：

prometheus --config.file=prometheus.yaml

3) 分析已采集指标

Prometheus 内置 expression browser。 你可以在其中执行查询，以分析已采集的指标。

minio_node_drive_free_bytes{job="minio-job"}[5m]
minio_node_drive_free_inodes{job="minio-job"}[5m]

minio_node_drive_latency_us{job="minio-job"}[5m]

minio_node_drive_offline_total{job="minio-job"}[5m]
minio_node_drive_online_total{job="minio-job"}[5m]

minio_node_drive_total{job="minio-job"}[5m]

minio_node_drive_total_bytes{job="minio-job"}[5m]
minio_node_drive_used_bytes{job="minio-job"}[5m]

minio_node_drive_errors_timeout{job="minio-job"}[5m]
minio_node_drive_errors_availability{job="minio-job"}[5m]

minio_node_drive_io_waiting{job="minio-job"}[5m]

4) 使用 MinIO 指标配置告警规则

你必须在 Prometheus 部署上配置 Alert Rules，以根据已采集的 MinIO 指标触发告警。

以下示例告警规则文件为 MinIO 部署提供了一组基础告警。 你可以修改这些示例，或将其作为构建自定义告警的参考。

groups:
- name: minio-alerts
  rules:
  - alert: NodesOffline
    expr: avg_over_time(minio_cluster_nodes_offline_total{job="minio-job"}[5m]) > 0
    for: 10m
    labels:
      severity: warn
    annotations:
      summary: "Node down in MinIO deployment"
      description: "Node(s) in cluster {{ $labels.instance }} offline for more than 5 minutes"

  - alert: DisksOffline
    expr: avg_over_time(minio_cluster_drive_offline_total{job="minio-job"}[5m]) > 0
    for: 10m
    labels:
      severity: warn
    annotations:
      summary: "Disks down in MinIO deployment"
      description: "Disks(s) in cluster {{ $labels.instance }} offline for more than 5 minutes"

在 Prometheus 配置中，请在 rule_files 键中指定告警文件路径：

rule_files:
- minio-alerting.yml

一旦触发，Prometheus 会将告警发送到已配置的 AlertManager 服务。

仪表板

MinIO 提供 Grafana 仪表板，用于展示由 Prometheus 采集的指标。 更多信息请参见 使用 Grafana 监控 MinIO Server

2 - 指标与告警

MinIO 使用 Prometheus 数据模型 发布指标。 你可以使用任意抓取工具从 MinIO 拉取指标数据，以执行进一步分析和配置告警。

从 MinIO 服务端 RELEASE.2024-07-15T19-02-30Z 与 MinIO 客户端 RELEASE.2024-07-11T18-01-28Z 开始，metrics version 3 提供了更多端点。 对于新部署，MinIO 建议使用 version 3。

Version 3 端点

对于 metrics version 3，所有指标都位于基础端点 /minio/metrics/v3 之下。 你可以抓取该基础端点以一次性收集全部指标，也可以追加可选路径，仅返回特定类别的指标。

例如，以下端点会返回 audit 指标：

http://HOSTNAME:PORT/minio/metrics/v3/audit

将 HOSTNAME:PORT 替换为 MinIO 部署的 FQDN 与端口。 对于使用负载均衡器管理 MinIO 节点间连接的部署，请指定负载均衡器地址。

默认情况下，MinIO 要求在抓取指标端点时进行身份验证。 如需生成所需的 bearer token，请使用 mc admin prometheus generate。 你也可以将 MINIO_PROMETHEUS_AUTH_TYPE 设置为 public，以禁用指标端点认证。

相对于基础 URL，MinIO 提供以下抓取端点：

各端点对应的完整指标列表，请参见 Available version 3 metrics。

如需在 MinIO Console 中启用历史数据可视化，请在 MinIO 部署的每个节点上设置以下环境变量：

• 将 MINIO_PROMETHEUS_URL 设置为 Prometheus 服务的 URL
• 将 MINIO_PROMETHEUS_JOB_ID 设置为分配给已采集指标的唯一 job ID

可用的 version 3 指标

MinIO 为集群、API 请求、存储桶以及 MinIO 服务的其他方面发布多类指标：

• API 指标（英文详细表）
• 审计指标（英文详细表）
• 集群指标（英文详细表）
• 调试指标（英文详细表）
• ILM 指标（英文详细表）
• 日志 Webhook 指标（英文详细表）
• 通知指标（英文详细表）
• 复制指标（英文详细表）
• 扫描器指标（英文详细表）
• 系统指标（英文详细表）

许多指标都包含标签，用于标识生成该指标的资源及其他相关信息。

3 - 将服务日志或审计日志发布到外部服务

MinIO 会将所有 minio server 操作输出到系统控制台。 如何读取这些日志取决于 server 进程的管理方式。 例如，如果 server 通过 systemd 脚本进行管理， 你可以使用 journalctl -u SERVICENAME.service 读取日志。 请将 SERVICENAME 替换为 MinIO 服务名称。

MinIO 还支持将服务日志和审计日志发布到 HTTP Webhook。

• 服务日志 包含与系统控制台中相同的 minio server 操作日志。服务日志适用于常规监控与运维排障。
• 审计日志 会以更细粒度描述 MinIO 部署上的每一次操作。审计日志适用于要求对操作进行详细追踪的 安全标准与合规规范。

MinIO 会将日志作为 JSON 文档，通过 PUT 请求发送到每个已配置端点。 端点服务器负责处理这些 JSON 文档。 MinIO 要求显式配置每个 Webhook 端点，默认情况下 不会 向 Webhook 发布日志。

将服务日志发布到 HTTP Webhook

你可以通过环境变量 或 运行时配置项，配置一个新的 HTTP Webhook 端点， 让 MinIO 将 minio server 日志发布到该端点。

   set MINIO_LOGGER_WEBHOOK_ENABLE_<IDENTIFIER>="on"
   set MINIO_LOGGER_WEBHOOK_ENDPOINT_<IDENTIFIER>="https://webhook-1.example.net"
   set MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_<IDENTIFIER>="TOKEN"

   export MINIO_LOGGER_WEBHOOK_ENABLE_<IDENTIFIER>="on"
   export MINIO_LOGGER_WEBHOOK_ENDPOINT_<IDENTIFIER>="https://webhook-1.example.net"
   export MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_<IDENTIFIER>="TOKEN"

set MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_myendpoint="Bearer 1a2b3c4f5e"

export MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_myendpoint="Bearer 1a2b3c4f5e"

set MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_xyz="ServiceXYZ 1a2b3c4f5e"

export MINIO_LOGGER_WEBHOOK_AUTH_TOKEN_xyz="ServiceXYZ 1a2b3c4f5e"

mc admin config set ALIAS/ logger_webhook:IDENTIFIER  \
   endpoint="https://webhook-1.example.net"           \
   auth_token="TOKEN"

将审计日志发布到 HTTP Webhook

你可以通过环境变量 或 运行时配置项，配置一个新的 HTTP Webhook 端点， 让 MinIO 将审计日志发布到该端点：

set MINIO_AUDIT_WEBHOOK_ENABLE_<IDENTIFIER>="on"
set MINIO_AUDIT_WEBHOOK_ENDPOINT_<IDENTIFIER>="https://webhook-1.example.net"
set MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_<IDENTIFIER>="TOKEN"
set MINIO_AUDIT_WEBHOOK_CLIENT_CERT_<IDENTIFIER>="cert.pem"
set MINIO_AUDIT_WEBHOOK_CLIENT_KEY_<IDENTIFIER>="cert.key"

export MINIO_AUDIT_WEBHOOK_ENABLE_<IDENTIFIER>="on"
export MINIO_AUDIT_WEBHOOK_ENDPOINT_<IDENTIFIER>="https://webhook-1.example.net"
export MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_<IDENTIFIER>="TOKEN"
export MINIO_AUDIT_WEBHOOK_CLIENT_CERT_<IDENTIFIER>="cert.pem"
export MINIO_AUDIT_WEBHOOK_CLIENT_KEY_<IDENTIFIER>="cert.key"

set MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_myendpoint="Bearer 1a2b3c4f5e"

export MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_myendpoint="Bearer 1a2b3c4f5e"

set MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_xyz="ServiceXYZ 1a2b3c4f5e"

export MINIO_AUDIT_WEBHOOK_AUTH_TOKEN_xyz="ServiceXYZ 1a2b3c4f5e"

mc admin config set ALIAS/ audit_webhook:IDENTIFIER  \
   endpoint="https://webhook-1.example.net"          \
   auth_token="TOKEN"                                \
   client_cert="cert.pem"                            \
   client_key="cert.key"

审计日志结构

MinIO 审计日志类似于以下 JSON 文档：

• api.timeToFirstByte 和 api.timeToResponse 字段以纳秒表示。

• 对于 纠删码部署， tags.objectErasureMap 提供与对象相关的以下详细信息：

  • 执行该对象操作所在的 服务器池。
  • 执行该对象操作所在的 纠删码集合。
  • 参与该对象操作的纠删码集合驱动器列表。

{
   "version": "1",
   "deploymentid": "8ca2b7ad-20cf-4d07-9efb-28b2f519f4a5",
   "time": "2024-02-29T19:39:25.744431903Z",
   "event": "",
   "trigger": "incoming",
   "api": {
      "name": "CompleteMultipartUpload",
      "bucket": "data",
      "object": "test-data.csv",
      "status": "OK",
      "statusCode": 200,
      "rx": 267,
      "tx": 358,
      "txHeaders": 387,
      "timeToFirstByte": "2096989ns",
      "timeToFirstByteInNS": "2096989",
      "timeToResponse": "2111986ns",
      "timeToResponseInNS": "2111986"
   },
   "remotehost": "127.0.0.1",
   "requestID": "17B86CB0ED88EBE9",
   "userAgent": "MinIO (linux; amd64) minio-go/v7.0.67 mc/RELEASE.2024-02-24T01-33-20Z",
   "requestPath": "/data/test-data.csv",
   "requestHost": "minio.example.net:9000",
   "requestQuery": {
      "uploadId": "OGNhMmI3YWQtMjBjZi00ZDA3LTllZmItMjhiMmY1MTlmNGE1LmU3MjNlNWI4LTNiYWYtNDYyNy1hNzI3LWMyNDE3NTVjMmMzNw"
   },
   "requestHeader": {
      "Accept-Encoding": "zstd,gzip",
      "Authorization": "AWS4-HMAC-SHA256 Credential=minioadmin/20240229/us-east-1/s3/aws4_request, SignedHeaders=content-type;host;x-amz-content-sha256;x-amz-date, Signature=ccb3acdc1763509a88a7e4a3d7fe431ef0ee5ca3f66ccb430d5a09326e87e893",
      "Content-Length": "267",
      "Content-Type": "application/octet-stream",
      "User-Agent": "MinIO (linux; amd64) minio-go/v7.0.67 mc/RELEASE.2024-02-24T01-33-20Z",
      "X-Amz-Content-Sha256": "d61969719ee94f43c4e87044229b7a13b54cab320131e9a77259ad0c9344f6d3",
      "X-Amz-Date": "20240229T193925Z"
   },
   "responseHeader": {
      "Accept-Ranges": "bytes",
      "Content-Length": "358",
      "Content-Type": "application/xml",
      "ETag": "1d9fdc88af5e74f5eac0a3dd750ce58e-2",
      "Server": "MinIO",
      "Strict-Transport-Security": "max-age=31536000; includeSubDomains",
      "Vary": "Origin,Accept-Encoding",
      "X-Amz-Id-2": "dd9025bab4ad464b049177c95eb6ebf374d3b3fd1af9251148b658df7ac2e3e8",
      "X-Amz-Request-Id": "17B86CB0ED88EBE9",
      "X-Content-Type-Options": "nosniff",
      "X-Xss-Protection": "1; mode=block"
   },
   "tags": {
      "objectLocation": {
            "name": "Mousepad Template-v03final.jpg",
            "poolId": 1,
            "setId": 1,
            "disks": [
               "/mnt/drive-1",
               "/mnt/drive-2",
               "/mnt/drive-3",
               "/mnt/drive-4"
            ]
      }
   },
   "accessKey": "minioadmin"
}

4 - 使用 InfluxDB 进行监控与告警

MinIO 使用 Prometheus 数据模型 发布集群和节点指标。 InfluxDB 支持抓取 MinIO 指标数据，用于监控和告警。

本页介绍以下内容：

• 配置 InfluxDB 服务，抓取并展示 MinIO 部署的指标
• 基于 MinIO 指标配置告警

对于 Kubernetes 上的 MinIO 部署，本文默认已具备 Ingress、负载均衡器等必要的网络控制组件，以便 MinIO 租户与 InfluxDB 服务之间能够互相访问。

配置 InfluxDB 收集 MinIO 指标并触发告警

1. 配置对 MinIO 指标的公开访问

   在 MinIO 部署的所有节点上，将 MINIO_PROMETHEUS_AUTH_TYPE 环境变量设置为 "public"。 随后可重启部署，以允许公开访问 MinIO 指标。

   可通过对指标端点执行 curl 来验证变更是否生效：

   curl https://HOSTNAME/minio/v2/metrics/cluster

   将 HOSTNAME 替换为访问 MinIO 部署所使用的负载均衡器或反向代理 URL。 也可以将任意单个节点写成 HOSTNAME:PORT，即在节点主机名之外再指定 MinIO server API 端口。

   响应正文中应包含已采集的 MinIO 指标列表。

2. 登录 InfluxDB UI 并创建 Bucket

   选择用于存储 MinIO 指标的 Organization。

   创建一个 New Bucket，用于存储该 MinIO 部署的指标。

3. 创建新的抓取源

   创建一个 新的 InfluxDB Scraper。

   指定 MinIO 部署的完整 URL，其中包含指标端点：

   https://HOSTNAME/minio/v2/metrics/cluster

   将 HOSTNAME 替换为访问 MinIO 部署所使用的负载均衡器或反向代理 URL。 也可以将任意单个节点写成 HOSTNAME:PORT，即在节点主机名之外再指定 MinIO server API 端口。

4. 验证数据

   使用 DataExplorer 可视化已采集的 MinIO 数据。

   例如，可针对 minio_cluster_capacity_usable_total_bytes 和 minio_cluster_capacity_usable_free_bytes 设置过滤条件，以比较 MinIO 部署中的总可用空间和剩余可用空间。

5. 配置 Check

   基于某个 MinIO 指标创建一个新的 Check。

   以下示例 Check 规则为 MinIO 部署提供了一组基础告警。 可按需修改这些示例，或将其作为构建自定义 Check 的参考。

   • 创建一个名为 MINIO_NODE_DOWN 的 Threshold Check。

     将过滤条件设置为 minio_cluster_nodes_offline_total 键。

     在值大于 1 时，将 Thresholds 设置为 WARN。

   • 创建一个名为 MINIO_QUORUM_WARNING 的 Threshold Check。

     将过滤条件设置为 minio_cluster_drive_offline_total 键。

     当该值比已配置的 纠删码校验值 少 1 时，将 Thresholds 设置为 CRITICAL。

     例如，使用 EC:4 的部署应将该值设置为 3。

   配置 Notification endpoints 和 Notification rules，使各类 Check 都能触发适当响应。

5 - Metrics version 2

MinIO 使用 Prometheus 数据模型 发布集群和节点指标。 你可以使用任意抓取工具从 MinIO 拉取指标数据，以执行进一步分析和配置告警。

Version 2 端点

Metrics version 2 将指标划分为以下三个类别：

• 集群指标（英文详细表）
• 存储桶指标（英文详细表）
• 资源指标（英文详细表）

每个 v2 端点都会返回其所属类别的全部指标。 例如，抓取以下端点会返回所有集群指标：

http://HOSTNAME:PORT/minio/v2/metrics/cluster

仅访问基础端点 /minio/v2/metrics/ 也会返回集群指标。

如需更灵活的抓取方式和更广泛的指标集合，请使用 metrics version 3。 现有部署仍可继续使用 version 2 指标 和 Grafana 仪表板。

MinIO Grafana 仪表板

MinIO 提供两个 Grafana 仪表板，用于可视化 v2 指标。 有关为 Grafana 配置兼容 Prometheus 数据源的完整说明，请参见 Prometheus 关于 Grafana 支持的文档。

可用的 version 2 指标

以下各节描述 version 2 的端点与指标。

http://HOSTNAME:PORT/minio/v2/metrics/cluster

http://HOSTNAME:PORT/minio/v2/metrics/bucket

http://HOSTNAME:PORT/minio/v2/metrics/resource

• 集群指标（英文详细表）
• 存储桶指标（英文详细表）
• 资源指标（英文详细表）

说明

变更: RELEASE.2025-03-12T17-29-24Z

出于性能原因，v2 指标最多支持 100 个存储桶。 如果需要覆盖更多存储桶的指标，请改用 v3 指标。

6 - 健康检查 API

MinIO 提供无需身份验证的端点，用于探测节点在线状态以及集群 高可用性，从而执行简单健康检查。这些 端点返回一个 HTTP 状态码，用于表示底层资源是否健康，或是否满足读写仲裁。 MinIO 不会通过这些端点暴露任何其他数据。

节点存活

使用以下端点测试某个 MinIO server 是否在线：

curl -I https://minio.example.net:9000/minio/health/live

将 https://minio.example.net:9000 替换为待检查 MinIO server 的 DNS 主机名。

返回 200 OK 表示该 MinIO server 在线且工作正常。 任何其他 HTTP 状态码都表示访问该 server 存在问题，例如临时网络故障或潜在停机。

单靠 healthcheck probe 无法判断某个 MinIO server 是否离线。 它只能判断当前主机是否能够访问该 server。 建议配置 Prometheus 告警，使用 metrics v3（英文详细表） 的 minio_cluster_health_nodes_offline_count 或 metrics v2（英文详细表） 的 minio_cluster_nodes_offline_total，以检测一个或多个 MinIO 节点是否离线。

集群写仲裁

使用以下端点测试 MinIO 集群是否具备 写仲裁：

curl -I https://minio.example.net:9000/minio/health/cluster

将 https://minio.example.net:9000 替换为待检查 MinIO 集群中某个节点的 DNS 主机名。 对于使用负载均衡器管理传入连接的集群，请指定负载均衡器的主机名。

返回 200 OK 表示 MinIO 集群当前有足够的 MinIO server 在线，可满足写仲裁。 返回 503 Service Unavailable 表示集群当前不具备写仲裁。

单靠 healthcheck probe 无法判断某个 MinIO server 是否离线，也无法判断其是否正在正常处理写操作。 它只能根据配置的 纠删码校验值 判断当前是否有足够的 MinIO server 在线，以满足写仲裁要求。 建议配置 Prometheus 告警，使用以下指标检测 MinIO 集群中的潜在问题或错误：

• minio_cluster_nodes_offline_total：在一个或多个 MinIO 节点离线时触发告警。
• minio_node_drive_free_bytes：在集群可用磁盘空间不足时触发告警。

集群读仲裁

使用以下端点测试 MinIO 集群是否具备 读仲裁：

curl -I https://minio.example.net:9000/minio/health/cluster/read

将 https://minio.example.net:9000 替换为待检查 MinIO 集群中某个节点的 DNS 主机名。 对于使用负载均衡器管理传入连接的集群，请指定负载均衡器的主机名。

返回 200 OK 表示 MinIO 集群当前有足够的 MinIO server 在线，可满足读仲裁。 返回 503 Service Unavailable 表示集群当前不具备读仲裁。

单靠 healthcheck probe 无法判断某个 MinIO server 是否离线，也无法判断其是否正在正常处理读操作。 它只能根据配置的 纠删码校验值 判断当前是否有足够的 MinIO server 在线，以满足读仲裁要求。 建议配置 Prometheus 告警，使用 minio_cluster_nodes_offline_total 指标检测一个或多个 MinIO 节点是否离线。

集群维护检查

使用以下端点测试在将指定 MinIO server 下线维护时， MinIO 集群是否仍能同时维持 读 和 写：

curl -I https://minio.example.net:9000/minio/health/cluster?maintenance=true

将 https://minio.example.net:9000 替换为待检查 MinIO 集群中某个节点的 DNS 主机名。 对于使用负载均衡器管理传入连接的集群，请指定负载均衡器的主机名。

返回 200 OK 表示 MinIO 集群当前有足够的 MinIO server 在线，可满足写仲裁。 返回 412 Precondition Failed 表示如果该 MinIO server 离线，集群将失去仲裁。

单靠 healthcheck probe 无法判断某个 MinIO server 是否离线。 它只能判断在该节点因维护而下线后，是否仍有足够的 MinIO server 在线，以根据配置的 纠删码校验值 满足读写仲裁要求。 建议配置 Prometheus 告警，使用 minio_cluster_nodes_offline_total 指标检测一个或多个 MinIO 节点是否离线。

7 - 使用 Grafana 监控 Silo 服务端

无论指标存储在何处，Grafana 都允许你对其进行查询、可视化、告警和分析。

前提条件

• 已有 Prometheus 部署，并配置 Alert Manager
• 已有可通过网络访问 Prometheus 部署的 MinIO 部署
• 已安装 Grafana

MinIO Grafana 仪表板

MinIO 提供了若干官方 Grafana 仪表板，可从 Grafana Dashboard 门户下载。

1. MinIO Server 指标
2. MinIO 存储桶指标
3. MinIO 复制指标

若要跟踪 Grafana 仪表板的变更，可以查看 MinIO Server GitHub 仓库中 server 或 bucket 仪表板对应的 JSON 文件。

MinIO Server 指标仪表板

请从 Grafana 上的 MinIO 组织仪表板目录选择与部署所暴露指标版本兼容的服务端仪表板。

MinIO 为 MinIO Server 指标提供了专用的 Grafana 仪表板。 关于该仪表板配置的详细信息，请参见 GitHub 上的 JSON 文件。

对于启用了 服务端加密 的 MinIO 部署（包括 SSE-KMS 或 SSE-S3），该仪表板还包含 KMS 指标。 这些指标包括状态、请求错误率和请求成功率。

MinIO 存储桶指标仪表板

请从 Grafana 上的 MinIO 组织仪表板目录选择与部署所暴露指标版本兼容的存储桶仪表板。

存储桶指标可以通过 GitHub 上的 bucket JSON 文件 在 Grafana 仪表板中查看。

MinIO 节点指标仪表板

节点指标可以通过 GitHub 上的 node JSON 文件 在 Grafana 仪表板中查看。

MinIO 复制指标仪表板

请从 Grafana 上的 MinIO 组织仪表板目录选择与部署所暴露指标版本兼容的复制仪表板。

集群复制指标可以通过 GitHub 上的 cluster replication JSON 文件 在 Grafana 仪表板中查看。