はじめに
私は現在，サーバーの監視にPrometheusを使っていますが，見たいデータはGrafanaで全部表示するようにしています．
これまではアラートのデータはSlackに流していたのですが，これもGrafanaで表示するようにしてみました．
環境
- Ubuntu 18.04 LTS
- Grafana Version 6.6.2
- Prometheus 2.16.0
- Alertmanager 0.20.0
- Grafana datasource for Prometheus Alertmanager 0.0.8
使うもの
Grafana datasource for Prometheus Alertmanagerを使って，AlertmanagerをGrafanaのData Sourceにします．
grafana.com
インストールは以下のコマンドでOKです．
$ sudo grafana-cli plugins install camptocamp-prometheus-alertmanager-datasource
$ sudo systemctl restart grafana-server.service
Data Sourceでは，URLの入力欄にhttp://localhost:9093と入れればOKです．
GrafanaとAlertmanagerが別のサーバーで動いている場合は，AlertmanagerのURLを設定してください．
ダッシュボードの設定
可視化方法をTableにして，Data SourceをPrometheus AlertManagerにし，クエリの入力欄に以下のように入力してください．
alertname=~"HighCPUUsage|HighMemoryUsage|HighFilesystemUsage|InstanceDown"
Formatはtableを設定してください．
これで，alertnameが「HighCPUUsage，HighMemoryUsage，HighFilesystemUsage，InstanceDown」のいずれかのアラートが表示されます．
Statで可視化する場合は，Formatをsingleに設定してください．
可視化の設定をいい感じにしたり，他にもpanelを追加すると，以下のように表示されます．
おわりに
alertnameの条件を複数指定する方法で少しつまずきましたが，導入自体は結構簡単にできると思います．
個人的には，Alert ListのパネルにData Sourceを設定できたら良かったなーと思いました．
