うちの会社ではzabbixを使ってサーバの監視をしていますが、リソースの使用率のグラフ化やアラートの設定条件など、おおむねその機能に満足しています。しかし唯一不満な部分があります。それは、ログ監視。

たとえばTomcatのCatalina.logを監視していて、OutOfMemoryが出力されたらアラートを上げるように設定すると、出力行数だけ障害メールが飛んできて、さらにすぐさまリカバリーが来るという、なんともいただけない仕様なのです。
ひどいときは、それで200通以上のメールが携帯に届くこともあります。

最近fluentdを導入したこともあり、ログの集計結果を監視に利用できないかと考えたら、意外とすんなりできたのでご紹介します。

【監視対象サーバに必要なもの】
　fluentd
　fluent-plugin-zabbix
　fluent-plugin-datacounter
　fluent-plugin-forest

(1)監視対象サーバに必要なものをインストール

(2)fluentd.confに以下の設定をする。
　　以下の設定では、/opt/tomcat7/logs/catalina.out　にOutofMemoryErrorが出ていないか監視します。
　　これにより毎分、OutOfMemoryErrorが難行出力されているかカウントし、結果をzabbixサーバに送るようになります。
　　
【fluentd.conf】
<source>
   type tail
   path /opt/tomcat7/logs/catalina.out
   tag java.tomcat.hoge
   format /^(?<message>.*)$/
   rotate_wait 60
   pos_file /var/lib/fluentd/catalina.out.pos
</source>
<match java.tomcat.**>
   type forest
   subtype datacounter
   remove_prefix java.tomcat
   <template>
     count_key message
     outcast_unmatched true
     aggregate all
     tag javalog.__TAG__
     pattern1 oom ^.*OutOfMemoryError.*$
   </template>
</match>
<match javalog.**>
   type forest
   subtype zabbix
  remove_prefix javalog
   <template>
     zabbix_server zabbix01.fuga.com
     host __TAG__
    name_key_pattern .*_count
   </template>
</match>

(3)zabbixサーバにホスト、キー、トリガーを追加
　ホスト名　hoge
　キー　　　oom_count
　トリガー　　{Template:oom_count.count(300,0,"gt")}>0

以上でほかの監視と同じように、ログ監視にいろいろなトリガー条件を使うことができるようになります。
また、ほかの文字列を監視したい場合は、pattern1 oom ^.*OutOfMemoryError.*$　の下に、同じようにpattern2を書いてあげて、zabbixサーバにキー、トリガーを追加すればOK。
ログ形式をパースしていないので、どんなログにも使えます。

また、上の設定ではfluent-plugin-forestを使ってますが、中継fluentdサーバを使わないのであればいりません。
中継サーバがある場合は、fluent-plugin-forestを使ったほうが断然設定が短くなります。
上の設定だと、<source>で定義しているタグ中にホスト名を入れているので、ほかのサーバで同じことをしたい場合に中継サーバの設定をいじらなくて済みます。

fluentdはまだ使い始めたばかりですが、今後もちょっと便利な使い方を見つけたら、書いていきます。