うちの会社ではzabbixを使ってサーバの監視をしていますが、リソースの使用率のグラフ化やアラートの設定条件など、おおむねその機能に満足しています。しかし唯一不満な部分があります。それは、ログ監視。

たとえばTomcatのCatalina.logを監視していて、OutOfMemoryが出力されたらアラートを上げるように設定すると、出力行数だけ障害メールが飛んできて、さらにすぐさまリカバリーが来るという、なんともいただけない仕様なのです。
ひどいときは、それで200通以上のメールが携帯に届くこともあります。

最近fluentdを導入したこともあり、ログの集計結果を監視に利用できないかと考えたら、意外とすんなりできたのでご紹介します。

【監視対象サーバに必要なもの】
　fluentd
　fluent-plugin-zabbix
　fluent-plugin-datacounter
　fluent-plugin-forest

(1)監視対象サーバに必要なものをインストール

(2)fluentd.confに以下の設定をする。
　　以下の設定では、/opt/tomcat7/logs/catalina.out　にOutofMemoryErrorが出ていないか監視します。
　　これにより毎分、OutOfMemoryErrorが難行出力されているかカウントし、結果をzabbixサーバに送るようになります。
　　
【fluentd.conf】
<source>
   type tail
   path /opt/tomcat7/logs/catalina.out
   tag java.tomcat.hoge
   format /^(?<message>.*)$/
   rotate_wait 60
   pos_file /var/lib/fluentd/catalina.out.pos
</source>
<match java.tomcat.**>
   type forest
   subtype datacounter
   remove_prefix java.tomcat
   <template>
     count_key message
     outcast_unmatched true
     aggregate all
     tag javalog.__TAG__
     pattern1 oom ^.*OutOfMemoryError.*$
   </template>
</match>
<match javalog.**>
   type forest
   subtype zabbix
  remove_prefix javalog
   <template>
     zabbix_server zabbix01.fuga.com
     host __TAG__
    name_key_pattern .*_count
   </template>
</match>

(3)zabbixサーバにホスト、キー、トリガーを追加
　ホスト名　hoge
　キー　　　oom_count
　トリガー　　{Template:oom_count.count(300,0,"gt")}>0

以上でほかの監視と同じように、ログ監視にいろいろなトリガー条件を使うことができるようになります。
また、ほかの文字列を監視したい場合は、pattern1 oom ^.*OutOfMemoryError.*$　の下に、同じようにpattern2を書いてあげて、zabbixサーバにキー、トリガーを追加すればOK。
ログ形式をパースしていないので、どんなログにも使えます。

また、上の設定ではfluent-plugin-forestを使ってますが、中継fluentdサーバを使わないのであればいりません。
中継サーバがある場合は、fluent-plugin-forestを使ったほうが断然設定が短くなります。
上の設定だと、<source>で定義しているタグ中にホスト名を入れているので、ほかのサーバで同じことをしたい場合に中継サーバの設定をいじらなくて済みます。

fluentdはまだ使い始めたばかりですが、今後もちょっと便利な使い方を見つけたら、書いていきます。

CentOS6.3がでたので、さっそくインストールして使おうと思ったら、通信できない。
bonding＋VLAN　という環境で使ってるので、設定ミスかと色々悩んだ結果、バグでした。

カーネル：　2.6.32-279.el6.x86_64
http://bugs.centos.org/view.php?id=5816

カーネルパニックに出会って、まわりに言ったらあっさりこんな情報を送ってくれました。orz

ちなみに、以下の手順でパニックが発生しました。

(1)　bondingインターフェースをダウン
　　# ifdown bond0
(2)　bondingインターフェースをアップ
　　# ifup bond0
　　ここで、突然通信できるようになりました。
(3)　ネットワークスクリプトの再起動
　　# /etc/init.d/network restart

パニック発生

外部に借りているVPSを、zabbixで監視したいけど、平文でやり取りするのは不安・・・
そんなとき、stunnelを使ってみませんか。

自分もどうしようかと悩んでいた時、@BlueSkyDetector氏の「そういえばZabbixの通信暗号化ってStunnelを使えいいじゃん。あとで試そう。」ってつぶやきを見つけて、挑戦してみました。
しかもstunnelって、実はcentosを最小インストールしても入ってくる身近な存在だったのです。

やりたいことをまとめると、
　１　zabbixサーバ－zabbixエージェント間の通信を暗号化したい。
　２　第三者がzabbixエージェントに接続できないようにしたい。

さて構成ですが、こんな感じです。











紺色の矢印が、平文でながれるところです。
さて方法ですが、まず以下の証明書を用意してください。
　１　サーバの秘密鍵
　２　サーバ証明書
　３　サーバ証明書に署名したオレオレCAの証明書

このうち　３　の証明書が、第三者を締め出す肝になります。

以下、証明書は、/etc/stunnel　配下に配置、設定ファイルは　/etc/stunnel.conf　とします。

【zabbixエージェント側の作業】
　zabbixサーバからの接続を受け付けるので、stunnelはサーバモード(デフォルト動作)で動作させます。

　１　証明書の配置
　　　上記１～３の証明書を、配置します。

　２　CA証明書の名前をハッシュ化
　　　CA証明書の指定の仕方は二通りあって、CApathでディレクトリを指定するか、CAfileでファイル名を直接指定します。
　　　CApathを使う場合、配下のCA証明書の名前はハッシュ化されていないといけないので、以下のコマンドを実行してください。
　　　　　　＃c_rehash /etc/stunnel

　　　ちなみにc_rehashコマンドは、CentOSだと、openssl-perl　パッケージに入っています。

　３　設定ファイルの記述
　　　[/etc/stunnel.conf]
　　　
　　　pid = /var/run/stunnel.pid

　　　cert = /etc/stunnel/server.crt
　　　key = /etc/stunnel/server.key

　　　[zabbix]
　　　accept = 10058
　　　connect = 10050
　　　verify = 2
　　　CApath = /etc/stunnel
　　　;CAfile = /etc/stunnel/cacert.pem

　　　acceptで待ち受けポート、connectで接続先サーバを指定しています。
　　　これだと、すべてのローカルアドレス:10050　で待ち受け、localhost:10050　に転送することになります。
　　　また、verifyでクライアント認証を有効にしています。
　　　
　４　プログラムの起動
　　　#　stunnel /etc/stunnel.conf

【zabbixサーバ側の作業】
　zabbixサーバからエージェントに対して接続にいくので、stunnelはクライアントモードで動作させます。

　１　証明書の配置
　　　上記１～２の証明書を、配置します。
　　　面倒なので、同じ証明書を使っちゃいます。

　２　　３　設定ファイルの記述
　　　[/etc/stunnel.conf]
　　　pid = /var/run/stunnel.pid

　　　key = /etc/stunnel/sakura.shinobi.jp.key
　　　cert = /etc/stunnel/sakura.shinobi.jp.crt


　　　[zabbix_client]
　　　client = yes
　　　accept = 127.0.0.1:10060
　　　connect = zabbix-agent.hogehoge.com:10055

　３　プログラムの起動
　　　#　stunnel /etc/stunnel.conf

これで、zabbixサーバのlocalhost:10060　に接続すると、zabbixエージェントから応答が返ってきます。
また、openssl s_clientコマンドで、直接zabbixエージェントのstunnelに接続しようとすると、怒られますので、クライアント認証も機能しているようです。

なお通信経路の暗号化だけであれば、zabbixサーバ側のstunnelにkey、certで証明書を指定する必要はありません。

これでVPSにいたずらされることもなくなって、めでたしめでたし

fedora15になってサービス管理がガラッとかわり、/etc/init.d/の下の起動スクリプトではなく、systemctlコマンドでサービスの操作を行うようになった。
今回、jettyをサービスとしてfedoraに登録した際に手間取ったので、ここにメモしておく。
使用したjettyのバージョンは、jetty-hightide-8.1.3.v20120416

まず、fedora15になってサービスに関する情報は、/lib/systemd/system　配下に集められた。
サービスを登録する場合、今までどおり起動スクリプトを/etc/init.d配下に置き、chkconfig --addで登録することも可能だが、せっかくだからsystemdの作法に従って登録したい。
そのためには、以下のような設定ファイルを書かなければいけない。

【jetty.service】
[Unit]
Description=Jetty Application Containar

[Service]
Type=simple
EnvironmentFile=-/opt/jetty/etc/jetty-env
PIDFile=/var/run/jetty.pid
User=jetty
Group=jetty
ExecStart=/usr/bin/java $RUN_ARGS

StandardOutput=null

[Install]
WantedBy=multi-user.target

そのうえで、systemctl --system daemon-reload　をすれば完了。


上の設定ファイルで、EnvironmentFileにより環境変数を定義したファイルを読み込んでいるが、環境変数はExecStartでの定義にのみ使えるようだ。
User、Groupで使ってみたら、エラーになった。

なおsystemdの設定ファイルに関する情報はまだまだ少なく、結局man systemd.serviceと既存の設定ファイルが一番役に立った。

巷で話題のfluentを、導入してみることにした。
だが、gem install fluent　ってやるのはいかがなものか。
rubyのバージョンもあるが、いろいろなパッケージが勝手に入って、精神衛生上よろしくない。
fedoraをつかってるので、できればRPMにしたい。
でもSPECファイル書くの面倒くさいなぁと思っていたら、意外にも簡単にできました。

ざっくり流れを書くと
　(1)td-agentのSRPMをもってくる。
　(2)fluentの最新ソースをダウンロード
　(3)td-agentパッケージを解凍して、SPECファイルを編集
　(4)td-agentにはいっているautogen.sh、Makefile.amをfluentdのディレクトリにコピーし、編集
　(5)fluentdをtarでアーカイブ
　(6)ビルドに必要なライブラリ（libyaml-devel）をインストール
　(7)rpmbuildでパッケージ化
ってなもんです。
他人のふんどしで相撲を取ってるようなもんですけど、以下に詳細な手順を記します。

【パッケージ作成手順】
　(1)td-agentのSRPMSをもってくる。
　　　ここ　からパッケージをもってくる。（今回は、td-agent-1.1.3.1　を使いました。）
　　　ちなみに、rpmパッケージは以下のコマンドで解凍できます。

　　　　　# rpm2cpio td-agent-1.1.3.1-0.src.rpm | cpio -id

　(2)fluentの最新ソースをダウンロード
　　　ここから最新のfluentのソースをもってきます。
　　　開発が活発なので、ひと月もたつとすっかり古くなります。

　(3)td-agentパッケージを解凍して、SPECファイルなどを編集
　　　SRPMを解凍して中身を修正します。
　　　1　SPECファイルの編集
　　　　　文字列"td-agent"を"fluentd"に置換します。

　　　　　　　　# sed -i s/td-agent/fluentd/g td-agent.spec

　　　　　また、Version:を今回入れるfluentdのバージョンにします。

　　　2　ファイル名変更
　　　　　td-agent.init　→　fluentd.init
　　　　　td-agent.spec　→　fluentd.spec
　　　
　(4)td-agent-xx.xx.xx.tar.gzにはいっている以下のファイルをfluentdのディレクトリにコピーし、編集
　　　・autogen.sh
　　　　一緒にコンパイルするruby、その他モジュールのバージョンを変更します。
　　　　せっかくなので、新しいバージョンでパッケージ。

　　　　　　download "http://ftp.ruby-lang.org/pub/ruby/1.9" "ruby-1.9.3-p125.tar.bz2"
　　　　　　download "http://rubygems.org/downloads" "json-1.6.6.gem"
　　　　　　download "http://rubygems.org/downloads" "msgpack-0.4.6.gem"
　　　　　　download "http://rubygems.org/downloads" "iobuffer-0.1.3.gem"
　　　　　　download "http://rubygems.org/downloads" "cool.io-1.1.0.gem"
　　　　　　download "http://rubygems.org/downloads" "http_parser.rb-0.5.3.gem"
　　　　　　download "http://rubygems.org/downloads" "yajl-ruby-1.1.0.gem"
　　　　　　download "http://rubygems.org/downloads" "jeweler-1.8.3.gem"
　　　　　　download "http://rubygems.org/downloads" "psych-1.3.2.gem"

　　　・Makefile.am
　　　　一緒にパッケージ化したいプラグインを追加します。

　　　　　　PLUGINS = \
　　　　　　  fluent-plugin-td-0.10.6.gem \
　　　　　　  fluent-plugin-hoop-0.1.2.gem \
　　　　　　  fluent-plugin-zabbix-0.0.1.gem \
　　　　　　  fluent-plugin-scribe-0.10.7.gem \
　　　　　　  fluent-plugin-hipchat-0.1.0.gem \
　　　　　　  fluent-plugin-forest-0.1.0.gem \
　　　　　　  fluent-plugin-cassandra-0.0.2.gem \
　　　　　　  fluent-plugin-mongo-0.6.7.gem

　　　　また、td-agentという文字列をfluentdに一括置換します。
　　　　　　# sed -i -e s/td-agent/fluentd/g Makefile.am

　　　・td-agent.prelink.conf
　　　　ファイル名を、fluentd.prelink.confに変更します。

　　　・configure.in
　　　　そのままコピーします。

　　　・td-agent.conf
　　　　fluentd.confとしてコピーします。

　(5)fluentdをtarでアーカイブ
　　　ディレクトリ名をfluentd-0.10.18　のような名前にして、fluentd-0.10.18.tar.gzのように
　　　アーカイブします。
　　　これを、td-agent-xx.xx.xx.tar.gzと入れ替えます。

　(5)ビルドに必要なライブラリ（libyaml-devel）をインストール
　　　fedoraだと、標準のリポジトリにあるので、yum install　libyaml-devel　すればよいです。
　　　CentOSだと用意されていないので、EPELから持ってきてください。
　　　　→td-agent-1.1.4では、BuildRequiresにlibyaml-develが追加されたようで、ないと先に進めません。
　　　　　　1.1.3ではエラーは出るがとりあえずコンパイルが走った。

　(6)rpmbuildでパッケージ化
　　　あとは、各ファイルを所定の位置に配置して、コマンドを実行です。

　　　# rpmbuild -ba fluentd.spec　　（ポチっとな）

これで完了。
やっぱり　SRPMがあると、パッケージ化が楽ですね。