NGINX ram usage

Из названия ясно что данный плагин позволяет наблюдать расход памяти nginx’ом:

Установка плагина nginx ram usage:

$ cd /usr/share/munin/plugins
$ wget -O ngnix_memory http://muninexchange.projects.linpro.no/download.php?phid=626
$ chmod +x ngnix_memory
$ ln -s /usr/share/munin/plugins/ngnix_memory /etc/munin/plugins
$ /etc/init.d/munin-node restart

Тут же можно проверить работоспособность плагина
$ ./ngnix_memory
ram.value 2637824

NGINX requests

Позволяет наблюдать число запросов к серверу nginx в секунду:

Установка плагина nginx requests:

$ cd /usr/share/munin/plugins
$ wget -O nginx_request http://muninexchange.projects.linpro.no/download.php?phid=64
$ chmod +x nginx_request
$ ln -s /usr/share/munin/plugins/nginx_request /etc/munin/plugins
$ /etc/init.d/munin-node restart

Тут же можно проверить работоспособность плагина
$ ./nginx_request
request.value 7875541

NGINX status

Позволяет наблюдать текущие статусы nginx – сколько запросов активно, читают данные с диска, пишут данные на диск, находятся в ожидании:

Установка плагина nginx status:

$ cd /usr/share/munin/plugins
$ wget -O nginx_status http://muninexchange.projects.linpro.no/download.php?phid=65
$ chmod +x nginx_status
$ ln -s /usr/share/munin/plugins/nginx_status /etc/munin/plugins
$ /etc/init.d/munin-node restart

Тут же можно проверить работоспособность плагина
$ ./nginx_status
total.value 15
reading.value 0
writing.value 1
waiting.value 14

HTH! Спасибо munin за наш спокойный сон )

Итак, постановка задачи.

Требуется периодически мониторить статус веб-сервера. Т.е. не полноценный тест, а просто проверка, живо ли приложение (именно приложение, а не apache и иже с ними). Будем запрашивать главную страницу и проверять код ответа. 1xx, 2xx, 3xxx считаем нормой, 4xx – WARNING, 5xx – CRITICAL. В качестве окружения – CentOS сервер с установленным munin-node (один из нодов в общем мониторинге).

Плагин будет состоять из 2х частей.

- Простенький таск на PHP (symfony), который получает статус-коды
- Собственно плагин на bash

Таск на symfony (подробно процесс создания таска описан тут http://www.symfony-project.org/cookbook/1_2/en/tasks):

- создаем класс

#lib/task/testSitesResponseTask.class.php
class testSitesResponseTask extends sfBaseTask
{
}

Таск будет принимать один параметр – список сайтов, разделенный запятыми.

protected function configure()
{
  //....
  $this->addArgument('sites', sfCommandArgument::REQUIRED, 'Sites URLs comma separated. E.g. "www.site1.ru,www.site2.ru"');
}

Тело таска:

protected function execute($arguments = array(), $options = array())
{
  $sites_array = explode( ',', $arguments['sites'] );
  foreach( $sites_array as $site )
  {
    $code = $this->tester( $site );
    $site_string = str_replace( array('.','/'), '_', $site ); // заменяем точки и слеши на подчерк (создаем уникальную переменную для сайта)
    echo "$site_string.value $coden"; // это важная строка! вывод значения для munin в виде variable_name.value NNN
  }
}

И простенький тестер на базе CURL:

protected function tester( $url )
{
  $ch = curl_init();
  curl_setopt( $ch, CURLOPT_URL, $url );
  curl_setopt( $ch, CURLOPT_HEADER, true );
  curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );
  curl_exec( $ch );
  $result = curl_getinfo( $ch, CURLINFO_HTTP_CODE ); // Cохраняем HTTP статус-код в переменную
  curl_close($ch);
  return $result;
}

Запускается таск таким образом:

bash-3.2$ php symfony namespace:test-sites-response www.site1.ru,www.site2.ru
www_site1_ru.value 0
www_site2_ru.value 200

Теперь на базе этого таска можно написать плагинчик, который будет тестировать наши сайты.
Munin хранит плагины в /usr/share/munin/plugins/ (хотя в общем-то можно наш плагинчик положить сразу в /etc/munin/plugins/).
Наш плагин состоит из 2х частей. Конфигуратора и собственно запуска плагина.

# vim /usr/share/munin/plugins/sites
#!/bin/bash
# конфигуратор, запускается munin c параметром config. Показывает конфигурацию и выключается.
# заголовок графика
graph_title Sites status test
# подпись по оси Y
graph_vlabel status code
# категория
graph_category misc
# Описание под графиком
graph_info Sites status code
# псевдонимы
www_site1_ru.label site1
www_site2_ru.label site2
# лимиты для нотификации
www_site1_ru.warning 400
www_site1_ru.critical 500
www_site2_ru.warning 400
www_site2_ru.critical 500
# подписи для графиков
site1.info Status of the site1
site2.info Status of the site2
# запуск плагина
/path/to/symfony/symfony namespace:test-sites-response www.site1.ru,www.site2.ru

Вот почти все Теперь делаем файл исполняемым и симлинк на него:

# chmod +x /usr/share/munin/plugins/sites
# ln -s /usr/share/munin/plugins/sites /etc/munin/plugins/sites

Протестируем плагин:

# /usr/sbin/munin-run sites

и конфигурацию

# /usr/sbin/munin-run sites config

Если все работает, перезапускаем munin-node:

# /etc/init.d/munin-node restart

И наблюдаем за построением графика.
p.s. о создании плагинов для munin подробнее тут: http://munin.projects.linpro.no/wiki/HowToWritePlugins

нужно мониторить состояние основных параметров одного или нескольких серверов. Достаточно часто возникающая задача как мне кажется.

Предисловие:

В основу данной статьи легла эта статья на HowToForge http://www.howtoforge.com/server-monitoring-with-munin-and-monit-on-centos-5.2 и мой личный опыт настройки и работы с Munin.

Munin мониторит и создает графики по ряду критичных параметров и приложений на ваших серверах – как то Apache, MySQL, Postfix и многие другие.

Он быстро и просто настраивается, быстро расширяется плагинчиками (коих по умолчанию тоже не мало), которые можно писать и самому на удобном для вас языке (bash, perl, php, ruby… – смотря что у вас есть в распоряжении). Очень приятной особенностью munin является то, что он также быстро может быть настроен на мониторинг более чем одного сервера и даже может интегрироваться с Nagios.

Munin это конечно же не единственное решение проблемы мониторинга. Однако мне оно понравилось простотой и быстротой настройки, легкой расширяемостью – и я его применяю прямо сейчас )) Чего и вам желаю.

Основные ссылки на проект:

• Trac проекта – http://munin.projects.linpro.no/
• Каталог плагинов – http://muninexchange.projects.linpro.no/

Решение:

Актуально для CentOS 5, но может быть адаптировано и для других Linux дистрибутивов при наличии смекалки и прямых ручонок.

1. Допущения

У вас есть некий хостнейм server1.example.com и вебсайт www.example.com на нем с корнем document root в /var/www/www.example.com/web.

2. Добавляем репозиторий RPMforge

В CentOS 5 munin не доступен в дефолтных репозиториях. К счастью мы можем установить его из репозитория RPMforge. Для того чтобы добавить возможность работы с RPMforge мы должны выполнить следующие команды:

для i386 систем:

для x86_64 систем:

(обязательно посетите https://rpmrepo.org/RPMforge/Using для того чтобы получить ссылки на последние версии).

3. Устанавливаем и конфигурируем munin

для того чтобы установить munin достаточно выполнить следующую команду:

Небольшое лирическое отступление: здесь мы устанавливаем два пакета – munin и munin-node. Первый это собственно сам munin который собирает данные по нодам и рисует графики. Второй – это провайдер данных с конкретного нода. Т.е. munin-node в соответствии с настройками плагинов собирает информацию, и передает ее munin по запросу с его стороны. Для нода, который не является собственно сервером статистики munin нужно устанавливать только munin-node.

Затем нам нужно создать startup ссылки для munin-node и запустить его.

Далее редактируем конфигурационный файл munin /etc/munin/munin.conf. Нужно указать munin куда сладывать вывод (html + графики). Поскольку нам интересно мониторить по web – изменяем значение параметра htmldir, и также мы хотим использовать имя server1.example.com вместо localhost.localdomain в HTML файлах, т.о. мы заменяем localhost.localdomain на server1.example.com. Файл в результате будет выглядеть так:

Затем подготовим директорию в docroot нашего сайта www.example.com: /var/www/www.example.com/web/monitoring и изменим права доступа на пользователя и группу munin, иначе munin не сможет записывать свои выходные файлы туда. После рестартуем munin:

Теперь нужно подождать десяток минут пока munin соберет первую статистику и после этого открыть http://www.example.com/monitoring/ в своем любимом браузере, и вы сможете увидеть вашу первую статистику. После нескольких дней она будет выглядеть как-то так:

(это лишь небольшой пример тех графиков, которые создает munin)

4. Защищаем наш мониторинг от посторонних базовой HTTP аутентификацией

Теперь неплохо было бы защитить паролем директорию /var/www/www.example.com/web/monitoring (если вы конечно не хотите предоставлять публичный доступ к статистике).

Делается это просто – создаем .htaccess файл в /var/www/www.example.com/web/monitoring:

Теперь нужно создать файл с паролями для доступа к дериктории – /var/www/www.example.com/.htpasswd. Мы хотим добавить пользователя admin:

Вводим пароль админа – и вуаля! ))

5 Добавляем в мониторинг еще один сервер

Пусть у нас есть еще один сервер server2.example.com и мы хотим добавить его в мониторинг.

Выполняем шаг 2 (RPMforge) так же как и для первого сервера. В шаге 3 будут некоторые изменения:

Устанавливаем только munin-node:

Затем нам нужно создать startup ссылки для munin-node и запустить его.

Это еще не все. Теперь нам надо сказать основному серверу munin что появился новый нод в мониторинге. Заходим на server1.example.com, открываем /etc/munin/munin.conf и добавляем новую секцию host:

Здесь XX.XX.XX.XX это IP адрес server2.example.com

Далее надо на ноде server2.example.com разрешить доступ к сборщику статистики с нашего головного сервера. Открываем файл /etc/munin/munin-node.conf и ищем такие строки:

Ниже надо дописать regexp с IP головного сервера мониторинга, чтобы munin-node отдавал ему статистику.

где YY.YY.YY.YY IP нашего головного сервера.

После этого нужно перезапустить munin-node

И подождать пока головной сервер запросит статистику с этого нода. Кстати посмотреть и изменить при необходимости частоту запуска можно в файле /etc/cron.d/munin. По умолчанию там будет что-то такое:

Основное сердце Munin это первая строка – которая собственно и запускает опрос нодов и создание выходных файлов. При желании этот процесс можно запускать чаще или реже.

6. Нотификации

Помимо пассивного мониторинга, munin может также предупреждать нас о достижении некоторых лимитов по тому или иному ресурсу на сервере. Нотификации настраиваются на головном сервере мониторинга (в нашем случае это server1.example.com).

Откроем /etc/munin/munin.conf и добавим туда следующие строки:

Полный список переменных типа ${var:group} можно посмотреть здесь: http://munin.projects.linpro.no/wiki/MuninAlertVariables.

В моем случае пришлось заместо mail нашаманить довольно топорный скриптик-враппер над qmail-inject:

И команда отправки выглядит так:

Результат выполнения будет такой:

Вот вкратце все, что я хотел рассказать про этот замечательный инструмент для любого LAMP проекта. Enjoy!