hudson@work » howto

Random MySQL date

hudson — Wed, 31 Aug 2011 07:00:44 +0000

В этой статье рассмотрим несколько вариантов получения случайной даты в MySQL. Для чего это нужно? Ну к примеру для генерации фикстур и прочих тестовых данных, чтобы были похожи на реальные.

Самый простой вариант – совершенно случайная дата:

mysql> SELECT FROM_UNIXTIME(RAND() * 2147483647) AS `rand`;
+---------------------+
| rand                |
+---------------------+
| 1998-04-01 21:42:48 |
+---------------------+
1 ROW IN SET (0.00 sec)

Попробуем ещё раз?

mysql> SELECT FROM_UNIXTIME(RAND() * 2147483647) AS `rand`;
+---------------------+
| rand                |
+---------------------+
| 2028-03-21 22:44:43 |
+---------------------+
1 ROW IN SET (0.00 sec)

Окей, зачем умножать на 2147483647? (ещё не догадались?! Ну тут всё просто, как 2 копейки: 2147483647 это самый большой SIGNED INT32 и по совместительству ~~писарчук~~ самый последний распоследний таймштамп. Проверяется это так (ежели не верите):

Так ещё работает:

mysql> SELECT FROM_UNIXTIME(2147483647) AS `rand`;
+---------------------+
| rand                |
+---------------------+
| 2038-01-18 19:14:07 |
+---------------------+
1 ROW IN SET (0.00 sec)

А если добавим хоть секундочку (2147483648) – уже работать не будет:

mysql> SELECT FROM_UNIXTIME(2147483648) AS `rand`;
+------+
| rand |
+------+
| NULL |
+------+
1 ROW IN SET (0.01 sec)

Таким образом, функция RAND() даёт нам случайное значение в диапазоне от 0 до 1 и умножая его на максимально возможный таймштамп мы получим случайную дату в диапазоне от 1969 до 2038 гг. Но что же нам делать, если требуется дата в некотором строго определённом периоде?

Случайная дата 2011го года

Получается вот так:

mysql> SELECT FROM_UNIXTIME(RAND() * (1325275200 - 1293825600) + 1293825600) AS `the_date`;
+---------------------+
| the_date            |
+---------------------+
| 2011-04-27 05:01:04 |
+---------------------+
1 ROW IN SET (0.00 sec)

Так круто, что хочется попробовать ещё раз

mysql> SELECT FROM_UNIXTIME(RAND() * (1325275200 - 1293825600) + 1293825600) AS `the_date`;
+---------------------+
| the_date            |
+---------------------+
| 2011-08-15 12:54:51 |
+---------------------+
1 ROW IN SET (0.01 sec)

А чо энто было то?

Когда нам нужно зафиксировать диапазон, между start и end датами, и мы имеем случайное значение от 0 до 1 – требуется вычесть из конечного таймштампа начальный end - start, что даст искомый интервал в секундах и “двинуть” интервал в начало периода. Т.о. наша супер-формула выглядит вот так:

(end - start) * RAND + start

Ну и для того чтобы высвободить вам побольше времени для Angry Birds (или чего-то подобного), а также не морщить лоб, пытаясь в уме переводить DATETIME в TIMESTAMP – мы воспользуемся функцией UNIX_TIMESTAMP:

mysql> SELECT
    -> UNIX_TIMESTAMP('2011-01-01') AS START,
    -> UNIX_TIMESTAMP('2011-12-31') AS END;
+------------+------------+
| START      | END        |
+------------+------------+
| 1293825600 | 1325275200 | 	
+------------+------------+
1 ROW IN SET (0.00 sec)

Оригинал для перевода взял тут: http://www.phpied.com/random-mysql-date/

Silex – просто добавь воды?!

hudson — Tue, 30 Aug 2011 14:41:02 +0000

Мимоходом потребовалось портировать один “оглобельный” сайт на новую платформу. В принципе самое важное там было – это смена дизайна. HTML + SSI? Но сайт мультиязычный, зараза. Немного скрипта таки придется применить.

В качестве эксперимента портируем 5ти язычный сайт на Silex (который суть есть обезжиренный Symfony2).

Note: english version of this article published on the SymfonyGuru site.

Silex представляет собой PHAR архив. Более подробно можете почитать на оф. сайте проекта или же покурить мануал на php.net.

Мы же перво-наперво создаем .htaccess:

# .htaccess
 
    Options -MultiViews
    RewriteEngine On
    #RewriteBase /path/to/app
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteRule ^(.*)$ index.php [QSA,L]

Адепты оптимизации могут сразу внести данные директивы в конфигурацию виртуального хоста (и установить AllowOverride в None).

Потом создадим мультиконтроллер index.php (здесь и далее всё располагается внутри docroot вебсервера):

// index.php
/**
 *
 * @package
 * @author Dmitry Bykadorov 
 * @version SVN: $Id: $
 */
 
require_once 'lib/silex.phar';
 
// Init
$app = new Silex\Application();
 
// Debug
$app['debug'] = true;
 
// ... код приложения будет где-то здесь
 
$app->run();

Дальше начинается самое весёлое. В качестве шаблонов будем использовать Twig. В качестве базиса для поддержки мультиязычности будем использовать Translation component из Symfony2. И то и другое позиционируется как расширения Silex, однако же подключаются они по разному.

Инициализацию компонент будем производить в before методе (судя по всему аналог preExecute модуля symfony 1.4). Сначала twig:

// index.php
 
/**
 * Before action
 */
$app->before(function () use ($app) {
    // Registering Twig
    $app->register(new Silex\Extension\TwigExtension(), array(
        'twig.path' => realpath(__DIR__.'/resources/views'), // шаблоны будут располагаться в /resources/views (относительно docroot)
        'twig.class_path' => realpath(__DIR__.'/lib/vendor/twig/lib'), // сам Twig будет располагаться тут (относительно docroot): /lib/vendor/twig/lib
    ));
}

Действия (actions) как и before будут сплошь замыкания (closures). Прикольно, да? )

Ну да, Twig инициализировали, но будьте также добры первый раз добавить “воды” в наш ~~yupi~~ silex: развернуть Twig в /lib/vendor/twig (можно скачать прямо с сайта). Получится что-то такое:

/lib
    /vendor
        /twig
            /lib
                /Twig
                    /Error
                    /Extension
                    /...

Теперь можно сделать индекс-контроллер, а также его шаблон.

// index.php
/**
 * Root
 */
$app->get('/', function () use ($app) {
    return $app->redirect("/en/about"); // если / - по умолчанию открываем /en/about
});
$app->get('/{locale}', function () use ($app) {
    $locale = $app['request']->get('locale');
    return $app->redirect("/{$locale}/about"); // если /{locale} - по умолчанию открываем /{locale}/about
});
$app->get('/{locale}/', function () use ($app) {
    $locale = $app['request']->get('locale');
    return $app->redirect("/{$locale}/about"); // если /{locale}/ - по умолчанию открываем /{locale}/about
})->bind('homepage');

У нашего сайта homepage по сути это about – отсюда эти три действия. Метод $app->get(‘/’ … ) – обслуживает GET / и так далее. В итоге все редиректится на about (которого у нас еще нет). Но пожалуй нам нужно сначала инициализировать Translation extension – возвращаемся в метод $app->before().

// index.php
$app->before(function () use ($app) {
    // ... инициализация Twig
 
    // Определяем локаль
    if ($locale = $app['request']->get('locale')) {
        $app['locale'] = $locale;
    } else {
        $app['locale'] = 'en';
    }
 
    // Регистрируем Translation
    $app->register(new Silex\Extension\TranslationExtension(), array(
        'locale' => $locale, // локаль
        'locale_fallback' => 'en', // локаль по умолчанию
        'translation.class_path' => realpath(__DIR__.'/lib/vendor/symfony/src'), // где искать классы компонента
    ));
 
    // Файлы переводов (будут в YAML формате)
    $app['translator.messages'] = array(
        'en' => realpath(__DIR__.'/resources/locales/en.yml'),
        'de' => realpath(__DIR__.'/resources/locales/de.yml'),
        'hu' => realpath(__DIR__.'/resources/locales/hu.yml'),
        'ru' => realpath(__DIR__.'/resources/locales/ru.yml'),
        'sk' => realpath(__DIR__.'/resources/locales/sk.yml'),
    );
    // Так как выбрали YAML то и лоадер не забудьте инициализировать
    $app['translator.loader'] = new Symfony\Component\Translation\Loader\YamlFileLoader();
 
    // Ну и напоследок инициализируем Twig translation extension (таг {% trans %} и фильтр | trans)
    $app['twig']->addExtension(new Symfony\Bridge\Twig\Extension\TranslationExtension($app['translator']));
}

Инициализировали? Фигушки. Теперь надо не просто добавить воды… а лить её как из ведра. Собственно создатели рекомендуют тупо скопировать библиотеки Symfony2 из стандартной дистрибьюции к нам в проект (нефигово так “воды налить”, да?!). На самом деле компонент для задачи больше пока не нужно, поэтому в конце я скажу что именно из Symfony2 можно будет оставить, остальное можно смело удалять. Пока же получится что-то типа:

/lib
    /vendor
        /symfony
            /src
                /Symfony
                    /Bridge
                        / ...
                    /Bundle
                        / ...
                    /Component
                        / ...

Добавляем about действие:

// index.php
/**
 * About
 */
$app->get('/{locale}/about', function () use ($app) {
    return $app['twig']->render('about.twig', array(
        'locale' => $app['request']->get('locale'),
    ));
})->bind('about');

В соответствии с нашими настройками, действие about рендерит шаблон /resources/views/about.twig. Но для начала, пожалуй, создадим layout. Он может выглядеть как-то так:


{% block content %}{% endblock %}

Ну и какой-то /resources/views/about.twig, который экстендит layout:


{% extends "layout.twig" %}
 
{% block pageTitle %}
    {{ 'page.about.title' | trans }}
{% endblock %}
 
{% block content %}
    {{ 'page.about.title' | trans }}
{% endblock %}

Обратите внимание, что здесь у нас уже используется и Twig и Translation – собственно у нас появилась первая фраза для файла с переводами, поэтому создадим его для языка по-умолчанию (fallback locale дает нам возможность сначала заполнить файл для базового языка и после скопировать его и перевести на другие языки):

# /resources/locales/en.yml
page.about.title: About Us

Дальше уже дело техники. Создаем изменяемый контент для различных языков или берём его из базы данных (для этого надо будет дополнительно подключить Doctrine2), заполняем файлы переводов токенами, пишем нужные GET/POST методы (а также любые другие – Silex их поддерживает)…

Напоследок, как обещал, сообщаю структуру Symfony-директории в моем случае:

/Symfony
    /Bridge
        /Twig
    /Bundle
        /TwigBundle
    /Component
        /Config
        /Translation
        /Yaml

Это минимально необходимый набор (кроме Twig и Swiftmailer (опционально)) для комфортного создания небольшого сайтика без работы с базой данных.

Заключение: собственно зачем эта статья – немного обобщить мой опыт, полученный в ходе создания маленького, но с небольшими наворотами (5 языковых версий) сайта, который на чистом HTML делать геморно (много copy/paste, SSI с мультиязычностью слабо помог) а на чистом PHP “некошерно”. Опыт показал, что Silex для подобных работ использовать вполне можно, но вот метод “добавь воды (Twig), ещё воды (Swiftmailer), а потом и вовсе весь Symfony2 загрузи в Vendor” не совсем удобен, да и маленький сайтик по объему ресурсов и кода вполне себе быстро расползается как тесто на дрожжах. И чем же Silex удобнее Symfony2? – спросите вы. На мой взгляд он удобнее прежде всего конфигурированием (вернее отсутствием множества конфигурационных файлов Symfony2) – добавляем Twig и у нас в руках уже неплохой инструмент для создания сайта с layout, шаблонами, без copy/paste (ага, размечтался…). В теории вся мощь ~~солнца~~ симфони2 у нас в руках (возможно даже пакеты-bundles). Кроме того в Silex встроена возможность повторного использования кода приложений, да и чем чёрт не шутит – портировать потом на Symfony2 будет проще ))

Домашнее задание: подключить расширение Twig для маршрутизатора и использовать хелпер path() совместно с named routes )

Скрипт для бэкапа mysql баз

hudson — Thu, 03 Mar 2011 16:14:43 +0000

Написал для себя простенький скрипт (linux bash) для бэкапа всех баз на одном сервере. Его отличительные особенности:

Наличие списка исключений (т.е. бэкапим все кроме…)
Получение списка всех БД из MySQL (не надо добавлять вновь созданные базы к бекапу)
Создание директории под бэкап вида “…/YYYY/mm/dd/HH-MM/”
Бэкап каждой базы в отдельный файл вида “YYYY-mm-dd.HH-MM.databasename.backup.sql” (mysqldump бэкапит все в один файл)
Архивирование бэкапа в тарбол
Зачистка .sql

Собственно к написанию скрипта меня сподвигло именно то что mysqldump бэкапит все что ему сказано в один файл (если требуется восстановить одну базу, то попробуй ее выцарапай из общего дампа…), а создавать отдельную строку для бэкапа всякой новой БД геморно (об этом как минимум надо вспомнить!).

В общем если интересно – прошу под кат:

Собственно сам скрипт

#!/bin/bash
 
##
# MySQL backup utility
# @author dmitry.bykadorov@gmail.com
##
 
# current date
DATE=`date +%Y-%M-%d`
 
# y/m/d/h/m separately
YEAR=`date +%Y`
MONTH=`date +%m`
DAY=`date +%d`
HOURS=`date +%H`
MINUTES=`date +%M`
 
# database credentials
DBUSER=""
DBPASS=""
DBHOST=""
 
# create list of databases
mysql -h $DBHOST -u $DBUSER -p$DBPASS -e "show databases;" > /tmp/databases.list
 
# create backup dir (e.g. ../2011/01/01/04-00)
BACKUP_DIR=/home/backups/mysql/$YEAR/$MONTH/$DAY/$HOURS-$MINUTES
mkdir --parents --verbose $BACKUP_DIR
 
# excludes list (Database is a part of SHOW DATABASES output)
EXCLUDES=( 'Database' 'information_schema' )
NUM_EXCLUDES=${#EXCLUDES[@]}
 
for database in `cat /tmp/databases.list`
do
  skip=0
 
  let count=0
  while [ $count -lt $NUM_EXCLUDES ] ; do
    # check if this name in excludes list
    if [ "$database" = ${EXCLUDES[$count]} ] ; then
      let skip=1
    fi
    let count=$count+1
  done
 
  if [ $skip -eq 0 ] ; then
    echo "++ $database"
    # now we can backup current database
    cd $BACKUP_DIR
    backup_name="$YEAR-$MONTH-$DAY.$HOURS-$MINUTES.$database.backup.sql"
    backup_tarball_name="$backup_name.tar.gz"
    `/usr/bin/mysqldump -h "$DBHOST" --databases "$database" -u "$DBUSER" --password="$DBPASS" > "$backup_name"`
    echo "   backup $backup_name"
    `/bin/tar -zcf "$backup_tarball_name" "$backup_name"`
    echo "   compress $backup_tarball_name"
    `/bin/rm "$backup_name"`
    echo "   cleanup $backup_name"
  fi
done
 
`/bin/rm /tmp/databases.list`
 
echo "done!"

Можете его свободно:

использовать (никаких гарантий я вам конечно же не даю – на свой страх и риск )))
модифицировать (например добавить выгрузку бэкапа на другой сервер или на Amazon S3 )))
критиковать ))

P.S. Если таки будете использовать – не забудьте подставить ваши mysql credentials ))

Symfony: прячем фильтры в админ-генераторе

hudson — Thu, 09 Sep 2010 12:08:55 +0000

Фильтры в админ-генераторе штука хорошая, но всегда думаешь куда бы их пристроить на странице. Если полей в модели больше чем 3-5 это становится проблемой. Предлагаю вашему вниманию небольшой трюк по этому поводу. Нам потребуется JQuery, любимый редактор и немного терпения:

Для начала посмотрим как выглядит DOM для блока админ-генератора:

И он же “вживую”:

Что мы хотим с этим сделать?

Спрятать фильтры для этого и всех остальных админ-генераторов.
Для отображения заиметь ссылку или кнопку.
Потратить как можно меньше времени на это.

Как мы это будем делать? Для начала скачаем и подключим к проекту JQuery. Я это сделаю при помощи плагина sfJqueryReloadedPlugin. Вы же можете поступать как вам нравится.

Далее создадим ссылку, кликая на которую можно будет показать/скрыть фильтры:

jQuery(function() {
  // прячем/показываем фильтры
  var filter_show_hide = $('') // создаем DOM элемент
    .attr('href','#')
    .attr('id','filter-show-hide')
    .html('toggle filters ∇')
    .css('fontWeight', 'bold') // немного стиля
    .css('margin', '5px')
    .click(function(){
      $('#sf_admin_bar').toggle();
      if( $("#filter-show-hide").html() == 'toggle filters ∇' ) // изменяем текст ссылки
        $("#filter-show-hide").html('toggle filters Δ');
      else
        $("#filter-show-hide").html("toggle filters ∇");
      return false;
    });
});

Обратите внимание на то что мы меняем html тело ссылки – дельта (свернуть) , набла (развернуть). Можно использовать картинки, стрелочки и все что вам нравится.

После этого нам остается добавить нашу кнопку-ссылку над фильтрами и скрыть фильтр по умолчанию:

jQuery(function() {
  // ...
  $('#sf_admin_bar')
    .before(filter_show_hide) // размещаем ссылку перед фильтром
    .hide(); // скрываем фильтры
});

И добавить несколько стилей: