IT блог - полезные заметки. » Unix

как нагнать траф?

Артур Шакиров — Tue, 28 Jul 2009 00:20:41 +0000

Возникла типичная для многих ситуация, на одном из серверов в одном из ДЦ оказалось что входящего трафа больше чем исходящего. причем нехватает пару терабайт исходящего.

ничего страшного :) /dev/urandom безлимитный, осталось только выбрать ДЦ и сервер на который можно его перегнать. А перегонять будем так:

cat /dev/urandom | ssh server 'cat > /traff'

время от времени (по крону например) на принимающем сервере будем обнулять файлик traff

> /traff

пока писал, пришла в голову мысль, что можно передавать сразу в /dev/null

cat /dev/urandom | ssh server 'cat > /dev/null'

простановка прав на папки и файлы сайта

Артур Шакиров — Thu, 12 Mar 2009 22:48:38 +0000

Пришла заявка от клиента, человек по незнанию поставил рекурсивно на все файлы и папки своих сайтов права доступа 777. Захотелось человеку выставить 755 на папки и 644 на файлы, делать вручную это при паре десятков доменов и паре тысяч файлов упрятанных в запутанной структуре папок ну просто нереально. Тут ему пришел на помощь простой скрипт запускаемый по ssh который просто ищет все папки в текущей директории и ставит им chmod 755 ну и файлы аналогично, только chmod 644.

Ну и собственно сам «скрипт»:

find -type d -exec chmod 755 {} \;

find -type f -exec chmod 644 {} \;

резервное копирование (backup) всех баз mysql

Артур Шакиров — Wed, 11 Feb 2009 17:23:25 +0000

Прошелся по нескольким блогам. почитал и удивился тому что для того чтобы сделать дампы всех баз mysql люди используют mysqldump –all-databases. На мой взгляд вариант более чем неудобный.

Предложу более правильный вариант, снимаются дампы со всех баз данных каждая база в отдельный файл. Для пояснения:
/backup/mysql/ – папка куда будем складывать дампы.
megapass – пароль root к mysql

итак собственно сам скрипт:

for i in `mysql -pmegapass -e'show databases;' | grep -v information_schema | grep -v Database`; do mysqldump -pmegapass $i > `date +%Y-%m-%d`-$i; gzip `date +%Y-%m-%d`-$i;done

теперь поясню что делается, в цикле вывода имен всех баз данных кроме information_schema и Database выполняется mysqldump в файл дата-имя_базы, затем дамп жмется gzip-ом.

На выходе получаем пачку файлов на подобии:
2009-02-11-shakirov_kayako.gz
2009-02-11-shakirov_mantis.gz
2009-02-11-shakirov_openfire.gz

Например если в системе несколько пользователей и базы данных у них сделаны правильно (имя базы с префиксом имени пользователя, например shakirov_base), то можно делать бакапы баз разных пользователей в разные папки. С полученными бакапами можно поступать как удобно, хранить на отдельном диске, разделе. внешнем ftp сервере или заливать куда-то по scp.

How to kill TCP connection in CentOS

Артур Шакиров — Tue, 09 Dec 2008 23:13:27 +0000

Убить tcp соединения в Centos (да и не только) можно утилитой tcpkill. Утилита входит в пакет dsniff, ставим из репозитория epel (на данный момент в этом репозитарии dsniff новее) или rpmforge под CentOS 5.2

[root@srv001 ~]# rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-3.noarch.rpm

[root@srv001 ~]# yum install dsniff

Ну, и несколько примеров использования:
1. убить все исходящие соединения с интерфейса eth0 на порт 21

tcpkill -i eth0 port 21

2. убить все соединения исходящие/входящие с хоста

tcpkill host 192.168.0.1

tcpkill host hostname.ru

3. убить все ip пакеты между хостом 192.168.0.1 и любым другим, кроме 192.168.0.10

tcpkill ip host 192.168.0.1 and not 192.168.0.10

Ну и различные от этого вариации. Прошу учесть тот факт что если пакеты убивать нужно идущие на/с ip «зацепленного» на логический интерфейс (например eth0:1), то нужно явно это указать, как-то так:

tcpkill -i eth0:1 host 123.123.123.1

sendmail: rejecting connections on daemon MTA: load average

Артур Шакиров — Mon, 06 Oct 2008 12:39:11 +0000

У sendmail есть такая забавная настройка, позволяющая не релеить письма в случае высокого load average. По умолчанию, если не ошибаюсь, значение авг не должно превышать 12-ти. Если avg выше, то будут лезть ошибки вроде этой:
sendmail: rejecting connections on daemon MTA: load average: 26

Лечится это внесением в конфиг /etc/mail/sendmail.cf строчек:

O QueueLA=100

O RefuseLA=100

Или же в конфиге /etc/mail/sendmail.mc директивы:

define(`confQueueLA', `100')dnl

define(`confRefuseLA', `100')dnl

аналог seq для freeBSD

Артур Шакиров — Mon, 29 Sep 2008 23:16:32 +0000

утилита seq присутствующая в linux весьма полезна, что она делает? просто считает от и до. Например:

[root@rhca ~]# seq 1 5

1

2

3

4

5

В написании минискриптов, вещь не заменимая.. но в FreeBSD нет утилиты seq, зато есть аналог: jot

Приведу пример, например есть логи /var/httpd/logs/error_log.0 … error_log.9 нужно их «обнулить» в linux я бы сделал так:

for i in `seq 0 9`; do echo > /var/httpd/logs/error_log.$i;done

а во FreeBSD делаем так:

for i in `jot 10 0`; do echo > /var/httpd/logs/error_log.$i;done

Включаем IP Forwarding в Linux

Артур Шакиров — Sat, 23 Aug 2008 10:26:06 +0000

По умолчанию в большинстве дистрибутивов IP Forwarding выключен, но форвардинг может понадобится если на серверу бедет подниматься VPN или например это будет роутер.

Проверить включен ли IP Forwarding можно так:

sysctl net.ipv4.ip_forward

cat /proc/sys/net/ipv4/ip_forward

Включить можно так (действовать будет до перезагрузки):

sysctl -w net.ipv4.ip_forward=1

или

echo 1 > /proc/sys/net/ipv4/ip_forward

Или жётско включить (действовать будет и после перезагрузки):

# grep forward /etc/sysctl.conf

net.ipv4.ip_forward = 1

В RedHat подобных:

# grep -i forward /etc/sysconfig/network

FORWARD_IPV4=true

в Debian (Ubuntu):

# grep -i forward /etc/network/options

ip_forward=yes

После правки конфигов (перманентное включение) необходимо перезапустить сеть. например, /etc/init.d/network restart

Note that: В OpenVPN используется первый способ (изменение на лету), это прописано в стартап скриптах.

создание и копирование ssh ключа на удалённый сервер

Артур Шакиров — Tue, 29 Jul 2008 20:59:57 +0000

Создаём пару ключей (публичный и приватный) на локальной машине. Вместо пароля жмём Enter (удобно для безпарольной авторизации по ssh).

[root@dev2 ~]# ssh-keygen  -t dsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

b8:5d:63:6b:98:09:b9:48:f0:9d:b1:91:fa:22:e1:3d root@dev2

Теперь копируем свой публичный ключ ssh на удалённую машину в список допустимых ключей.

[root@dev2 .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub localhost

21

The authenticity of host 'localhost (127.0.0.1)' can't be established.

RSA key fingerprint is 24:e5:61:b4:26:72:9e:fa:c9:d0:76:93:c4:49:05:ba.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

root@localhost's password:

Now try logging into the machine, with "ssh 'localhost'", and check in:

.ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

теперь по команде ssh localhost мы без ввода паролей сможем зайти на сервер localhost.
примечание: Замените localhost на хостнэйм/ip удалённой машины.

Устанавливаем xCache с php 5.2.6 на CentOS

Артур Шакиров — Tue, 08 Jul 2008 15:12:31 +0000

[root@rhca /]# wget http://xcache.lighttpd.net/pub/Releases/1.2.2/xcache-1.2.2.tar.gz

[root@rhca /]# tar zxf xcache-1.2.2.tar.gz

[root@rhca /]# cd xcache-1.2.2

[root@rhca /]# phpize

[root@rhca /]# ./configure --enable-xcache

[root@rhca /]# make &&  make install

теперь правим php.ini примерно так:

[root@rhca /]# cat /usr/local/Zend/etc/php.ini

[xcache-common]

;; install as zend extension (recommended), normally "$extension_dir/xcache.so"

 zend_extension =  /usr/local/lib/php/extensions/no-debug-non-zts-20060613/xcache.so

; zend_extension_ts = /usr/local/lib/php/extensions/non-debug-zts-xxx/xcache.so

;; For windows users, replace xcache.so with php_xcache.dll

;zend_extension_ts = c:/php/extensions/php_xcache.dll

;; or install as extension, make sure your extension_dir setting is correct

; extension = xcache.so

;; or win32:

; extension = php_xcache.dll

[xcache.admin]

xcache.admin.enable_auth = On

xcache.admin.user = "mOo"

; xcache.admin.pass = md5($your_password)

xcache.admin.pass = ""

[xcache]

; ini only settings, all the values here is default unless explained

; select low level shm/allocator scheme implemenation

xcache.shm_scheme =        "mmap"

; to disable: xcache.size=0

; to enable : xcache.size=64M etc (any size > 0) and your system mmap allows

xcache.size  =                32M

; set to cpu count (cat /proc/cpuinfo |grep -c processor)

xcache.count =                 1

; just a hash hints, you can always store count(items) > slots

xcache.slots =                8K

; ttl of the cache item, 0=forever

xcache.ttl   =                 0

; interval of gc scanning expired items, 0=no scan, other values is in seconds

xcache.gc_interval =           0

; same as aboves but for variable cache

xcache.var_size  =            0M

xcache.var_count =             1

xcache.var_slots =            8K

; default ttl

xcache.var_ttl   =             0

xcache.var_maxttl   =          0

xcache.var_gc_interval =     300

xcache.test =                Off

; N/A for /dev/zero

xcache.readonly_protection = Off

; for *nix, xcache.mmap_path is a file path, not directory.

; Use something like "/tmp/xcache" if you want to turn on ReadonlyProtection

; 2 group of php won't share the same /tmp/xcache

; for win32, xcache.mmap_path=anonymous map name, not file path

xcache.mmap_path =    "/dev/zero"

; leave it blank(disabled) or "/tmp/phpcore/"

; make sure it's writable by php (without checking open_basedir)

xcache.coredump_directory =   ""

; per request settings

xcache.cacher =               On

xcache.stat   =               On

xcache.optimizer =           Off

[xcache.coverager]

; per request settings

; enable coverage data collecting for xcache.coveragedump_directory and xcache_coverager_start/stop/get/clean() functions (will hurt executing performance)

xcache.coverager =          Off

; ini only settings

; make sure it's readable (care open_basedir) by coverage viewer script

; requires xcache.coverager=On

xcache.coveragedump_directory = ""

[Zend]

zend_extension = /usr/local/ioncube/ioncube_loader_lin_5.2.so

zend_extension_ts = /usr/local/ioncube/ioncube_loader_lin_5.2_ts.so

zend_optimizer.optimization_level=15

zend_extension_manager.optimizer=/usr/local/Zend/lib/Optimizer-3.3.3

zend_extension_manager.optimizer_ts=/usr/local/Zend/lib/Optimizer_TS-3.3.3

zend_optimizer.version=3.3.3

zend_extension=/usr/local/Zend/lib/ZendExtensionManager.so

zend_extension_ts=/usr/local/Zend/lib/ZendExtensionManager_TS.so

Учтите что eAccelerator не живёт вместе с xСache.

IonCube Loader php5 FreeBSD 6.1

Артур Шакиров — Mon, 07 Jul 2008 17:54:09 +0000

wget http://downloads2.ioncube.com/loader_downloads/ioncube_loaders_fre_6_x86.tar.gz

tar zxf ioncube_loaders_fre_6_x86.tar.gz

mv ioncube /usr/local/

В /usr/local/etc/php.ini ставить:

zend_extension = /usr/local/ioncube/ioncube_loader_fre_5.2.so

zend_extension_ts = /usr/local/ioncube/ioncube_loader_fre_5.2_ts.so

замечания:
тупо вставлять кусок цитированый выше ненужно, циферки (в моём случае 5.2) указывают на версию php.
В случае если у Вас установлен eaccelerator и Zend Optimizer, вставлять нужно между их блоками, примерно так:

zend_extension="/usr/local/lib/php/20060613/eaccelerator.so"

 eaccelerator.shm_size="32"

 eaccelerator.cache_dir="/tmp/eaccelerator"

 eaccelerator.enable="1"

 eaccelerator.optimizer="1"

 eaccelerator.check_mtime="1"

 eaccelerator.debug="0"

 eaccelerator.filter="!*/.*.exe !*/help/* !*/admin/* !*/bitrix/cache/* */bitrix/* */.*.php"

 eaccelerator.shm_max="0"

 eaccelerator.shm_size="0"

 eaccelerator.shm_ttl="600"

 eaccelerator.shm_prune_period="0"

 eaccelerator.shm_only="0"

 eaccelerator.compress="1"

 eaccelerator.compress_level="9"

[Zend]

zend_extension = /usr/local/ioncube/ioncube_loader_fre_5.2.so

zend_extension_ts = /usr/local/ioncube/ioncube_loader_fre_5.2_ts.so

zend_optimizer.optimization_level=15

zend_extension_manager.optimizer="/usr/local/lib/php/20060613/Optimizer"

zend_extension_manager.optimizer_ts="/usr/local/lib/php/20060613/Optimizer_TS"

zend_extension="/usr/local/lib/php/20060613/ZendExtensionManager.so"

zend_extension_ts="/usr/local/lib/php/20060613/ZendExtensionManager_TS.so"

иначе отвалится php и апач не будет стартовать.

после всех манипуляций, обязательно рестартим апача, чтобы изменения вступили в силу.