#!/bin/bash

#//////////////////////////////////////#
# Affiche l'aide du script             #
#                                      #
# @stdout Aide d'utilisation du script #
#//////////////////////////////////////#
usage(){
 echo "Usage : $0 <architecture> (i386, amd64)"
}

#/////////////////////////////////////////////////////////////#
# Teste si l'utilisateur est loggué en root ou non            #
#                                                             #
# @return Renvoie 0 si l'utilisateur est root sinon renvoie 1 #
#/////////////////////////////////////////////////////////////#
is_root(){
 if [[ $(id -u) -eq 0 ]]; then
 return 0 ;
 else
 return 1 ;
 fi
}

#///////////////////////////////////////////////////////////#
# Vérifie la présence des programmes utilisés par le script #
#                                                           #
# @return Renvoie 0 si tous les programmes sont présents    #
#///////////////////////////////////////////////////////////#
check_installed_software(){
    if [[ -z $(which ar) || -z $(which genisoimage) || -z $(which wget) || -z $(which tar) || -z $(which zcat) || -z $(which cpio) ]]; then
        return 1 ;
    else
        return 0 ;
    fi
}

#////////////////////////////////////////////////////////////////////////#
# Télécharge l'image ISO en version netinstall de l'architecture désirée #
#                                                                        #
# @param in $1 Architecture de l'ISO à télécharger                       #
# @stdout Nom du fichier de l'image ISO téléchargée                      #
#////////////////////////////////////////////////////////////////////////#
download_iso_netinstall(){
 local ISO=$(wget -q -O- http://cdimage.debian.org/debian-cd/current/$1/iso-cd/|sed -nr 's/.*(debian.+?netinst.iso).*/\1/p')
 [[ -z $ISO ]] && {
 exit 1
 }
 wget "http://cdimage.debian.org/debian-cd/current/$1/iso-cd/$ISO" -O $ISO
 echo $ISO
}

#////////////////////////////////////////////////////////////////////#
# Extrait les fichiers d'une image ISO dans un répertoire temporaire #
#                                                                    #
# @param in $1 chemin de l'image ISO                                 #
# @stdout Chemin où se trouvent les fichiers extraits                #
#////////////////////////////////////////////////////////////////////#
function extract_files_from_iso(){
 local MOUNT_DIR=$(mktemp -d)
 local ISO_DIR=$(mktemp -du)
 mount -o loop $1 $MOUNT_DIR
 cp -a $MOUNT_DIR $ISO_DIR
 umount $MOUNT_DIR
 rmdir $MOUNT_DIR
 echo $ISO_DIR
}

#/////////////////////////////////////////////////////////////////////////////////////////////#
# Affiche le nom des paquets contenant les derniers firmwares non libres présents dans Debian #
#                                                                                             #
# @stdout Liste des paquets contenant les derniers firmwares non libres                       #
#/////////////////////////////////////////////////////////////////////////////////////////////#
list_firmware(){
 local FIRMWARE_DEB=$(wget -q -O- 'http://ftp.debian.org/debian/pool/non-free/f/firmware-nonfree/?C=N;O=D;V=1;F=0' | sed -nr "s/^<li><a href=\"(.+?\.deb)\".*/\1/p")
 local FIRMWARE_NAME=$(echo "$FIRMWARE_DEB" | cut -f1 -d_ | uniq)
 local NAME
 for NAME in ${FIRMWARE_NAME[@]}; do
 echo "$FIRMWARE_DEB" | grep -m1 "$NAME"_
 done
}

#///////////////////////////////////////////////////////#
# Télécharge et extrait les paquets passés en paramètre #
#                                                       #
# @stdout Répertoire contenant les fichiers extraits    #
#///////////////////////////////////////////////////////#
download_and_extract_firmware(){
 local FIRMWARE_DIR=$(mktemp -d)
 cd $FIRMWARE_DIR

 while [[ $# -gt 0 ]]; do
 wget -q -O $1 "http://ftp.debian.org/debian/pool/non-free/f/firmware-nonfree/$1"
 ar x $1 data.tar.gz
 tar xvf data.tar.gz './lib/firmware' &> /dev/null
 rm $1 data.tar.gz
 shift
 done

 cd $OLDPWD
 echo $FIRMWARE_DIR
}

#///////////////////////////////////////////////////#
# Intègre les firmwares dans les initrd trouvés     #
#                                                   #
# @param $1 Répertoire où se trouvent le(s) initrd  #
# @param $2 Répertoire où se trouvent les firmwares #
#///////////////////////////////////////////////////#
merge_firmware_initrd(){
 local INITRD
 for INITRD in $(find $1 -name initrd.gz); do
 local TMP_DIR=$(mktemp -d)
 cd $TMP_DIR
 zcat $INITRD | cpio -i &> /dev/null
 cp -a $2/lib/firmware .
 find . -print0 | cpio -0 -H newc -o 2> /dev/null | gzip -c > $INITRD
 cd $OLDPWD
 rm -rf $TMP_DIR
 done
}

#////////////////////////////////////////////////////////////////////////////#
# Mise à jour des sommes MD5                                                 #
#                                                                            #
# @param $1 Répertoire où se trouve le fichier de sommes MD5 à mettre à jour #
#////////////////////////////////////////////////////////////////////////////#
update_md5sum(){
 cd $1
 find . -type f ! -name md5sum.txt -exec md5sum {} \; > md5sum.txt
 cd $OLDPWD
}

#/////////////////////////////////////////////////////////////////////////#
# Génère une image ISO à partir d'un répertoire                           #
#                                                                         #
# @param $1 Répertoire contenant les fichiers à intégrer dans l'image ISO #
# @param $2 Chemin vers le fichier à générer                              #
#/////////////////////////////////////////////////////////////////////////#
build_iso_image(){
 genisoimage -no-emul-boot -r -J -boot-load-size 4 -boot-info-table -b isolinux/isolinux.bin -c isolinux/boot.cat -o $2 $1 &> /dev/null
}

#///////////////////////#
# Vérifications de base #
#///////////////////////#
check_installed_software
[[ $? -eq 1 ]] && {
    echo "Certains programmes nécessaires au fonctionnement du script n'ont pas été trouvés." >&2
    exit 1
}

[[ $# < 1 ]] && usage && exit 1
ARCH=$1

! is_root && {
 echo 'Ce script a besoin des droits root !' >&2
 exit 1
}

#///////////////////////////////#
# Téléchargement de l'image ISO #
#///////////////////////////////#
echo "Téléchargement de l'image ISO"
ISO=$(download_iso_netinstall $ARCH)
[[ $? -eq 1 ]] && {
 echo "Erreur : l'image ISO netinstall de l'architecture « $ARCH » n'a pas été trouvée." >&2
 exit 1
}

#/////////////////////#
# On crée l'image ISO #
#/////////////////////#
echo "Extraction des fichiers de l'image ISO"
ISO_DIR=$(extract_files_from_iso $ISO)
echo "Téléchargement des firmwares"
FIRMWARE_DIR=$(download_and_extract_firmware $(list_firmware))
echo "Intégration des firmwares"
merge_firmware_initrd $ISO_DIR $FIRMWARE_DIR
echo "Création de l'image ISO finale"
update_md5sum $ISO_DIR
NEW_ISO=${ISO/./.homemade.}
build_iso_image $ISO_DIR $NEW_ISO
echo "Image ISO originale : $ISO"
echo " Nouvelle image ISO : $NEW_ISO"

#////////////////////////////////////////#
# On nettoie les répertoires temporaires #
#////////////////////////////////////////#
rm -rf $FIRMWARE_DIR $ISO_DIR

Liens :

• Script à télécharger
• Vidéo de l’exécution du script

#!/bin/bash

BACKUP_DAY=10
BACKUP_WEEK=4

LIST=( DAY WEEK )
for i in ${LIST[@]}; do
    i="BACKUP_$i"
    echo "$i : ${!i}"
done

Affichera :

BACKUP_DAY : 10
BACKUP_WEEK : 4

À lire :

• Man bash

#!/bin/bash

function basename(){
    echo ${1##*/}
}

function dirname(){
    local file=$1
    case $file in
        /*) ;;
        ./*) ;;
        *) file=./$file ;;
    esac
    file=${file%/*}
    echo ${file:-/}
}

PROGS=( dirname basename )
LIST_FILES=( /test.txt /tmp/test.txt /tmp/plop/test.txt ./test.txt ./tmp/test.txt ./tmp/plop/test.txt test.txt )

for prog in ${PROGS[@]}; do
    echo "--> $prog <--"
    for file in ${LIST_FILES[@]}; do
        SYSTEM=$(bash -c "$prog $file")
        MINE=$($prog $file)
        [[ $SYSTEM != $MINE ]] && echo -e "$file\nSystème : $SYSTEM\nLe mien : $MINE"
    done
done

Une petite comparaison rapide entre les deux solutions montre des performances supérieures de 75% en faveur de la solution bash. En pratique, la différence sera bien évidemment insignifiante sauf si vous vous amusez à itérer un grand nombre de fois sur ces fonctions.

Note : les options –help, –version ainsi que le paramètre permettant d’indiquer un suffixe pour basename ne sont pas pris en compte.

À lire :

• Man dirname
• Man basename
• Man bash

Prenons pour exemple le monstrueux WordPress, voici ce que l’on peut obtenir :

Mis à part le fait que ce genre de graphe est toujours sympa à voir, il permet de se faire une idée sur la qualité d’un code :

• Pourquoi ce fichier est inclut alors qu’il n’est pas utilisé ?
• Pourquoi ce fichier est inclut ici plutôt que là ?
• Pourquoi ce fichier n’est pas inclus en utilisant les primitives *_once ?
• Pourquoi les inclusions proviennent uniquement de ce fichier ?
• etc.

Passons au vif du sujet ! Pour commencer nous allons installer les paquets nécessaires pour la suite des opérations :

• php5-dev et make pour la compilation de l’extension
• php5-cli et graphviz pour la génération des images

root@gnusquad:~# aptitude install php5-dev php5-cli make graphviz

Une fois ces paquets installés, téléchargeons l’extension « Inclued » et décompressons la d’un trait :

root@gnusquad:~# wget -q -O - http://pecl.php.net/get/inclued | tar zx

Compilons cette dernière :

root@gnusquad:~# cd inclued-0.1.0
root@gnusquad:~/inclued-0.1.0# phpize
root@gnusquad:~/inclued-0.1.0# ./configure
root@gnusquad:~/inclued-0.1.0# make

L’étape qui suit consiste à indiquer à PHP de charger cette nouvelle extension :

root@gnusquad:~/inclued-0.1.0# cp modules/inclued.so /usr/lib/php5/20060613+lfs
root@gnusquad:~/inclued-0.1.0# vi /etc/php5/conf.d/inclued.ini

extension=inclued.so
inclued.enabled=on
inclued.dumpdir=/tmp

On peut dès lors redémarrer le serveur web, Apache en l’occurence, sachant que désormais, chaque accès à un fichier PHP (via le web ou en CLI) générera un fichier dans le répertoire /tmp donc méfiance !

root@gnusquad:~/inclued-0.1.0# /etc/init.d/apache2 restart

Sachez qu’il est également possible d’activer l’extension au niveau du serveur web en utilisant les directives php_admin_flag et php_admin_value ce qui permet de limiter l’extension à un vhost par exemple. Malheureusement, et contrairement à ce qui est indiqué sur le site PHP, il n’est pas possible d’utiliser ces directives dans un fichier .htaccess.

Les fichiers générés n’étant pas directement des images, il faut les convertir à l’aide d’un script fourni avec l’extension que nous enroberons de notre propre script afin de nous faciliter la vie :

root@gnusquad:~/inclued-0.1.0# cp gengraph.php /usr/local/bin
root@gnusquad:~/inclued-0.1.0# cd $_
root@gnusquad:/usr/local/bin# vi gengraph

#!/bin/bash
echo "Generating file $1.png"
exec >/dev/null
php -d "inclued.enabled=Off" $(dirname $0)/gengraph.php -i $1 -o $1.dot
dot -Tpng -o $1.png $1.dot
rm $1
rm $1.dot

root@gnusquad:/usr/local/bin# chmod +x $_

Voilà, le plus dur est fait, il ne vous reste plus qu’à aller sur une page web PHP et à générer l’image :

root@gnusquad:/usr/local/bin# cd /tmp
root@gnusquad:/tmp# ls
inclued.00688.1
root@gnusquad:/tmp# gengraph inclued.00688.1
root@gnusquad:/tmp# ls
inclued.00688.1.png

À lire :

• Documentation PHP sur Inclued
• Package Inclued sur la PECL

Mise à jour du 05 mai 2009 : pour effectuer la compilation encore plus simplement, il suffit de taper « pecl install channel://pecl.php.net/inclued-0.1.0 » et le tour est joué !

Logiciels utilisés :

• GNU Awk 3.1.5
• MySQL Client 5.0.51a

root@gnusquad:~# mysql -e 'SHOW PROCESSLIST' | awk 'BEGIN { MAX_TIME = 60 ; USERS = "boulet1|boulet2" } $6 > MAX_TIME && $5 == "Query" && $2 ~ USERS {print "KILL " $1 ";"}' | mysql

Petites explications sur le code « awk » :

• $1 contient l’ID de la requête SQL
• $2 contient le nom de l’utilisateur
• $5 contient le type de commande (Query, Sleep, …)
• $6 contient le temps d’exécution de la requête SQL en secondes
• MAX_TIME contient le temps en secondes à partir duquel une requête doit être tuée
• USERS contient une expression rationnelle indiquant les utilisateurs concernés par cette sanction

Il ne vous reste plus qu’à mettre ce script dans le « crontab » en pensant à vous connecter avec un utilisateur MySQL ayant le droit « SUPER » pour pouvoir tuer les connexions si besoin est.

À lire :

• Man page de gawk

Logiciels utilisés :

• Subversion 1.4.6 (r28521)
• GNU Bash 3.1.17
• GNU Find 4.4.0
• File 4.24

Voici une petite commande permettant de définir les mime-types des fichiers de l’arborescence dans laquelle nous nous trouvons (vous pouvez retirez la partie « | bash > /dev/null » pour afficher ce qui sera exécuté) :

user@gnusquad:~/projet$ find . -type f ! -regex ".*/\.svn/.*" -exec echo svn propset svn:mime-type \"\$\(file -bi '{}'\)\" {} \; | bash > /dev/null

Il se peut que des messages d’erreurs apparaissent dûs à un non conformisme de Subversion vis à vis de la RFC 1521.

svn: Le type MIME ‘text/x-c++ charset=utf-8′ ne se termine pas par des caractères alphanumériques

Ce bug a été corrigé dans la révision 30795 de Subversion (tapez svn –version | head -1 pour voir votre révision).

À lire :

• Subversion : Automatic Property Setting
• RFC 1521

Logiciels utilisés :

• Subversion 1.4.2
• GNU Bash 3.1.17
• GNU Sed 4.1.5

Commençons par créer un référentiel de test nommé « modification_revision » :

root@gnusquad:~# REPOS=/var/local/lib/svn/modification_revision
root@gnusquad:~# svnadmin create $REPOS

Effectuons une copie locale (checkout) de ce référentiel :

root@gnusquad:~# svn co file://$REPOS
Révision 0 extraite.

Ajoutons-y un fichier « exemple » et commitons le dans le référentiel :

root@gnusquad:~# cd modification_revision/
root@gnusquad:~/modification_revision# echo mon_password : gruikgruik > exemple
root@gnusquad:~/modification_revision# svn add exemple
A         exemple
root@gnusquad:~/modification_revision# svn ci -m "ajout d'un fichier"
Ajout          exemple
Transmission des données .
Révision 1 propagée.

Le but, maintenant, est de faire disparaître le mot de passe « gruikgruik » du référentiel afin que personne ne puisse le récupérer.

Commençons par effectuer un dump du référentiel dans le fichier ~/dump_svn :

root@gnusquad:~/modification_revision# cd
root@gnusquad:~# svnadmin dump $REPOS > dump_svn
* Révision 0 déchargée.
* Révision 1 déchargée.

Modifions le mot de passe dans le dump avec sed par exemple en veillant à mettre le même nombre de caractères sinon vous obtiendrez l’erreur suivante par la suite : « svnadmin: Fin prématurée des données dans le flux de sauvegarde » à cause du Content-length de la révision :

root@gnusquad:~# sed -i s/gruikgruik/xxxxxxxxxx/g dump_svn

Supprimons le référentiel et recréons en un vide :

root@gnusquad:~# rm -r $REPOS
root@gnusquad:~# svnadmin create $REPOS

Importons le dump :

root@gnusquad:~# svnadmin load $REPOS < dump_svn

<<< Début d'une nouvelle transaction basée sur la révision 1
     * ajout de : exemple ...
svnadmin: Sommes de contrôle différentes, fichier '/exemple' :
   attendu :  6fe4a181ffeec4b6da1b63d377f14fb4
   obtenu :  def10992a3cb890493d37440f3538fd8

Subversion nous informe que les sommes de contrôle sont différentes ce qui est tout à fait normal vu que l’on a modifié le mot de passe, mettons donc à jour celles-ci :

root@gnusquad:~# sed -i s/6fe4a181ffeec4b6da1b63d377f14fb4/def10992a3cb890493d37440f3538fd8/ dump_svn

Puis pour en finir, réimportons proprement le dump :

root@gnusquad:~# rm -rf $REPOS
root@gnusquad:~# svnadmin create $REPOS
root@gnusquad:~# svnadmin load $REPOS < dump_svn
<<< Début d'une nouvelle transaction basée sur la révision 1
     * ajout de : exemple ... fait.

------- Révision 1 propagée (commit) >>>

Et voilà, notre référentiel ne contient plus de traces du mot de passe « gruikgruik ».