aptitude install python-dev librsync-dev ncftp

Damit sind die Grundvoraussetzungen geschaffen und wir können uns duplicity holen:

cd /usr/src
wget http://code.launchpad.net/duplicity/0.6-series/0.6.09/+download/duplicity-0.6.09.tar.gz
tar xfz duplicity-0.6.09.tar.gz
cd duplicity-0.6.09
python setup.py install

Das ging schnell, jetzt wird es noch schneller!

cd /usr/src
wget http://downloads.sourceforge.net/project/ftplicity/duply%20%28simple%20duplicity%29/1.5.x/duply_1.5.2.3.tgz
tar xfz duply_1.5.2.3.tgz
cd duply_1.5.2.3
cp duply /usr/local/bin

Aus dem Archiv die Datei duply entpacken und in /usr/(s)bin oder /usr/local/(s)bin kopieren.
Grundsätzlich ist duply nun funktionsbereit, es fehlt jedoch nocht der GPG-Schlüssel. Ohne diesen läuft nichts.

gpg --gen-key

Die Standardvorgabe für die Schlüsselart ist in Ordnung und kann mit [ENTER] bestätigt werden. Die Schlüsselgröße 2048 ist auch in Ordnung, wer mehr will, kann auch auf 4096 gehen. Der Schlüssel soll niemals ungültig werden, also bestätigen wir mit y die Gültigkeit “läuft niemals ab”. Zum Schluß noch Angaben wie Name und eMail und das Ganze mit O bestätigen.
Jetzt wird der Schlüssel generiert. Unter Umständen kann das mal ein paar Minuten dauern, je nach dem, wieviel auf dem Server los ist. Die Nummer des generierten Schlüssels müssen wir uns merken und im Folgenden in die Konfiguration von duply einfügen.
Hier eine Beispielausgabe von gpg mit einer zufälligen Schlüselnummer:
gpg: /root/.gnupg/trustdb.gpg: trustdb created
gpg: key 73FA48DA marked as ultimately trusted
public and secret key created and signed.

Nun erstellen wir eine Grundkonfiguration:

duply bkprofil create

bkprofil ist ein frei wählbarer Name des Backup-Profils.
Nun wurde, sofern wir duply als root ausgeführt haben, im ordner /root/.duply der Ordner bkprofil angelegt. Innerhalb dieses Ordners ist nun die Konfigurationsdatei conf. Hier wollen wir ein paar Einstellungen vornehmen.

nano /root/.duply/bkrpofil/conf

Wichtig sind hier die ID vom GPG-Key (GPG_KEY) und das entsprechende Passwort (GPG_PW). Bei den GPG_OPTS schalte ich die als Standard vorgegebene bzip2-Komprimierung mit Level 9 ein. (GPG_OPTS=’–compress-algo=bzip2 –bzip2-compress-level=9′)
In der Konfiguration sind Beispiele für das “Target” aufgeführt, also der Ziel-Server, auf dem das Backup abgelegt werden soll. Am weitesten verbreitet dürfte FTP sein, daher geben wir hier als Ziel einen FTP-Server vor: TARGET=’ftp://SERVER/VERZEICHNIS’
TARGET_USER und TARGET_PASS sind denke ich selbsterklärend.
SOURCE gibt an, welcher Ordner gesichert werden soll. Entweder man trifft hier schon eine Vorauswahl, z.B. /srv oder man nimmt das gesamte Dateisystem ‘/’ und verfeinert die Auswahl später. Ich nehme hier SOURCE=’/’ und spezifiziere später in einer anderen Datei die zu sichernden Dateien.
MAX_FULL_BACKUPS stellt die Anzahl der vorgehaltenen vollen Backups an. Je nach verfügbarem Speicherplatz und eigenen Wünschen kann hier gewählt werden, sinnvoll ist denke ich der Bereich zwischen 1 und 3.
Wenn MAX_FULLBKP_AGE gesetzt ist, wird automatisch bei erreichen dieser Zeit ein Vollbackup erstellt, anderenfalls ein inkrementelles Backup. Wird MAX_FULLBKP_AGE auf 2W gesetzt, wird beim ersten Aufruf von duply ein voller Backupsatz erstellt. Beim  Aufruf z.B. am nächsten Tag wird der volle Satz erkennt und ein inkrementelles Backup gestartet. Sind nun 2 Wochen abgelaufen, wird wiederum ein neues, volles Backup angelegt.
Mit VOLSIZE wird die Größe der einzelnen Archivdateien eingestellt. Meine Favoriten sind 500 oder 750, also 500MB bzw. 750MB. Selbstverständlich kann hier auch mehr angegeben werden.

Würde jetzt ein Backup gestartet, würde der komplette Server gesichert werden, das ist nicht unbedingt immer gewünscht. Daher lege ich nun eine weitere Datei an, um mein Backup zu verfeinern.

nano /root/.duply/bkrpofile/exclude

+ /home
+ /var/www
- /

Diese drei Zeilen geben an, daß die Ordner /home und /var/www gesichert werden sollen. Das geschieht natürlich inklusive der jeweiligen Unterordner. Der Ordner / wiederum soll nicht gesichert werden, d.H. der gesamte Rest wird ausgeschlossen.

Nun steht dem ersten Backup nichts mehr im Wege.

duply bkprofil backup

Nun wird das bzip2-komprimierte und mit GPG verschlüsselte Backup erstellt und die Archive auf den FTP-Server geschoben.
Ist das Backup durchgelaufen, schauen wir uns einmal das Ergebnis an:

duply bkprofile status

Found primary backup chain with matching signature chain:

-------------------------
Chain start time: Sun Sep 19 09:02:01 2010
Chain end time: Sun Sep 19 09:02:01 2010
Number of contained backup sets: 1
Total number of contained volumes: 7
 Type of backup set:                            Time:      Num volumes:
 Full         Sun Sep 19 09:02:01 2010                 7
-------------------------
No orphaned or incomplete backup sets found.

Das Backup wurde mit 7 Archiven erstellt, keine unvollständigen Backupsätze gefunden. Sobald inkrementelle Backups angelegt wurden, werden diese hier entpsrechend angezeigt.
Den genauen Inhalt des Backups können wir uns wie folgt anschauen:

duply bkprofile list

Jedoch empfehle ich die Umleitung in eine Datei, da sie einfacher zu durchsuchen ist.

duply bkprofile list > output.txt

Zum Schluß automatisieren wir unsere Backups noch mit cron.

crontab -e

30 0 * * * /usr/local/bin/duply bkprofile purge-full --force
30 1 * * * /usr/local/bin/duply bkprofile backup

Hier wird jetzt jeden Tag um 0:30h das Kommando purge-full durchgeführt, d.H. sobald mehr als MAX_FULL_BACKUPS Vollbackupsätze vorhanden sind, werden die älteren Sätze gelöscht. Der Schalter –force gibt an, daß die Dateien nicht nur gelistet sondern auch gelöscht werden sollen.

Um 1:30h startet das eigentliche Backup.

So weit, so gut! Die Backups laufen und wir hoffen, daß wir sie nicht wirklich benötigen werden, doch wie man an seine Dateien im Ernstfall wieder heran kommt, beschreibe ich in der Fortsetzung.

ftplicity backup_profile status

ftplicity spuckt uns nun Daten über das/die letzte(n) Backup(s) aus und auch entsprechende Hinweise, wenn das letzte Backup unvollständig ist.
Falls hier einmal etwas schief gegangen ist, lässt sich die unvollständige Backupkette ganz einfach bereinigen.

ftplicity backup_profile cleanup --force

Mit dem Schalter –force bringen wir ftplicity dazu, die unvollständigen Dateien auch zu löschen und nicht nur anzuzeigen.

Ich möchte hier jedoch jetzt nicht über Hausputz reden, sondern darüber, wie wir verlorene Dateien wieder herstellen.
Im ersten Teil hatten wir schon einmal aufgelistet, was alles gesichert worden ist.

ftplicity backup_profile list > output.txt

Da die Liste der Dateien im Normalfall sehr lang ist, habe ich die Ausgabe in eine Datei umgeleitet. Hier können wir nun genau sehen, was gesichert worden ist. Benötigen wir hiervon z.B. nur eine einzelne Datei, holen wir uns diese mit folgendem Befehl ab:

ftplicity backup_profile fetch home/user/.bash_history /home/user/.bash_history

Beachte hier, daß der führende “/” fehlt! Die Dateien müssen so angegeben werden, wie sie mit dem list Befehl ausgegeben werden!
Hier wird nun die Datei /home/user/.bash_history an ihren ursprünglichen Platz zurückgeschrieben, alternativ kann auch ein anderes Ziel angegeben werden. Erweitern wir den Befehl um einen weiteren Parameter, können wir in der Backupkette weiter zurück greifen.

ftplicity backup_profile fetch home/user/.bash_history /home/user/.bash_history 3D

Jetzt wird die Datei so zurückgeschrieben, wie sie vor 3 Tagen war. Beim Zeitparameter kann auch “W” für Woche (week) angegeben werden.
Ein kompletter Ordner kann auf diese Weise ebenso zurück geholt werden.

ftplicity backup_profile fetch home/user /tmp/ftplicity

So wird der gesamte User-Ordner nach /tmp/ftplicity geschrieben.

Um im worst case das gesamte Backup zurück zu schreiben, wird der folgende Befehl angewandt:

ftplicity backup_profile restore /mnt/restore

… oder, falls ein älteres Backup zum Zuge kommen soll:

ftplicity backup_profile restore /mnt/restore 3D

In diesem Fall wird ein 3 Tage altes Backup zurückgespielt.

Weiter ins Detail gehende Informationen sind vielerorts im Netz zu finden. ftplicity selbst bietet auch noch eine kleien Hilfe an.

ftplicity usage

Nun bleibt mir nur noch viel Erfolg bei der Installation und der Nutzung von ftplicity zu wünschen.

Zuerst ggf. noch nicht installierte, benötigte Pakete installieren:

apt-get install python-dev librsync-dev ncftp python-gnupginterface python-pexpect

Danach holen wir uns duplicity an Bord:

cd /usr/src                                                                                                                                                                
wget http://savannah.nongnu.org/download/duplicity/duplicity-0.5.02.tar.gz                                                                                                 
tar xfvz duplicity-0.5.02.tar.gz                                                                                                                                           
cd duplicity-0.5.02                                                                                                                                                        
python setup.py install

Ich habe leider die Feststellungmachen müssen, daß die z.Zt. aktuelle Version 0.5.0.6 mit Debian etch leider nicht funktioniert, daher die v0.5.0.2. Für Hinweise, wie die aktuelle Version unter etch zum Laufen gebracht werden kann, würde ich mich freuen.
Wenn die Installation ohne Fehler durchgelaufen ist, kümmern wir uns um den GPG-Schlüssel:

gpg --gen-key

Die Schlüsselart, welche als standard eingestellt ist (DSA und Elgamal) ist in Ordnung und kann mit [enter] bestätigt werden.
Die Standardschlüsselgröße 2048 reicht im Regelfall auch aus, wer möchte, kann auf 4096 erhöhen.
Damit wir nicht vergessen, die Schlüssel rechtzeitig zu verlängern, wählen wir auch bei der Gültigkeit den Standard, also “läuft niemals ab”. Diese Auswahl noch einmal mit y bestätigen.
Um den Schlüssel leichter identifizieren zu können, vergeben wir einen Namen und eMail-Adresse, ggf. auch einen Kommentar. Wenn die Angaben in Ordnung sind, wird mit O bestätigt.
Zum Abschluß muß ein Passwort für den Schlüssel vergeben werden. Bitte gut merken! Danach wird der Schlüssel berechnet. In der Ausgabe von gpg notieren wir uns die Schlüssel-ID, welche im folgenden als zufälliges Beispiel fett geschrieben steht.
gpg: /root/.gnupg/trustdb.gpg: trustdb created
gpg: key 57FG85AC marked as ultimately trusted
public and secret key created and signed.

Jetzt geht es weiter mit fplicity.

cd ..
wget http://heanet.dl.sourceforge.net/sourceforge/ftplicity/ftplicity_1.4.1b.tgz
tar xfvz ftplicity_1.4.1b.tgz
cp ftplicity_1.4.1b/ftplicity /usr/local/bin

Das ging kurz und schmerzlos. Jetzt können wir uns ein Profil für das Backup anlegen.

ftplicity backup_profile create
chmod 600 /root/.ftplicity/backup_profile/conf
nano /root/.ftplicity/backup_profile/conf

Den Namen backup_profile habe ich frei gewählt, hier können nach Belieben andere Bezeichnungen verwendet werden. In die Config-Datei werden gleich zu Anfang die GPG-Schlüssel-ID und das dazu passende Passwort eingetragen, darunter die Zugangsdaten und das Zielverzeichnis vom FTP-Server. Wichtig ist auch der SOURCE-Eintrag, dort wird das Wurzelverzeichnis eingetragen, ab wo gesichert wird. “/” für das gesamte Dateisystem, “/home” z.B. nur für die Userverzeichnisse. Mehr dazu im Folgenden.

Bei GPG_OPTS kann die Komprimierung eingeschaltet werden. Hierzu einfach den ‘#’ vor der Zeile entfernen.

GPG_OPTS=’–compress-algo=bzip2 –bzip2-compress-level=9′

Die weiteren Parameter sind eigentlich gut erklärt. Folgender Parameter sollte jedoch noch geändert werden:

VOLSIZE=250
DUPL_PARAMS=”$DUPL_PARAMS –volsize $VOLSIZE ”

VOLSIZE gibt die Größe der einzelnen Sicherungsdateien an. Die Größe sollte nicht zu klein, aber auch nicht zu groß gewählt werden. Bei zu kleinen Dateigrößen werden für ein größeres Backup sehr viele Dateien erzeugt, bei zu großen Dateien kann es Übertragungsprobleme geben und das Backup wird mit einer Fehlermeldung (broken pipe) abgebrochen. Je nach Verbindung ist eine Größe von 250 bis 500 MB angebracht. Nicht vergessen, bei der Zeile DUPL_PARAMS= [...] unter VOLSIZE das ‘#’ zu entfernen.
Wer den Komfort von ftplicity nutzen möchte, aber auf die Verschlüsselung verzichten will, kann in der letzten Zeile der conf-Datei folgendes eintragen:

DUPL_PARAMS=”$DUPL_PARAMS –no-encryption”

So wird das Backup nicht verschlüsselt.

Eine weitere wichtige Datei ist die exclude-Datei. Hier können Dateien und Verzeichnisse angegeben werden, welche nicht gesichert werden sollen. Das Thema eclude bzw. include ist recht komplex und ist im Netz vielfach beschrieben, daher hier nur ein kleines Beispiel einer exclude-Datei.

nano /root/.ftplicity/backup_profile/exclude

+ /etc
+ /var/www
- /

Als SOURCE hatten wir “/” angegeben, also das Wurzelvereichnis, es würden also alle Dateien gesichert werden. In diesem Beispiel werden nur die Verzeichnisse /etc und /var/www inklusive ihrer Unterverzeichnisse, also z.B. /var/www/vhost/domain.tld, gesichert, “/” wird an letzter Stelle (!) wieder komplett ausgeschlossen. Es werden nur die Verzeichnisse, welche explizit mit “+” angegeben wurden, gesichert. Im umgekehrten Fall kann man auch einzelne Verzeichnisse, Dateien oder Dateitypen ausschließen.

Es ist Zeit für einen ersten Probelauf:

ftplicity backup_profile backup --preview

Werden keine Fehlermeldungen ausgeworfen, dann kann es losgehen. Einfach den preview-Schalter entfernen.

ftplicity backup_profile backup

Sobald das Backup fehlerfrei durchgelaufen ist, können wir den Status der Backups überprüfen.

ftplicity backup_profile status

Hier werden die Anzahl der Volumes und die einzelnen Backups (full, incremental) angezeigt, ggf. auch unvollständige Backups.
War das Backup erfolgreich, können die gesicherten Dateien mit

ftplicity backup_profile list

angezeigt werden. Da es im Normalfall mehrere Tausend Dateien sind, ist es ratsam, die Ausgabe in eine Datei umzuleiten.

ftplicity backup_profile list > output.txt

Im zweiten Teil beschäftige ich mich mit dem Einrichten eines cron-Jobs für tägliche Backups sowie mit der Wiederherstellung von Dateien.