Ceph-Setup

Mehr Info dazu gibt\'s auch auf der Ceph-Seite. Leider geht noch nicht alles sauber mit dem machine-manager. Ich bin mal so vorgegangen:

• E7inen Pool am Ceph-Cluster angelegt

  ceph osd pool create images 200 200

• Authentication für libvirt einrichten.

  ceph auth get-or-create client.libvirt mon 'allow r' osd 'allow class-read objectprefix rbdchildren, allow rwx pool=images'

• Den Pool am Virtualisierungsserver mit virsh angelegt. Dazu gibt\'s gute Hinweise auf den Seiten von libvirt, https://libvirt.org/storage.html#StorageBackendRBD und http://libvirt.org/formatsecret.html#CephUsageType. Die beiden Files, die ich zum Anlegen des Pools verwendet habe sind diese:

ceph-secret.xml

<secret ephemeral='no' private='yes'>
  <description>Secret holding CEPH passphrase</description>
  <uuid>dcf50f8c-4374-416f-8718-e33815f2cec0</uuid>
  <usage type='ceph'>
    <name>libvirt</name>
  </usage>
</secret>

pool-define.xml

<pool type='rbd'>
  <name>images</name>
  <source>
    <host name='ceph1.admin.mur.at' port='6789'/>
    <host name='ceph2.admin.mur.at' port='6789'/>
    <host name='ceph3.admin.mur.at' port='6789'/>
    <name>images</name>
    <auth username='libvirt' type='ceph'>
      <secret uuid='dcf50f8c-4374-416f-8718-e33815f2cec0' />
    </auth>
  </source>
</pool>

- Damit legt eins (als root!) zuerst ein Secret an:

virsh secret-define ceph-secret.xml

- Dann wird das secret mit dem KEY des client.libvirt verknüpft (der

  KEY kann auf ceph1 mit
      ceph auth list

  gefunden werden:

  virsh secret-set-value dcf50f8c-4374-416f-8718-e33815f2cec0 KEY

- Damit ist das Secret irgendwo (ich hab selber keine Ahnung wo) in

  der Virtualiseriungsumgebung gespeichert und kann später in den
  Konfigurationsdateien verwenden werden.

- Nun kann der Pool angelegt (wieder als root!) werden:

virsh pool-define pool-define.xml

Jetzt steht der Pool mal prinzipiell auch im virt-manager zur Verfügung (wo er noch gestartet werden muss). Anlegen von Files für Vserver-Images funktioniert auch schon, nur das Einbinden der Images in einen Vserver erfordert noch einen Zwischenschritt mit virsh. Wir verwenden übrigens das selbe Secret auf allen Virtualisierungsservern, damit die VServer auch mirgriert werden können.

Das ist jetzt auf eine eigene WikiSeite gewandert.

Wir verwenden Snapshots als Teil des Backups, das hier dokumentiert ist!

Image Snapshots werden mit dem Tool rbd gemacht. Die Doku für die derzeit verwendete CEPH-Version ist hier zu finden. Um einen Snapshot von einem Image zu erstellen, muss I/O der Maschine gestoppt werden. Die wahrscheinlich beste Lösung ist es, die virtuelle Maschine zu pausieren (virsh suspend Domain). Dann kann ein Snapshot sicher erstellt werden:

--(Auf ceph1 ist jetzt ein Mechanismus zum automatischen erstellen von Snapshots eingerichtet: /home/cavy/cephsnap. Das Skript ist dokumentiert und läuft derzeit für die nelke und wal, einmal pro Tag (Nacht) um 5 Minuten nach 4 Uhr. Testhalber heben wir Snapshots vorerst nur für einen Tag (24 Stunden) auf.)--

Die CEPH-Doku hat eine eigene Seite zum Snapshot-Mechanismus: Snapshots mit CEPH.

Damit Icinga-Pluings am Ceph-Cluster ausgeführt werden können, muss sich der Client authentifizieren. Aus diesem Grund muss am Ceph-Server ein spezieller Keyring für den user Icinga/Nagios angelegt werden. So gehts:

 cavy@ceph2:~$ ceph auth get-or-create client.nagios mon 'allow r' > client.nagios.keyring

Beim Ausführen des Plugins mit dem Keyring schauts so aus:

/usr/lib/nagios/plugins/check_ceph_health --id nagios --keyring /usr/lib/nagios/plugins/key/client.nagios.keyring

Das ganze funktioniert via nagios-nrpe-server!

Ceph verwendet für einige Dinge die Type Codes von GPT. Diese sind (hier gefunden):

• f800 für OSDs
• f802 für Journale
• /var/lib/ceph in /etc/updatedb.conf zu PRUNEPATHS hinzugefügt. Tipp von hier.

• --(Snapshots: Einrichtung)--, Tests, Benchmarks
• --(Hot-Migration Testen )--
• Auf Basis der gesammelten Daten Konzept für Cluster erstellen