Serverstillstand - Festplattenausfall am Promise RAID M4

Question

Wir haben mittlerweile in unserer Praxis jeweils im laufenden Betrieb bei voller Praxis den 4. Serverausfall wegen einer defekten Festplatte im Promise Raid M4 erlebt. Für den schnellen Support des Tomedoteams und die sehr gute Ereichbarkeit möchte ich ein großes Lob aussprechen und mich bedanken.

Es sollte aber nachgedacht werden, ob die Tomedo-Server-Architektur nicht geändert werden muß. Derzeit lassen wir auf dem Raid sowohl das MAC-Betriebssystem, dei Serverrtools, die Datenbank und das Promise-Utility zur Konfiguration des Raid laufen. D.h. das Raid funktioniert eigentlich als Rechner, der MiniMac Server stellt nur die Verbindung zum Praxisnetz her. Dies soll im ursprünglichen Tomedokonzept einen schnellen Wechsel des Servers bei Ausfall des MiniMac ermöglichen. Nach meinen Recherchen bei Promise ist das Raid aber für diesen Zweck nicht konzipiert. Das Promise-Konzept sieht eher vor, dass auf dem Raid nur Daten abgespeichert werden und das Betriebssystem und Utility auf dem Mac laufen sollten. So kann bei Festplattenausfall am Raid, das Raid über das Utility konfiguriert und der Fehler quittiert werden. Im Tomedokonzept gelingt dies jedoch nicht, da bei einem fehlerbdingten Stop des Raid eben auch Betriebssystem und Utility stoppen und ein Zugriff nicht mehr möglich ist. Das daraus resultierende blinde abkoppeln des Raid von Strom und Thunderbolt, Ausbau der defekten Raid-Platte, den kalten Stop des MiniMac, 2 Minuten warten, alles wieder anstöpseln, Mac neu starten und hoffen, dass das Betriebssystem vom Raid startet, kostet in einer vollen Praxis bei laufendem Betrieb enorm viel Nerven und entspricht nicht einem ausfallsicheren System. In der Praxis erweist sich das Tomedokonzept somit eher als "Falle" weil einzelne Festplatten am Raid offensichtlich viel häufiger ausfallen als der Mac-Server.

Ich schlage deshalb vor die Tomedoarchitektur dahingehend zu ändern, dass nur noch die Datenbank auf dem Raid läuft. Betriebssystem, Servertools und Raid-Utility sollten auf dem MiniMac laufen. Dieser kann ja (und so haben wir Ihn auf Anweisung von Tomedo gekauft) mit 2 Festplatten ausgerüstet werden, die dann ebenfalls im Raid laufen. Damit wird ein Betriebssystemausfall deutlich abgesichert. Alternativ könnten auf einem 2. Mac in der Praxis vorsorglich die Servertools installiert werden. Bei Ausfall des eigentlichen Servers könnte mann mit dem Raid dann an den 2. Rechner gehen und die Servertools dort starten.

Comments

Wenn ich Sie richtig verstehe, muss die RAID-Utility bei Promise-LW auf dem Mac laufen; laut meiner Recherche gibts auch von WesternDigital und LaCie Wechsel-RAIDs, die eine originär eingebaute, d.h. nicht Software-gebundene RAID-Technik benutzen. Sind außerdem deutlich günstiger. Via Daisy-Chain auch erweiterbar.
(Buffalo DriveStation verwendet Software-RAID, deswegen nicht sinnvoll).

---

Welche FP verwenden Sie?? Die "Red Scorpio" von WD ist speziell für den Langzeitbetrieb konzipiert und bietet auch entsprechende Garantien...

Answer 1

Sie haben da einige gute Argumente gegen die aktuelle Architektur. So wie sie aber ist, haben sie bei einem Mac Ausfall aber keine komplette Neuinstallation des Servers. Da sitzt jeder Admin einen Tag daran und sie können nur auf A5 Ringbüchern arbeiten.

Wie wäre es auf dem Rechner eine voll funktionierende Kopie zu haben, einen CCC Klon bei dem die Datenbank täglich nicht mitkopiert wird, sondern die Datenbank auf dieser Kopie durch Tomedo aktuell gehalten wird, wie die auf dem Pegasus. Praktisch zwei offene, laufende Datenbanken, ich weiss nicht ob das programierbar ist und ob Tomedo zwei Datenbanken handlen kann.  Bei einem Pegasus Ausfall könnte man einfach den UDID Sicherheitscode auf die des Mac ändern und auf dem Mac ohne Ausfall weiterarbeiten solange man die  Pegasus repariert. Man hätte die Vorteile beider Architekturen.

Comments

Eine solches Konzept ist aber m.E. deutlich komplizierter- auch in der Programmierung- als mein o.g. Vorschlag. Außerdem bestünde immer noch der Stillstand wenn im Raid eine Platte ausfällt. Erst nach Neustart des Mac und Boot von der internen Platte könnte weiter gearbeitet werden. Ein Stillstand aber soll ja gerade durch die Raid-Technologie vermieden werden! Eine Alternative wäre noch durch Pegasus selber möglich, die den Raid Kontroller anders programmieren müßten, so dass bei einem Plattenausfall das Raid eben nicht stehen bleibt sondern nur eine Warnung herausgibt. Dies wird aber nach meinen Recherchen von Pegasus derzeit abgelehnt, weil nach deren Vorstellungen das Raid eben für einen anderen Zweck konzipiert wurde (professionelles Videoediting, Musik-Editing, Photo-Editing). Diese Leute arbeiten mit Ihrem entsprechenden Programm auf dem Mac und die Daten liegen dabei auf dem Raid. Fällt eine Festplatte aus, bleibt das Raid stehen, wenn der Fehler quittiert wird, läuft das Raid sofort auf den verbliebenen Platten weiter und die Arbeit im Programm auf dem Mac kann fortgesetzt werden. Das kostet nur einige Klicks am Mac und eben keine Umbauarbeiten und keine Neustarts am Server. Das Raid ist somit von Pegasus konzeptionell eine Datenbanksicherung und keine Serversicherung.

Answer 2

Hallo Miteinander.

Das ist ein extrem wichtiges Thema!

Auch wir denken, dass wir bei einem Plattenausfall eine Meldung bekommen, ansonsten aber weiter arbeiten können.

Wenn dem nicht so ist, haben wir damit ein Problem!

Genau das ist der Grund, weshalb wir uns das RAID zugelegt haben. Wir wägen uns in einer Sicherheit, die nicht vorhanden ist? Ganz schlecht!

Ich werde jetzt erst einmal ein zwei oder drei der Platten erwerben, die in dem Raid sind, damit man schnell austauschen kann.

Die grundsätzliche Konzeption muss tatsächlich dringend überdacht werden.

 

Praxis Dr. med. Katharina Zumbusch

Comments

Wenn die Servertools auf dem Server korrekt laufen, prüfen diese regelmäßig den Raidstatus der Promise-Tools. Somit bemerken die Tools einen Festplattenausfall üblicherweise direkt und senden eine entsprechende Meldung an alle tomedo-Clients. Da allerdings sowohl die Servertools als auch die Promise-Tools "nur Software" sind, können Fehler hierbei natürlich nie 100% ausgeschlossen werden, von daher ist es dennoch ratsam hin und wieder einen Blick auf die Kontrollleuchten des Raids zu werfen.

Das von Dr. Odenthal beschriebene Problem ist jedoch ein anderes: Hier ist es ja gerade störend, dass jeder Festplattenausfall direkt "bemerkt" wird, weil der Server dann nämlich stillsteht und umständlich manuell neu gestartet werden muss. Das sollte in einem "ordentlichen" Raidszenario eigentlich nicht passieren - normalerweise laufen die Platten bei uns als "Raid 6"-Verbund, was bei 4 Festplatten bedeutet, dass erst beim Ausfall von 3 Festplatten ein Datenverlust eintritt. (Bitte unbedingt beachten, dass trotzdem schon beim Ausfall von nur einer Platte diese möglichst schnell ersetzt werden sollte, da Festplattenausfälle häufig korreliert sind!)

Answer 3

Hallo aus Verden,

wir haben immer 2 Raidplatten liegen um den Servercrash unseres Raid 6 zu überstehen. Im Echtzeitbetrieb habe ich auch schon mal einen Festplattenausfall mit 2 Platten simuliert und es hat einwandfrei mit dem Weiterlaufen geklappt. Die neue Platte reingeschoben. Klappte hervorragend. Das große Problem ist wenn das Raidsystem als solches aufgibt. Für den Fall haben wir ein 4 er Ersatzsystem stehen, das dann zum Einsatz käme. Zur Zeit experementieren wir mit einem Klon des Raidsystems den wir per ccc auf eine Terrabyte Lacie Thunderbolt kopieren. http://www.amazon.de/gp/product/B00LN8QJYY?psc=1&redirect=true&ref_=oh_aui_search_detailpage

Das scheint ein gangbarer Weg zu werden, bis eine letztendliche Optimallösung vorliegt.

Gruß und hoffentlich weniger Ausfälle wünscht

Ralf Kampmann

Answer 4

Wie schon im Beitrag:

Gibts eine günstige Alternative zum Thunderbolt-RAID v.a. für kleinere Praxen?

beschrieben, geht das beim USB-RAID (2 Platten im RAID, 1 extern) sehr flott: gute Platte direkt via USB-Serial-Adapter anschließen, von dort starten und die neue Adresse in Tomedo eingeben:

2x getestet; dauert ca. 10 Minuten maximal. (Vielleicht sollte man sich eine 4. unbenutzte  und unbeschriebene FP in den Vorrat legen, damit man einen Ersatz für die  evtl. defekt Platte hat)

Gruß aus GP

Wkrause (derzeit im Krankenstand)

Comments

Gute Besserung!

Answer 5

Die von Ihnen vorgeschlagene Installationsweise (Betriebssystem auf dem Mac-Mini, Datenbank auf dem Raid) ist bereits möglich und könnte bei Ihnen so eingerichtet werden. Hierbei ist das mit dem Ersatz-Mac allerdings nicht ganz so einfach wie von Ihnen beschrieben: Dort muss nicht nur die Server-Tools-App vorhanden sein, sondern auch die entsprechenden Datenbank-Treiber und -Nutzer eingerichtet werden. Auch das sollte aber machbar sein.

 

Für die M4-Problematik (siehe weiter unten) wäre das vermutlich eine gute Alternative. Optimal ist diese Lösung aber auch nicht, da man hiermit sowohl bei einen Ausfall der internen Platte, als auch bei einem Ausfall von Raidplatten bzw. -Controller einen Stillstand hat - also im Grunde ein zusätzlicher "Point-Of-Failure" geschaffen wird. Zudem ist der Installations- und Pflegeaufwand in diesem Fall sehr viel höher, als bei der Lösung wo ein komplettes Image auf dem Raid liegt.

 

Wir versuchen aktuell ein Testsetup aufzusetzen, bei dem wie von Ihnen geschrieben vom Mac-Mini gebootet wird, während die Datenbank auf dem Raid liegt. Gleichzeitig sollte es auf dem Raid eine bootfähige "Notfall-Partition" geben, von welcher bei einem Ausfall des Mac-Minis gestartet werden kann um die Ausfallzeiten in der Praxis zum minimieren. Geplant ist auch eine entsprechende automatisierte Routine zur Einrichtung des Ganzen, um den erhöhten Installationsaufwand in den Griff zu bekommen.

 

Dennoch bleibt das vermutlich weiterhin nur die zweitbeste Lösung. Das aus unserer Sicht und Erfahrung zuverlässigste Setup ist weiterhin die "Booten-vom-Raid" Variante, allerdings mit der Einschränkung, dass die M4-Raids hierfür nicht geeignet scheinen. Laut Promise verwendet das M4 zwar den selben Controller wie das R4 und beide Raids verhalten sich bei Festplattenausfall exakt gleich, die Erfahrung (hier vor allem Ihre) zeigt aber, dass das nicht stimmt. Wie von Ihnen beschrieben beendet das M4 bereits beim Ausfall einer einzelnen Festplatte den Dienst uns arbeitet erst nach einer Quittierung weiter. Seltsamerweise wird diese Quittierung aber nicht verlangt, wenn man nur eine Platte herauszieht - in dem Fall läuft das M4 vollkommen normal weiter (von daher ist das in den Testeinsätzen des M4 nie aufgefallen, weil sich ein "echter" Festplattenausfall schwer simulieren lässt). Das R4 hingegen scheint sich hier anders zu verhalten: Mir ist bislang kein Fall bekannt, bei dem nach einen Festplattenausfall das R4 stehengeblieben ist und erst nach Quittierung weiter läuft. Bislang konnten hier immer die Festplatten im Betrieb durch funktionierende ersetzt werden. Ganz im Gegenteil hatten wir beim R4 am Anfang eher das Problem, dass Festplattenausfälle nicht bemerkt wurden (da in den Praxen nicht auf die Farbe der Lichter an den Platten geachtet wird). Das haben wir aber letztes Jahr behoben, indem die Servertools automatisch auf Ausfall prüfen und dann an allen tomedo-Clients eine Warnung aufpoppen lassen, dass eine Platte ausgefallen ist.

 

Allerdings ist hierbei anzumerken, dass die Festplattenausfälle beim R4 auch deutlich seltener sind, womit wir beim zweiten Problem des M4 wären: Zwar haben wir ebenfalls eine Zusage von Promise, dass die M4s den R4s qualitativ in nichts nachstehen, die Statistiken des letzten Jahres sprechen aber eine deutlich andere Sprache. Die Ausfallwahrscheinlichkeit der M4-Platten scheint um mindestens das fünffache höher zu sein, als bei den R4-Platten. Ich vermute hierfür ist vor allem die geringere Größe und damit schlechtere Wärmeableitung verantwortlich. Ob die Platten selbst auch von einer schlechteren Qualität sind, kann ich nicht beurteilen. Dass in Ihrem Fall bereits innerhalb eines Jahres 4! Festplatten ausgefallen sind halte ich für sehr besorgniserregend (ich hoffe, dass in Ihrem Raid hier "nur" eine schlechte Charge verbaut wurde und das nicht allgemein gegen die Qualität der Promise-Platten spricht). Unsere Konsequenz ist z.Z. auf jeden Fall (unabhängig vom tomedo-Server-Setup), dass wir vom Kauf des M4 abraten, bis Promise hierzu eine klare Aussage getroffen hat.

 

Zusätzlich haben im letzten halben Jahr Alternativen geprüft und Testsetups mit allen anderen Mac-kompatiblen Raid-Hersteller ausprobiert (die Auswahl ist im Apple-Bereich leider sehr überschaubar). Allerdings haben wir bislang keine zufriedenstellende Alternative zu den Promise-Geräten gefunden.

 

Aus unserer Erfahrung der letzten drei Jahre in denen wir die Promise-Geräte im Einsatz haben, ist das Setup "R4 mit Betriebssystem und Datenbank auf dem Raid + Booten vom Raid" die zuverlässigste Lösung mit den geringsten Ausfallzeiten für die Praxis. Das bedeutet selbstverständlich nicht, dass hierdurch ein zusätzliches (Außer-Haus-) Backup überflüssig wird. Dennoch testen wir weiterhin regelmäßig alternative Lösungen, sowohl was die (Raid-)Hardware angeht, als auch bzgl. anderer möglicher Ausfall- und Backupszenarien. Z.B. arbeiten wir aktuell an einer kompletten Server-Redundanz, die es erlaubt zwei Server gleichzeitig parallel zu betreiben. Hierdurch könnten sowohl Ausfälle als auch Performanceprobleme in (Neben-)Betriebsstätten mit sehr schlechter Internetanbindung deutlich reduziert werden.

Comments

Lieber Herr Zollmann,

würden Sie bitte Ihr Statement kurz für den Butter&Brot Anwender zusammenfassen. Soll ich mir für mein Raid Platten kaufen und hinlegen? A5 Ringbücher habe ich auch immer da!

Danke!

---

Haben Sie ein M4 oder ein R4 im Einsatz?

Eine Ersatzplatte bereitzuhalten ist in beiden Fällen ratsam und sicher keine Fehlinvestition (früher oder später muss jede Festplatte mal ausgetauscht werden). Solange noch Garantie besteht reagiert aber Promise sehr schnell und liefert meist innerhalb 1-2 Tagen eine Ersatzplatte und auch wir haben normalerweise ein paar auf Lager, die wir zur Not über Nacht rausschicken können, falls keine Ersatzplatte zur Hand ist. Mit Ringbüchern können wir leider nur eingeschränkt dienen (ich habe hier nur eins mit Werbeaufdruck einer Pharmafirma und da sind schon zwei Seiten vollgeschrieben).