Umzug auf Proxmox

Question

Hallo,

da der Platz auf dem Mac mini (x86 2018), der aktuell als Server fungiert, langsam knapp wird und der Support für das Modell in naher Zukunft ausläuft, möchte ich die Server App gerne unter Proxmox (LXC oder VM?) betreiben. Als Hardware würde ich gerne das hier verwenden --> Ugreen dxp 4800 plus darauf kann man Proxmox nativ installieren. Kann ich die Serverapp (Linuxversion?) irgendwo runterladen, damit ich das mal testen kann?

Answer 1

Für den Preis bekommt man auch einen Mac Mini mit M4 Prozessor. Das klappt bestimmt einfacher - außer sie wollen unbedingt auf die NAS Lösung setzen.

Comments

Für den Preis bekomme ich keinen Mac Mini der 11Kerne für Virtualisierung hat, gleichzeitig ein 4-Bay Nas ist und Platz für zusätzliche SSDs und ein RAM Upgrade bis maximal 64gb bietet. 

Promox kann ich jederzeit problemlos auf andere Hardware umziehen. Ich habe dann keinen Overhead mehr durch MacOs und vermutlich auch keine Probleme mehr bei den Updates, zumindest was den Server angeht. Ich kann über Proxmox direkt Backups machen und ich kann darüber hinaus auch Snapshots vor Updates machen. Ich kann zusätzlich Truenas als VM installieren, die Platten an die VM durchreichen, dort einen schnellen zfs Pool erstellen und spare mir so ein weiteres Gerät (derzeit Synology NAS mit Docker). Für größere Betriebe könnte man auf dieser Basis auch 3 solcher Geräte jeweils als eigenen Node betreiben und hat dann eine sehr kostengünstige profressionelle Hochverfügbarkeitslösung, bei der die anderen Knoten nahtlos die Arbeit eines ausgefallenen Knotens übernehmen. Man kann damit auch Load balancing machen uvm. All das, geht mit einem Mac mini auch M4 oder einer beliebigen anderen Zahl hinter dem M nicht. Der M4 Chip bringt mir für den Server nur wenig, da kommt es vor allem auf schnellen Dateizugriff und viel RAM an. 

Der Mac mini ist ein super Desktopgerät, aber kein super Server. Es wäre schön, wenn evtl jemand einen Erfahrungsbericht mit Tomedo/Proxmox besteuern könnte. Vor allem der Wartungsaufwand und die verwendete Backuplösung wären für mich interessant.

---

Interessant. Das war mir so nicht bekannt. Dann klingt das auf jeden Fall spannend. Bitte mal berichten, wie es klappt!

---

Bei Youtube (Suchwörter: ugreen proxmox truenas) findet man viele Videoanleitungen wie man das auf so einem Gerät installieren kann.

---

Bei uns laufen sämtliche Server virtuell auf VMWare (lieber Proxmox, jedoch Migration undenkbar) und somit einem einzigen Host: Tomedo, PACS, NAS, Backup...usw. Problemlos seit 2 Jahren, in guter Konfigurierbarkeit und Kontrolle. Sind ausgesprochen zufrieden. Bei Rückfragen gerne Mail an mich.

Answer 2

Him, wir haben den Server und die virtuelle Winrechner unserer Privatpraxis auf Proxmox laufen. Wurde von unserem IT-Service eingerichtet. Ich würde gerne mehr berichten, aber es läuft so problemlos, dass ich bisher keine Veranlassung hatte, mich näher damit zu beschäftigen :-)

Backup ist NAS Synologie, 1x im Haus, 1x außer Haus. Geht problemlos.

Hier läuft ebenfalls der Tomedoserver auf Debian virtualisiert, in diesem Fall auf VMWare, genauso wie ca. 10 virtuelle Winmaschinen. Gibt keine Probleme. Die Medizinprodukte hängen an echten Rechnern (noch, wir warten auf die Mac-Version von Custo...).

Backup ebenfalls 3:2:1 mit Synologie vor Ort und außer Haus. Da haben wir aber das Problem, dass wir innerhalb einer Nacht kaum alle Echoloops sichern können, die Leitungen sind zu lahm...mit diesem Internet setzt sich eh nicht durch :-)

Wir werden einen Praxisumzug nutzen, um auf Proxmox zu migrieren.  

Ich denke auch, dass ab einer gewissen Praxisgröße der Wechsel auf ein professionelles Serversystem unabdingbar ist.

 

-js

Comments

Hallo, 

das klingt nach einer guten Lösung. Der "IT-Service" in unserem Fall, bin ich selbst :). Wir haben das aktuell ähnlich gelöst. Die zwei Synologies (Praxis & bei mir zuhause) sind über das Internet (DSL & Glasfaser) und Tailscale verbunden. Wir hatten vor Tailscale (Wireguard Overlay, sehr zu empfehlen!), Openvpn (Fritzbox) und das war furchtbar lahm. Hausbesuche mit Fernzugriff haben damit keinen Spass gemacht. Das Backup ist auch oft wegen Verbindungsabbrüchen nicht fertig geworden. Falls Sie noch kein Wireguard einsetzen, könnte das Ihre Verbindung dtl beschleunigen. Man könnte zusätzlich die Bandbreite für das Backup zu den Geschäftszeiten reduzieren und das Backup unter Tags einfach weiter laufen lassen. Aber wenn die Leitung auch dann nicht reicht, um bis zum nächsten Backup fertig zu werden, dann hilft das natürlich auch nicht weiter. Läuft bei Ihnen rsync o.ä. oder die Synology eigene Backuplösung?

Meine Idee, alles in einem Gerät unterzubringen entstand daher, da Synology mit den zukünftig lauffähigen Festplatten vermutlich eine ähnliche Monetarisierung vorbereitet wie Broadcom es mit den VMWare Lizenzen getan hat. Im Zuge der Recherche zu einer Alternative, habe ich festgestellt, dass man auf so einem Ugreen Nas nicht nur eine Opensource NAS Lösung (zb Truenas Scale) betreiben könnte, sondern auch gleich den Tomedoserver mitlaufen lassen könnte. Power hätte das Gerät mehr als genug.

Die Medizingeräte, die nur unter Windows laufen, haben wir hardwaremäßig an Win11 VMs durchgereicht, die unter Parallels (leider teuer) laufen. Das funktioniert ganz gut, soll aber auch durch eine günstigere Lösung ersetzt werden.

Danke schonmal für den Input. Jetzt bin ich natürlich noch gespannter, wie das unter Proxmox läuft. Wie komme ich an die Linuxversion der Server App? Geht das nur über den Support oder kann man die irgendwo runterladen?

---

Das mit der Linux Server Version würde mich auch mal interessieren und ob es einen Leitfaden dazu eventuell geben würde. Ich würde auch gerne das von unserem Mac runterziehen und richtigung proxmox gehen wollen.

Answer 3

Ich habe nun so ein Ugreen dxp4800 plus bestellt. Es ist heute angekommen. Man muss zunächst im Bios (strg+F12) Watchdog abschalten, dann kann man über einen USB Stick Proxmox direkt auf die intern verbaute 128gb ssd installieren. Das hat ca 15 min gedauert. Man kann dann zu Testzwecken oder für den Privatgebrauch aus der Installation eine Communityedition machen. Dazu muss man dieses --> Script einmal in der Shell des Proxmox Host aufrufen -->

 

Es ist hierbei essentiell, das man das Script in der Shell des Host aufruft und nicht in der Shell einer VM oder LXCs. Nach dem Reboot hat man eine voll funktionsfähige Proxmox Community Edition auf seinem Ugreen. Morgen werde ich mal die 4 Festplatten aus den Bays an eine Truenas VM durchreichen und schauen wie gut das funktioniert. Dann würde nur noch die Tomedoserver App zu einem kompletten System fehlen. Es wäre toll wenn der Support sich äußern könnte, ob ich die Serverapp zu Testzwecken evtl. bekommen könnte, bzw. wie/wer sie auf meinem System einspielen könnte. Eine eigene VM mit Zugang für den Support kann ich ja jetzt in ein paar Sekunden einrichten.

Besten Dank im Voraus

Nachtrag: Heute wurde Truenas getestet. Man erstellt dazu eine VM in Proxmox, installiert dort das iso von Truenas und kann dann über die Proxmox GUI den Sata Controller als PCI Device direkt an die neue VM durchreichen (s. Foto).

IOMMU zum Durchreichen war bereits im Kernel des Proxmox Host aktiviert, ich musste also keine Config Dateien von Hand editieren. Alles läuft out of the box. Die Platten erscheinen dann bei Truenas wie bei einer Baremetal Installation. Die s.m.a.r.t. Werte der einzelnen Platten lassen sich auslesen, das scheint also zu funktionieren. Ich werde nochmal berichten wie performant das ist als zfs Pool ist, sobald ich meine Tests abgeschlossen habe. Einen exzellenten & billigeren Opensource Ersatz für unser Synology haben wir damit bereits auf jeden Fall.

Answer 4

So nochmal ein kleiner Nachtrag zu meinem aktuellen Setup:

Inzwischen hat das "Ugreen DXP 4800 plus" 32gb RAM, 4x4tb HDD und 2x1tb ssd erhalten. In Proxmox wird wie oben beschrieben der Satacontroller an die Trenas VM duchgereicht. Dort habe ich aus den 4 Platten ein dRaid1 erstellt (wieder zurück auf RaidZ1, da dieses zum einen stabiler und zum anderen flexibler bei nachträglichen Änderungen am ZFS Pool ist), welches ich für SMB shares und als Backupziel für Proxmox Backupserver einsetzen. Der Proxmox Backupserver läuft inzwischen als LXC (aus den Helper Scripts, sehr ressourcensparsam!) ebenfalls auf dem Proxmoxhost mit. Aus den zwei 1TB SSDs habe ich unter Proxmox selbst einen ZFS Mirror erstellt und dorthin die Truenas VM, sowie den Proxmox Backupserver LXC verschoben. Das heisst, von der verlöteten internen SSD wird nur noch Proxmox gebootet, alles andere liegt inzwischen auf sicheren (zfs mirror und draid1 RAIDZ1) Speichern. Der Plan ist natürlich, auf diesem Mirror auch noch die Tomedoserverapp laufen zu lassen.

Kommen wir zum Tempo... Ein Snapshot der Truenasinstanz auf den Tomedobackupserver dauert ca. 5 Sekunden, ein komplettes Backup der Truenas VM dauert ca 30 Sekunden. Das Rollback dauert etwa ähnlich lange. Ich denke, daß ein Snapshot einer kompletten Tomedoinstallation in unter 20 Sekunden (mit mehr Daten doch etwas länger aber immer noch unter 2 Minuten) erledigt ist, beim Backup kommt es auf die Größe an. Da Tomedo auf ZFS laufen wird, wird intern bei Proxmox auch mit zfs gesnapshotet. Das bedeutet, die Snapshots sind nicht nur sehr schnell, sondern auch noch sehr platzsparend. Beim Schreiben der Backups werden bis zu 1000MB/s erreicht, das ist aus meiner Sicht absolut ausreichend.

Um den Komfort von DSM bei Synology etwas nachzubilden, habe ich Nextcloud als Dockerapp unter Truenas installiert. Hier lässt sich ausserdem neben Tailscale auch zusätzlich Duplicati (inkrementell & versioniert) für Filebackups installieren. Das habe ich noch nicht getestet, sieht aber Hyperbackup von Synology erstaunlich ähnlich. Der Funktionsumfang ist bei Duplicati wohl etwas besser als bei Hyperbackup, genaueres weiß ich erst nächster Woche. Diese Dinge unter Truenas als Dockerapps zu installieren bietet den zusätzlichen Vorteil, dass diese Anwendungen bei Truenasbackup gleich mitgesichert werden. Sehr praktisch! Unnötig wie sich herausgestellt hat. Die Truenas/Proxmox ZFS Snapshots sind ausreichend. Es lassen sich daraus auch einzelne Files wiederherstellen.

Der Support hat mir heute freundlicherweise einen DL Link zu der Linuxversion gegeben. Das werde ich am Wochenende mal ausführlich testen. Bevor das produktiv eingesetzt wird, möchte ich mal schauen was passiert wenn ich zb im laufenden Betrieb mal den Stecker ziehe oder eine der Platten entferne. Bei Interesse kann ich dann gerne nochmal berichten.

Comments

Bei Interesse? Ja unbedingt!

---

 Ich verstehe, dass Sie da ein ziemlich durchdachtes Setup aufgebaut haben — Respekt! 

Ich denke für den durchschnittlichen "Ich will einfach nur ein NAS"-User wäre Synology vermutlich schneller und stressfreier.

Was ist der Vorteil davon? 

Wie hoch ist der initiale Aufwand (Hardware + Setup-Zeit)?

Das Setup verlangt ein gewisses Maß an Wissen, das ich nicht habe, aber mir gern aneignen würde.

Wenn etwas kaputtgeht, wie aufwändig ist die Fehlersuche?

Wie hoch ist der Wartungsaufwand? (Updates für Proxmox, TrueNAS, Docker, ggf. Nextcloud, etc)?

Was genau meinen Sie mit dem Test „Stecker ziehen“ oder „Platte ziehen“ ? 

---

Wir werden im Sommer die Umstellung vornehmen, sobald der Praxisbetrieb hoffentlich etwas ruhiger ist. Das Ugreen hat inzwischen das Synology als NAS vollständig ersetzt. Ich hatte ZFS vorher nie im Einsatz (leider) und habe festgestellt, dass das ganz ausgezeichnet ist um sehr schnelle und v.a. platzsparende Backups in Form von ZFS snapshots zu machen. Das kann sowohl Truenas als auch Proxmox nativ. Das Tomedobackup wird dadurch überflüssig, weil man einfach ein Backup von der ganzen VM macht, mitsamt den darin befindlichen Daten. Wenn z.B. ein Tomedoupdate Probleme macht, kann man in wenigen Minuten zur vorherigen alten Fassung zurückkehren. Diese Snapshot belegen kaum Platz (immer nur das Delta zum letzten Snapshot), daher kann man sie auch inflationär erstellen.

Der Tomedoserver kommt als iso Datei. Man installiert es in einer VM. Ich habe der VM aktuell 4 Kerne und 32gb RAM spendiert. Als Basis läuft Ubuntu wovon man aber kaum etwas mitbekommt, da sich allles bequem über die bekannte GUI steuern lässt.

Der Umzug sollte bei guter Vorbereitung keine großen Probleme machen. Man kann im Vorfeld den neuen Server einrichten (KIM, HZV, DICOM usw.), am Stichtag am alten Server ein Tomedo Backup machen, dieses am neuen Server einspielen, den alten Server abschalten, die IP des neuen Servers auf die IP des alten Servers umstellen und dann sollte das hoffentlich alls nahtlos weiterlaufen. Der Tomedo Support braucht ca 4 Wochen Vorlauf.

Wir hätten dann noch den Mac mini 2018 übrig, für den der Support voraussichtlich nächstes Jahr endet. Ich habe überlegt, darauf ebenfalls Proxmox zu installieren (ich hoffe zumindest, dass das funktioniert), dann könnte man den Mac mini z.B. als Notfallgerät vorhalten, falls das Ugreen ausfällt. Wenn man z.B. auf dem Mac mini mit Proxmox noch zusätzlich den Proxmox Backupserver installiert, wäre das auch ein weiteres kostenloses Backupziel. Aus so einem Backup könnte man dann bei einem Ausfall des Hauptsystems auf dem Mac mini die Server VM wiederherstellen und hätte kaum Ausfallzeit, bis das Ersatzgerät eingetroffen ist.

Evtl könnte das auch für manche Leser interessant sein, wenn man keine neue Hardware anschaffen will. Ohne MacOS als "Ballast" sollte der Mac mini x86 2018 mit genug RAM (kann man leicht nachrüsten) noch einige Jahre einen sehr guten Proxmoxserver abgeben.

---

Der initiale Aufwand wäre bei einer guten Anleitung überschaubar. Ich denke mit guten Grundlagenkenntnissen und einer guten Anleitung könnte man das in 1-2 Arbeitstagen hinkriegen. Wenn man das öfters macht (Tomedo), wesentlich schneller, da kann man sicher auch noch viel Zeit mit Scripten einsparen.

Es gibt hierbei sehr viele Vorteile:

Die Hardware die ich verwende (Ugreen DXP 4400 plus) hat 595,-€ gekostet. Da kommt noch der RAM dazu (2x32gb in meinem Fall), die NVE SSDs (2x1tb in meinem Fall) und die HDDs (hatte ich noch übrig, 4x3tb). Man bekommt dafür sowhl ein NAS (Truenas) als auch einen Tomedoserver inklusive ausgezeichneter Backuplösung in einem einzigen Gerät. In einem kompakten Formfaktor mit geringem Energieverbrauch. 

Das System ist ausserdem exzellent skalierbar und kann bedarfsweise auch hochverfügbar gemacht werden (Ceph HA Cluster). Man ist auch nicht mehr an einen einzigen Hardwarehersteller gebunden (inklusive der jeweiligen Preispolitik). Da alles opensource ist, sind keine Preisverrücktheiten in Zukunft zu erwarten.

Wenn etwas kaputt geht, hat man (hoffentlich :) ) Snapshots mit einem funktionierenden Zustand. Das kann man sehr leicht (auch Laien nach Einweisung) wiederherstellen. Aufwand hierfür sind nur ein paar Minuten. Man kann hardwaremäßig entweder das Gleiche oder auch ein anderes System daneben stellen und die beiden Systeme gegenseitig replizieren lassen. Bei dem Ausfall eines Geräts kann dann wohl (habe ich nur gelesen und nicht selbst getestet) nahtlos das andere Gerät die Arbeit des ausgefallenen Systems übernehmen.

Auf Proxmox läuft bei mir noch zusätzlich Zigbee2mqtt und Homeassistant (Hausautomation für Heizung, Beleuchtung, Überwachung etc.), der DNS und DHCP Server (Technitium), davor noch ein Werbefilter (Adguard) und Node-Red für die Hausautomation u.v.m.

Proxmox nutzt als Basis Debian. Die Updates laufen über die Debian Packetverwaltung apt. Man kann sie aber auch über die GUI von Proxmox per Mausklick anstossen. 

Truenas verwendet auch irgendein Linux als Basis und hat einen eigenen Updatemechanismus. Ich habe ein Update damit durchgeführt und es werden dabei automatisch Snapshots der alten Version angelegt. Wenn etwas nicht funktioniert kann man mit ein paar Klicks auf einen laufenden Stand zurücksetzen. Nextcloud läuft als Docker Instanz innerhalb von Truenas. Bei Truenas gibt es einen "Appstore" sehr ähnlich wie die Apps bei Synology, jedoch wesentlich umfangreicher. 

Nextcloud kann man bequem über die Truenas GUI installieren und auch updaten. Man kann innerhalb von Truenas auch Docker/Portainer installieren und ist so maximal flexibel. Wer es also maximal einfach halten will, kann einfach der Truenasinstallation etwas mehr Festplattenspeicher zuordnen und alle notwendigen Zusatzsoftware dort als Docker "App" übersichtlich installieren und verwalten. Man kann Docker/Portainer aber auch direkt unter Proxmox installieren, wenn man keine Virtualisierung in einer Virtualisierung (nesting) laufen lassen möchte.

Mit dem Test bzgl der Platten meinte ich den Ablauf des Replikationsvorgang (resilvering) des ZFS Pools bei Ausfall einer Platte. Ausserdem wollte ich testen, ob man den ZFS Pool nachträglich vergrößern kann und ob das kompliziert ist (das mache ich nächstes Wochenende). Ich hatte anfangs den Datenpool aus einem draid1 (relativ neu, noch nicht 100% ausgereift, v.a. interessant bei >8 Platten) erstellt. Das habe ich aber wieder verworfen und auf RAIDZ1 umgestellt, weil es bei ZFS seit ein paar Monaten neben der bereits vorhandenen Möglichkeit durch größere Platten die Kapazität des Pools zu erhöhen auch die Möglichkeit gibt mit zusätzlichen Platten den Pool zu vergößern. Das Ugreen gibt es mit stärkeren Prozessor auch in einer 6- und 8-bay Variante. Man könnte mit einem RAIDZ2 anfangen (2 Datenplatten, zwei für Parität) und wenn der Platz knapp wird, steckt man einfach nur eine neue Platte dazu, resilverd den Pool und hat wieder ein paar Jahre Ruhe. Mit zwei Platten für Parität (RAIDZ2) wäre die Anspannung bei dem resilvering auch wesentlich geringer, weil ein Ausfall einer weiteren Platte während einem resilvering den Verlust des ganzen Datenpools bedeutet. Da ärgere ich mich grade ein bisschen, dass ich zu knausrig war und nicht gleich die 6-bay Variante genommen habe. So dient es wenigstens noch als Tip für andere die einen ähnlichen Weg gehen wollen.

Noch ein paar Screenshots zur Veranschaulichung:

---

Lieber Herr Hanemann,

ich bin zwar nicht alt - aber im Moment kognitiv so ausgelastet, dass das, was Sie da betreiben zu 90% eh über meinen Kopf hinweg fegt. Aber die Arbeit, die Sie sich machen es für uns alle auch zu protokollieren und mit welchem Detail - vielen vielen Dank!

---

Es klingt eigentlich nur kompliziert. Ich habe mir für zuhause die 8-Bay-Variante bestellt – diese sollte nächste Woche kommen.
Sie werde ich zwar primär privat und sekundär als Datengrab für die Praxis-Backups nutzen, aber ich hatte überlegt, das Tomedo-System mit TrueNAS damit noch einmal aufzubauen, da ich beim ersten Gerät ein paar Schritte nicht gut dokumentiert habe und diese nach ein paar Wochen Praxisalltag sicherlich wieder vergessen würde.

Diesmal wollte ich von allen Schritten Fotos und Notizen anfertigen und lasse dann eine KI daraus eine nette Dokumentation erstellen. Diese kann ich gerne in einem neuen Beitrag teilen. Damit sollten dann viele das System relativ einfach an ein paar Wochenenden nachbauen können.

---

Ich verstehe auch nur Bahnhof.

Ihre Doku hilft vielleicht dass andere das erlernen können.

Vielen Dank fr Ihre umfangreichen Bemühungen.

---

Hallo Herr Hanemann,

vielen Dank für die ausführlichen Infos - ähnliches habe ich mir auch oft überlegt, aber mangels Zeit und v.a. weil das "running system" nicht geändert werden sollte ;-) bisher nicht angegangen. Bisher habe ich lediglich ein selbst gestricktes borgbackup script System (verschlüsselt, inkrementell usw), um die tomedo backups auf einer Hetzner StorageBox zu sichern (kostet ca. 1/10 der von Zollsoft bzw. Partner verlangten Preise; bei Wunsch dazu gerne mehr Details).

Viele Ihrer Überlegungen/Gründe teile ich. Aber ich habe folg. Bedenken: laut Specs hat Ihre Ugreen NAS die Intel Pentium Gold 8505 5-Core CPU; da würde es mich sehr interessieren, wie diese CPU neben den anderen VMs und LXC Instanzen auch noch ausreichend Leistung für den tomedo server haben soll. Darf ich fragen, wie viele tomedo clients es bei Ihnen zu "versorgen" gibt. Bei uns sind es >30 (wenn auch nicht alle immer gleichzeitig) und da bin ich skeptisch, dass die - sagen wir mal nicht taufrische - CPU das gut packt. Haben Sie evtl. dazu benchmark-Ergebnisse / Erfahrungen?

Sehr ansprechend finde ich die Idee mit dem Backup der kompletten VM - da werden die Vorteile von zfs richtig genutzt / kommen zur Geltung. Ich freue mich, weitere Details von Ihrem "Experiment" zu lesen!

---

Schönen Sonntag allen zusammen,

Wir haben aktuell 8 Clients und demnächst kommt vermutlich noch einer dazu. Alle Clients sind zu den Geschäftszeiten nahezu durchgehend besetzt. Auf einem Arbeitsplatz wird primär Abrechnung mit entsprechenden häufigeren umfangreicheren Datenbankabfragen gemacht. Bei uns läuft aktuell alles noch schnell genug. Wir haben in unserer Praxis keine Radiologiebilder (PACS o.ä.) gespeichert oder müssen darauf zugreifen. Nur PDFs ca 0,5-1mb.

Bei dem Ugreen System habe ich gerade mit eingeschalteten Tomedoserver (ohne jegliche Aktivität auf diesem) ca 7% CPU Last (s. Screenshot). Truenas und die anderen LXCs werden auch unter Volllast nur marginal mehr CPU Last verursachen. Ich denke daher, dass genug CPU Reserven für Tomedo vorhanden sind. Der Herr vom Tomedosupport, mit dem ich die Tomedo VM zu Testzwecken per Teamviewer eingerichtet habe, teilt meine Auffassung, dass die CPU vermutlich gar nicht der Flaschenhals ist/sein wird.

Dazu müssten sich allerdings die Experten von Zollsoft äußern, denn es ist nur meine persönliche Ansicht. Der Flaschenhals ist - aus meiner Sicht - die Zugriffsgeschwindigkeit auf die Datenbank und ggf. noch die Geschwindigkeit (v.a. bei sehr vielen Clients) im LAN. Die Tomedo und Truenas VMs habe ich daher unter Proxmox auf einen ZFS Mirror der aus zwei SSDs besteht (2x1TB) abgelegt. Angeblich hat man damit bis zu doppelter Lesegeschwindigkeit. Dieser Vorteil soll sich v.a. beim Zugriff auf viele kleine Dateien bemerkbar machen. Das wäre ja genau unser aller Szenario, daher bin ich schon sehr gespannt wie sich das in der Praxis bewähren wird. Bei 30 Clients, können theoretisch 30 Lese/Schreibzugriffe gleichzeitig auf die Datenbank erfolgen. Da vermute ich a.e. Engpässe, sollte es welche geben.

In Ihrem Fall könnten sie z.B. den 10GbE Port (es gibt 1x2,5GbE und 1x10GbE) des Ugreen exklusiv an die VM durchreichen, guter Switch vorausgesetzt. Die Ugreens mit 6- und 8-Bays haben einen stärkeren Prozessor, das wäre bei einem größeren Betrieb sicherlich sinnvoller. Sollte das dann immer noch nicht ausreichen, kann man auch ein eigenes Gerät allein für den Tomedoserver nutzen (wieder mit Proxmox wegen Snapshots/Backups), welches auf schnelle Datenbankzugriffe optimiert ist.

Bei Truenas gibt es die Möglichkeit ZFS Snapshots an storj.io zu schicken (Die Funktion heißt Truenas Cloud Backup). Der Cloudspeicher von Hetzner lässt sich beim Truenas Cloud Backup vermutlich auch einbinden. Verschlüsselung etc alles bereits inklusive, sehr praktisch! storj.io ist bereits recht günstig. Ich habe für 250GB im letzten Monat sensationelle 30ct! bezahlt. Leider wurde vorgestern ein Grundpreis von 5$/Monat eingeführt. Das ist aber immer noch recht günstig.

---

Vielen Dank für die ausführlichen Infos. Wir haben aktuell einen Server mit Proxmox laufen und ich bin auf der Suche nach einem "Backup" Server falls dieser mal die Grätsche macht, um die Ausfallzeiten zu minimieren. Da ist ihre Variante mit Sicherheit eine tolle Möglichkeit. Zumal ich im Notfall auch auf etwas Geschwindigkeit verzichten kann, solange der Betrieb weiterlaufen kann.

---

Nochmals vielen Dank für die Infos - ist spannend! Ich habe noch ein paar konkrete Nachfragen:

- das Backup der VMs bzw der LXC wird primär über "pbs on pve" gemacht, richtig? Wo genau sichern Sie denn hin? Direkt auf das Storage, das TrueNAS zur Verfügung stellt? Wenn ja, über was genau - CIFS, NFS, iSCSI?

- was ist "pve02-tank" im Screenshot? Der Mirror aus den zwei 1TB NVMes?

- wenn Sie von Snapshots reden - meinen Sie die von pbs gemachte?

---

Hallo,

ich bin grade beim campen deswegen alles klein. Nächste woche bin ich zurück dann kann ich bei bedarf etwas ausführlicher schreiben .

pve02-tank ist der zfs mirror aus 2x1tb ssd. Den mirror kann man direkt unter Proxmox erstellen. Wenn man davon backups macht sind das automatisch zfs snapshots. Das ist wichtig für die backupstrategie. Ich habe die vms und lxcs nachträglich auf den mirror geschoben. Dazu muss man nur ein backup machen, die vm/lxc löschen und aus dem backup auf den mirror zurückspielen.

Das mit dem smb share in PBS (proxmox backup server)ist etwas tricky. Truenas stellt ein smb share zur Verfügung. Das smb share mounte ich auf dem Proxmox Host zb unter /mnt/pbs . Ich nutze zum automatischen mounten beim booten ein systemd script. Das musste ich so machen, weil bei einem reboot das smb share ja noch nicht zur verfügung steht, da truenas erst nach dem proxmox host gestartet wird. (Bei interesse nachfragen)

PBS läuft als lxc (helper scripts) dort kann man /mnt/pbs als mountpoint vom proxmox host an das lxc durchreichen. Das ist wesentlich besser als das smb share direkt im lxc zu mounten weil man so nur einmal das share per cifs am proxmox host mounten muss und es dann an beliebig viele lxcs als mountpoint durchreichen kann. Das geht natürlich auch mit jedem anderen share. Man kann auch mehrere mountpoints pro lxc definieren, falls man zb mehrere backupziele haben möchte, wirklich sehr nice.

Dann kann man in pbs den mountpoint als sicherungsziel für ein sog. Datastore angeben. Ganz zum schluss richtet man nun diesen datastore als storage beim proxmox host ein (gibt einen eigenen punkt für pbs storage) und kann dann darauf backupen. Der Proxmox Host macht dann einfach stumpf zu den definierten zeiten zfs snapshots auf das datastore von pbs  

Der große Vorteil es so (komplex) zu machen statt direkt vom proxmox host auf ein smb share zu backupen sind die ausgezeichneten funktionen des pbs zu nachbearbeitung und verwaltung der snapshots (pruning, verification, sync auf einen anderen pbs uvm.). Der aufwand lohnt sich definitiv.

---

Danke. Den Ablauf habe ich so in etwa nachvollzogen (im Groben auch schon vor Ihrer Antwort :-) ). Momentan habe ich Probleme beim durchreichen des cifs-mount von pve (dort gemountet) an lxc. Mit der Änderung der jeweiligen .conf Datei (/etc/pve/lxe/<lx-nr>.conf) wie hier (https://pve.proxmox.com/wiki/Unprivileged_LXC_containers#Using_local_directory_bind_mount_points) beschrieben klappt es zum Teil: ich habe zwar dann den mount auch im lxc, aber kann den nicht beschreiben und somit auch dieses Verzeichnis nicht als Datastore unter pbs einrichten. Irgendwas übersehe ich :-(

Ich würde mich daher freuen wenn Sie mir die .conf Datei des pbs lxc (in /etc/pve/lxc/...) posten könnten. Und natürlich bin ich auch gespannt, wie Sie das Problem mit dem mounten des smb shares in pve beim booten lösen (TrueNAS startet erst nach dem pve gebootet ist ...). Sprich wie das systemd script aussieht :-)

Danke nochmals für die spannende Idee. Ich denke momentan nach, ob ich den pbs nicht -  wie ja empfohlen - doch auf einem separaten Rechner laufen lasse sollte.

---

Klingt nach einem Rechteproblem. Ich habe zuerst unter Truenas einen neuen Benutzer angelegt (Name proxmox). Diesem User gebe ich bei Truenas auf dem gewünschten SMB Share Lese und Schreibrechte. 

Danach auf dem Proxmox Host ein neues Verzeichnis anlegen mit einem passenden Namen z.B.

mkdir -p /mnt/newshare

Jetzt muss man zwei Dateien für das (automatische) mounten mit systemd anlegen:

nano /etc/systemd/system/mnt-newshare.mount

hier folgender Inhalt:

[Unit]
Description=Mount CIFS Share for newshare
After=network.target

[Mount]
What=//<hier die IP Adresse von Truenas eintragen>/<Name des SMB Shares bei Truenas>
Where=/mnt/newshare
Type=cifs
Options=iocharset=utf8,noperm,credentials=/root/smbcredentials,uid=1000,gid=1000,file_mode=0660,dir_mode=0770
TimeoutSec=30

[Install]
WantedBy=multi-user.target

und einmal 

nano /etc/systemd/system/mnt-newshare.automount

mit dem Inhalt:

[Unit]
Description=Automount SMB Share

[Automount]
Where=/mnt/newshare

[Install]
WantedBy=multi-user.target

wie in der ersten Datei ersichtlich benötigt man noch eine Textdatei in der der Benutzername und das Passwort für den SMB Zugriff steht. --> 

nano /root/smbcredentials

Inhalt:

username=proxmox
password=<hier das Passwort des Truenas Benutzers proxmox eintragen> 

jetzt das ganze aktivieren:

systemctl daemon-reload
systemctl enable mnt-newshare.mount
systemctl enable mnt-newshare.automount

Danach entweder reboot oder das share manuell einhängen mit:

systemctl start mnt-newshare.mount

manuelles aushängen wäre:

systemctl stop mnt-newshare.mount

Mit der Methode wird das Share erst eingehängt sobald irgendjemand (zb ein LXC) darauf zugreift. Bei Proxmox habe ich Truenas bei der Boot Order auf 1 und eine Wartezeit von 2 Minuten eingetragen bevor die übrigen VMs und LXCs hochgefahren werden. 2 Minuten reichen bei mir locker aus, bis Truenas hochgefahren ist und es mit dem Booten der übrigen VMs/LXCs weiter gehen kann.

Auf dem Proxmox Host kann man nun prüfen ob das neu eigehängte Share auch beschreibbar ist:

cd /mnt/newshare
touch test

 Per File Explorer/Finder sollte die neu erzeugte Datei nun auch per SMB in dem Ordner sichtbar sein. Wenn man das hinbekommen hat, kann man das neue Share an beliebige LXCs weiterreichen. Angenommen das LXC hat die ID 105, dann müsste man:

nano /etc/pve/lxc/105.conf

 und folgende Zeile hinzufügen:

mp0: /mnt/newshare,mp=/mnt/meinneuesshare

den Namen des Mountpoint kann man frei wählen und man kann es auch an beliebiger Stelle im Dateisystem (muss nicht zwingend unter /mnt/ sein) einfügen. Das LXC unbedingt vorher herunterfahren bevor man die conf ändert! Nach dem Speicher erscheint der Mountpoint auch in der Proxmox Gui bei dem LXC unter Ressourcen und sollte dann auch im LXC verfügbar sein.