bekanntes Apple SMB-Problem: extrem langsamer Dateitransfer bei vielen kleinen Dateien - Tomedo Bac

Frederik Hantke

Guten Tag zusammen!

Nachdem wir ein brand neues NAS im 10Gbit LAN aufgesetzt haben und eine daher ganz neu von Null erstellte Tomedo Backup-Kopie über zwei Wochen (!!!) für den Transfer benötigt hatte, bin ich der Sache nachgegangen. Es lag an einem Bug auf Seitens Apple, die das SMB-Protokoll verhunzt haben und seit sicher 2024 keine Lösung hierfür bringen. (siehe u.a. hier, hier, hier und hier).

Im Detail wird der Datentransfer extrem langsam, je mehr Dateien gelesen und per SMB auf ein Netzlaufwerk geschrieben werden müssen. Wir sprechen hier im Bereich von wenigen Byte/s (NICHT _kilo_). Dies kommt vor allem bei sehr dateilastigen Backupverzeichnissen zum Tragen, die z.B. tausende von PDF und HL7-Dateien beherbergen, wie sie u.a. von Laborsystemen erzeugt werden.

Da Apple keine Motivation hat, bzw. die angebotenen Workarounds (z.B. hier oder hier), leider absolut nichts bringen ist nun meine dringende Bitte an das Tomedo-Team: kann man die Backups nicht einfach auf dem Server vor dem Backup einfach automatisch Zippen und erst dann übertragen? Das würde das Backup extrems beschleunigen, da nur noch die Zip-Dateien übertragen werden müssten.

Das Backup auf externe Festplatten ist hiervon zum Glück NICHT betroffen, da man hier nicht das SMB-Protokoll nutzen muss. Daher fällt es whs. bisher auch nicht so vielen von den Tomedoianern auf.

Andi Dittrich

Seit längerer Zeit ist es über die Servetools möglich das Backup unter MacOS nativ per rsync an einen Backupserver zu transferieren. Das ist signifikant schneller als SMB oder S3.

In den neuen Servertools Versionen ab ~165? ist in der "neuen Ansicht" direkt rsync (Backup auf Netzlaufwerk) auswählbar. Am besten stellen Sie es darüber um. Ggf. muss durch den Support das native rsync Modul nachinstalliert werden.

Beste Grüße

Dr. Marks

Die Idee mit der rsync ist gut: bei mir ist es darauf umgestellt und es läuft super. habe auch eine synology NAS

ChLande

Bei den Einstellung (Server, Konfiguration) gibt es diese Option mit der Auswahl "als gepacktes Archiv (tar.gz) speichern"!

Geht das in die richtige Richtung. Ich habe es aber noch nicht ausprobiert.

Dirk Küpper

Ich behelfe mir da immer mit einem Shellscript und Keka:

#!/bin/sh

BACKUP_DIR="/Volumes/ExterneszusaetzlichesSSDLaufwerk/Tomedobackup"
SOURCE_DIR="/Users/BenutzerkontodesmacOSServers/tomedo_Backup"
PASSWORD="HiergehoerteinverdammtlangesundgutesPassworthineinundwennichschreibeverdammtlangdannmeineichverdammtlangsodasauchQuantencomputerreisausnehmen"
DATE=$(date '+%Y%m%d')
TIMESTAMP=$(date '+%d-%m-%Y-%H-%M-%S')
TODAY_FOLDER="$SOURCE_DIR/${DATE}_*"

# [ ! -d "$BACKUP_DIR" ] && mkdir -p "$BACKUP_DIR" >/dev/null 2>&1

if ls $TODAY_FOLDER >/dev/null 2>&1; then
folder=$(ls -d $TODAY_FOLDER | head -n 1)
FOLDER_NAME=$(basename "$folder")
ARCHIVENAME="Tomedo_${FOLDER_NAME}_${TIMESTAMP}.7z"

/Applications/Keka.app/Contents/MacOS/Keka --cli 7z a -t7z -mx0 -p"$PASSWORD" "$BACKUP_DIR/$ARCHIVENAME" "$folder" >/dev/null 2>&1
fi

exit 0

Danach wird es Nachts zusätzlich verschlüsselt in die pCloud gespeichert: https://partner.pcloud.com/r/117093

ChLande

Hab es gestern ausprobiert und tatsächlich ist die Datenbank im BackUp Ordner als tar.gz gepackt. Sind jetzt nur noch 10 Dateien anstelle > 2000 im Backup Ordner.

DrKeller

Guten Tag Herr Hantke,

ich kann Ihren Frust absolut nachempfinden. Wir hatten anfangs ähnliche Bedenken, haben unser System (Mac Mini Server und NAS) aber nun so konfiguriert, dass die Backups trotz Millionen von Kleinstdateien (PDFs etc.) stabil und performant laufen.

Der entscheidende „Trick“ ist bei uns eine physische und logische Trennung des Datenverkehrs. Anstatt das Backup über das normale Praxis-LAN (wo auch alle Clients, KIM und das Internet hängen) zu schicken, nutzen wir eine 10-Gigabit-Direktverbindung zwischen Server und NAS.

Unser Setup kurz erklärt:

Die „Zweier-Leitung“: Das NAS ist zweifach verkabelt. Einmal normal mit dem Praxis-Netzwerk (für Administration/Updates) und einmal per 10-Gbit-Kabel direkt mit dem Server.
Eigene „Autobahn“-IPs: Wir haben für diese Direktverbindung ein eigenes Subnetz eröffnet. Das NAS hat dort eine separate IP (z. B. 10.0.0.1) und der Server ebenfalls (z. B. 10.0.0.2).
Pfad-Erzwingung: In den Tomedo Server-Tools verbinden wir das Backup-Laufwerk nicht über den Servernamen, sondern explizit über die IP-Adresse der Direktleitung (also smb://10.0.0.1/...).

Dadurch „weiß“ macOS zwingend, dass es nicht über den langsamen Switch im Praxis-Flur gehen darf, sondern die 10-Gbit-Leitung nehmen muss. Der von Ihnen erwähnte SMB-Overhead bei Kleinstdateien lässt sich zwar nie ganz eliminieren, aber auf einer dedizierten 10-Gbit-„Autobahn“ ohne Gegenverkehr fällt er deutlich weniger ins Gewicht.

Vielleicht hilft dieser Ansatz bei Ihrer Konfiguration auch weiter!

Beste Grüße aus der Praxis