rsync SSH Upload bricht im Cronjob immer ab mit 'broken pipe'

  • Hallo zusammen,

    ich bräuchte etwas Unterstützung bei meinem aktuellen Backup-Plan.

    Bei mir läuft allnächtlich eine Backup-Routine des NAS via `rsync`.

    Diese erfolgt in drei Schritten:

    1. Es werden Daten aus einer via WebDAV gemounteten nextcloud auf das NAS kopiert

    2. Es wird ein BorgBackup in ein lokales Borg-Repository committet

    3. Ein Unterordner mit Fotos wird noch einmal auf Hetzner Storagebox synchronisiert.


    Schritt 1: Klappt problemlos, da es bei diesem Download nicht dazu kommt, dass es unheimlich viele oder große Daten gibt. Daher kommt man hier auch nicht so schnell bspw. mit dem dav2fs-Cache ins Gehege.

    Schritt 2: Borg Backup: Habe bisher noch nicht ein fehlgeschlagenes Backup gehabt *klopf-auf-holz*

    Schritt 3: Ja, letztendlich der Upload nach extern macht liefert bei mir im Rahmen des Skripts jede Nacht einen Abbruch:

    Bash
    rsync: [sender] write error: Broken pipe (32)
    rsync error: unexplained error (code 255) at io.c(820) [sender=3.1.1]

    Das dazugehörige Skript sieht wie folgt aus:

    Code
    rsync --progress -e 'ssh -p23' --recursive /media/nas/Fotos/* user@storagebox.url:nas/Fotos

    Lasse ich diese Datei nun einzeln laufen, läuft der Prozess seine Stunden, der Fortschritt wird dateiweise angezeigt und ausgegeben, aber am Ende wurden alle Dateien dorthin kopiert :/

    Startet aber nun der nächtliche Cronjob mein Backup-Skript, läufen die ganzen angedachten Syncs soweit - bis dann im dritten Schritt irgendwann die Pipe bricht ?(

    Auch alternativ via SSHFS gemountet und ins OS eingebunden (z.B. unter /media/storagebox/) komme ich am Ende des Tages zu demselben Fehler mit der Pipe.

    Dabei war die Idee (Achtung, Halbwissen!), dass die Verbindung einfach irgendwie abbricht und rsync mit expliziter SSH-Angabe selbst um die Instandhaltung der Verbindung kümmert.

    Ansonsten habe ich auch in meinem Router nachgesehen, aber die DSL Verbindung besteht seit 120+ Tagen, weswegen ich auch nicht denke, dass es die Zwangsverbindungstrennung ist (oder lese ich das einfach falsch bei mir im Router?).

    Was mache ich grundlegend falsch?

    Wo würdet ihr ansonsten weitersuchen!?

    Danke schon einmal für jeden weiteren Hinweis!

    .NET-, Unity3D-, Web-Dev.
    Mikrocomputer-Hobbyist.

  • rsync SSH Upload bricht im Cronjob immer ab mit 'broken pipe'? Schau mal ob du hier fündig wirst!

  • Der Verdacht hat sich hinten raus bestätigt: Letzten Endes funkt mir regelmäßig die Zwangstrennung des Providers dazwischen.

    Nach 1-2 Häkchen mehr in den Routereinstellungen konnte ich diese nun auch auf einen Zeitraum _vor_ dem Sicherungslauf verschieben und nun läuft mein Skript _natürlich_ tadellos ;)

    Danke noch einmal für deine Vorschläge framp, ich habe nebenher diese Konfigurationen zusätzlich übernommen, da ich sie durchaus aus sinnvoll erachte :+1:

    .NET-, Unity3D-, Web-Dev.
    Mikrocomputer-Hobbyist.

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!