rsync SSH Upload bricht im Cronjob immer ab mit 'broken pipe'

  • Hallo zusammen,


    ich bräuchte etwas Unterstützung bei meinem aktuellen Backup-Plan.


    Bei mir läuft allnächtlich eine Backup-Routine des NAS via `rsync`.


    Diese erfolgt in drei Schritten:


    1. Es werden Daten aus einer via WebDAV gemounteten nextcloud auf das NAS kopiert

    2. Es wird ein BorgBackup in ein lokales Borg-Repository committet

    3. Ein Unterordner mit Fotos wird noch einmal auf Hetzner Storagebox synchronisiert.



    Schritt 1: Klappt problemlos, da es bei diesem Download nicht dazu kommt, dass es unheimlich viele oder große Daten gibt. Daher kommt man hier auch nicht so schnell bspw. mit dem dav2fs-Cache ins Gehege.


    Schritt 2: Borg Backup: Habe bisher noch nicht ein fehlgeschlagenes Backup gehabt *klopf-auf-holz*


    Schritt 3: Ja, letztendlich der Upload nach extern macht liefert bei mir im Rahmen des Skripts jede Nacht einen Abbruch:

    Bash
    rsync: [sender] write error: Broken pipe (32)
    rsync error: unexplained error (code 255) at io.c(820) [sender=3.1.1]


    Das dazugehörige Skript sieht wie folgt aus:


    Code
    rsync --progress -e 'ssh -p23' --recursive /media/nas/Fotos/* user@storagebox.url:nas/Fotos

    Lasse ich diese Datei nun einzeln laufen, läuft der Prozess seine Stunden, der Fortschritt wird dateiweise angezeigt und ausgegeben, aber am Ende wurden alle Dateien dorthin kopiert :/


    Startet aber nun der nächtliche Cronjob mein Backup-Skript, läufen die ganzen angedachten Syncs soweit - bis dann im dritten Schritt irgendwann die Pipe bricht ?(


    Auch alternativ via SSHFS gemountet und ins OS eingebunden (z.B. unter /media/storagebox/) komme ich am Ende des Tages zu demselben Fehler mit der Pipe.

    Dabei war die Idee (Achtung, Halbwissen!), dass die Verbindung einfach irgendwie abbricht und rsync mit expliziter SSH-Angabe selbst um die Instandhaltung der Verbindung kümmert.


    Ansonsten habe ich auch in meinem Router nachgesehen, aber die DSL Verbindung besteht seit 120+ Tagen, weswegen ich auch nicht denke, dass es die Zwangsverbindungstrennung ist (oder lese ich das einfach falsch bei mir im Router?).


    Was mache ich grundlegend falsch?

    Wo würdet ihr ansonsten weitersuchen!?


    Danke schon einmal für jeden weiteren Hinweis!

    .NET-, Unity3D-, Web-Dev.
    Mikrocomputer-Hobbyist.

  • Ich habe diesen Thread gefunden. Kennst Du den schon?

    "Really, I'm not out to destroy Microsoft. That will just be a completely unintentional side effect." Linus Benedict Torvalds, 28.9.2003


    Hast Du die Woche schon Deine Raspberry gesichert =O Bei mir tut das raspiBackup automatisch ;)

  • Danke, nein das habe ich in der Tat noch nicht gefunden.


    Liefert auf jeden Fall auch mal andere Lösungswege. Werde das mal ausprobieren :)

    .NET-, Unity3D-, Web-Dev.
    Mikrocomputer-Hobbyist.

  • Der Verdacht hat sich hinten raus bestätigt: Letzten Endes funkt mir regelmäßig die Zwangstrennung des Providers dazwischen.

    Nach 1-2 Häkchen mehr in den Routereinstellungen konnte ich diese nun auch auf einen Zeitraum _vor_ dem Sicherungslauf verschieben und nun läuft mein Skript _natürlich_ tadellos ;)


    Danke noch einmal für deine Vorschläge framp, ich habe nebenher diese Konfigurationen zusätzlich übernommen, da ich sie durchaus aus sinnvoll erachte :+1:

    .NET-, Unity3D-, Web-Dev.
    Mikrocomputer-Hobbyist.