Raspberry hängt, keine SSH Verbindung mehr möglich

    Nabend zusammen!

    Gestern Nacht scheint sich mein Raspberry Pi 4 aufgehangen zu haben. Es ist keine SSH Verbindung mehr möglich. Der Pi wird ausschließlich per SSH verbunden, beim OS handelt es sich um die light Version, daher ist ein Anschließen mit HDMI an einen Monitor nicht möglich.

    Installiert sind u.a. Nextcloud Pi, ioBroker und pivCCU im lx Container.

    Komischerweise funktionieren manche ioB Skripte noch, das erkenne ich an meiner Lichtschaltung. Homematic Aktoren + Sensoren reagieren noch.

    Die WebUIs der o.a. Programme reagieren zunächst mit langen Ladezeiten, der blaue Body von Nextcloud wird bespielsweise geladen, bevor es nicht mehlr weitergeht, bzw. ein Seiten-Ladefehler angezeigt wird.

    Ist es noch irgendwie möglich, den Pi herunterzufahren, bzw. zu rebooten, oder bleibt nur noch Netzstecker ziehen als Option?

    Vielen Dank für Eure Antworten!!!


    Raspbarry Pi 4

    armhf (debian 10) 32 bit

    komplette ohne SD Karte, alles über SSD

    Quote from Karel

    ...... um die light Version, daher ist ein Anschließen mit HDMI an einen Monitor nicht möglich.

    I

    Natürlich kannst Du einen Monitor und eine Tastatur am Pi anschliessen, ein Shutdown veranlassen und über die Logfiles den/die Fehler suchen.


    Oder Du verwendest die letzte Datensicherung.



    Servus !

    RTFM = Read The Factory Manual, oder so

    "Headless" bzw. "light" ist ja da nur gemeint, dass es keine graphische Oberfläche gibt. Aber natürlich habe ich die auch mal am Monitor, wenn es sein muss. Das ist das kleinste Problem, nutze ich immer wieder mal genau so.

    Raspberry Pi 4b 8GB - Raspberry Pi 400 - TP-Link TL-SG108E

    Flightradar24, FlightAware, OpenADSB, Syncthing, Seedbox

    Quote from RTFM

    Natürlich kannst Du einen Monitor und eine Tastatur am Pi anschliessen, ein Shutdown veranlassen und über die Logfiles den/die Fehler suchen.

    Ah okay, das wusste ich gar nicht. Die Option fällt aber auch schon weg, da ich keine Tastatur habe...


    Gibt es sonst noch ne Möglichkeit das Teil sauber herunten zu fahren?


    Edit: Ich konnte mich jetzt doch per SSH einloggen und das System herunter fahren. Komme ich denn jetzt noch an die Logs? Wenn ja, wie?

    Edited once, last by Karel: Edit ().

    Quote from Karel

    ... schon weg, da ich keine Tastatur habe...


    Gibt es sonst noch ne Möglichkeit das Teil sauber herunten zu fahren?

    Was kostet die billigste geeignete Tastatur, die Du morgen früh kaufen könntest? Oder soll dein PI, jetzt sofort runter gefahren werden?

    BTW: Für die Zukunft empfehle ich dir Redundanz zum ssh mit z. B. telnet im VPN und einen cronjob alle 5 Minuten (oder gleichwertig) , der bei nicht erreichen des default gateway, deinen PI ordnungsgemäß runter fährt. Dann brauchst Du weder Bildschirm noch Tastatur.

    The most popular websites without IPv6 in Germany.  IPv6-Ausreden

    Edited once, last by rpi444 ().

    Quote from rpi444

    Was kostet Du billigste geeignete Tastatur, die Du morgen früh kaufen könntest? Oder soll dein PI, jetzt sofort runter gefahren werden?

    BTW: Für die Zukunft empfehle ich dir Redundanz zum ssh mit z. B. telnet im VPN und einen cronjob alle 5 Minuten (oder gleichwertig) , der bei nicht erreichen des default gateway, deinen PI ordnungsgemäß runter fährt. Dann brauchst Du weder Bildschirm noch Tastatur.

    Mit der Tastatur haste völlig recht!


    ... telnet im VPN schaue ich mir an! Sagt mir bis jetzt nix...

    Quote from Karel

    ... telnet im VPN schaue ich mir an! Sagt mir bis jetzt nix...

    Z. B.:

    The most popular websites without IPv6 in Germany.  IPv6-Ausreden

    okay, wie gesagt, ich muss mich einlesen, habe nämlich keine Ahnung, was telnet ist oder was es macht. Im Kontext würde ich vermuten, es ist eine Alternative zu ssh. Der Pi wird heruntergefahren, wenn ssh nicht mehr erreichbar ist?

    Quote from Karel

    Im Kontext würde ich vermuten, es ist eine Alternative zu ssh.

    Ja.

    Quote from Karel

    Der Pi wird heruntergefahren, wenn ssh nicht mehr erreichbar ist?

    Naja, warum ist der sshd nicht mehr erreichbar? Ist der sshd down oder funktioniert die Netzwerkverbindung zum PI nicht mehr? Mit systemd sollte der sshd (fast) immer aktiv sein.

    Das herunterfahren hat nichts mit ssh und auch nichts mit telnet zu tun. Der cronjob (oder gleichwertig) der bei nicht erreichen des default gateway, den PI runter fährt, ist nicht von ssh (oder von telnet) abhängig. Die Benutzung von ssh und von telnet kann aber vom default gateway (Router) abhängig sein (... wenn man keine direkte Verbindung zum PI hat).


    EDIT:


    BTW: Hast Du den Kernel-watchdog auf deinem PI aktiviert?

    Code
    :~ $ cat /boot/config.txt | grep -i watchdog
dtparam=watchdog=on
    Code
    :~ $ ls -la /dev/watchdog*
crw------- 1 root root  10, 130 Oct  7 20:37 /dev/watchdog
crw------- 1 root root 248,   0 Oct  7 20:37 /dev/watchdog0

    EDIT 2:


    Der hardware/kernel-watchdog wird nur dann aktiv (mit einem "hard reboot"), wenn sich der PI _richtig_ aufgehängt hat und z. B. der cronjob den PI auch nicht mehr runterfahren kann. Der "hard reboot" hat aber zur Folge, dass der Datenträger nicht mehr ausgehängt wird (not properly dismounted). Das ist dann wie Stecker ziehen.

    The most popular websites without IPv6 in Germany.  IPv6-Ausreden

    Edited 2 times, last by rpi444 ().

    Quote from RTFM

    ... und über die Logfiles den/die Fehler suchen.


    ich denke gegen 04:00 Uhr könnte was schief gelaufen sein... Kann das jemand übersetzen?

  • Post by Karel ().

    This post was deleted by the author themselves ().
    Quote from Karel

    ich denke gegen 04:00 Uhr könnte was schief gelaufen sein...

    Dein PI hat um 04:00 Uhr ein reboot gemacht. Hast Du das so konfiguriert (cronjob oder gleichwertig?) oder ist das im Zuge von "automatischem update"? Hast Du evtl. eigene service-units erstellt?

    Wie sind die Ausgaben von:

    Code
    ps aux
sudo netstat -tulpena
ip a
free -m
df -h
lsblk -fp
systemd-analyze time
systemd-analyze blame

    ?

    The most popular websites without IPv6 in Germany.  IPv6-Ausreden

    Ein Problem Deines Systems könnte sein, dass es kein Dtoverlay/Modul für eine rx8130 RTC gibt.


    [ 2.998094] i2c i2c-1: probing for rx8130 failed



    Servus !

    RTFM = Read The Factory Manual, oder so

    Karel Nur so ein Hinweis: Man kann auch eine Datei/Log in einem Beitrag anhaengen (dragndrop oder upload) und muss nicht eine grosse Textmenge in Stuecke zerlegt in einzelnen Postings unterbringen ;) Das macht das Sichten eines Logs wesentlich einfacher.

    Hast Du schon Deine Raspberries gesichert :fies:

    Bei mir erledigt das raspiBackup vollautomatisch jede Woche :shy:

  • Post by Karel ().

    This post was deleted by the author themselves ().
    Quote

    BTW: Hast Du den Kernel-watchdog auf deinem PI aktiviert?

    Nein.


    Code
    pi@raspberrypi:~ $ cat /boot/config.txt | grep -i watchdog
pi@raspberrypi:~ $ ls -la /dev/watchdog*
crw------- 1 root root  10, 130 Okt 12 21:57 /dev/watchdog
crw------- 1 root root 250,   0 Okt 12 21:57 /dev/watchdog
    Quote

    Dein PI hat um 04:00 Uhr ein reboot gemacht. Hast Du das so konfiguriert (cronjob oder gleichwertig?) oder ist das im Zuge von "automatischem update"? Hast Du evtl. eigene service-units erstellt?

    Nein. Kein Cronjob und keine automatischen Updates. Eigene service-units sagt mir nix, also gehe ich mal von nein aus... ;)


    Der Pi hat auch vorher noch nie um 4 Uhr rebootet. Das hätte ich sonst über ioBroker gemeldet bekommen....