Zugriff ab bestimmter Anzahl nicht mehr möglich

tatze92 · April 17, 2016 at 5:12 PM

Hallo liebes Forum,

wenn ich bei meiner Suche die Lösung meines Problemes übersehen habe sollte, möchte man mir das bitte mitteilen. Ich bin der Meinung, dass es das noch nicht gibt.

Nun zu meinem Problem:
Ich habe eine Raspberry pi 3, eine Webcam eingerichtet, eine Externe Festplatte über einen aktiven USB-Hub angeschlossen und eingerichtet. Die Kamera soll Bilder/Videos aufnehmen und auf die Festplatte speichern. Funktioniert auch soweit. Bin ich ganz glücklich drüber aber....

Sobald ich eine gewissen Anzahl an Daten zusammen habe (21844 Bilder/Videos) hängt sich alles auf. Die Kamera nimmt nichtsmehr auf, bzw. werden die Daten nicht mehr auf die Festplatte geschrieben. Auch stürzt an dieser Stelle die W-Lan Verbindung ab, sodass ich auf meinen Pi nicht mehr via Remote zugreifen kann.

Wenn ich nun einen neuen Ordner auf der Festplatte erstelle, und den Speicherort für die Daten entsprechend anpasse, funktioniert es wieder. Bis wieder 21844 Dateien in dem Ordner sind. Woran liegt das? Was kann ich dagegen machen?

Als Videosoftware nutze ich motion und ich habe das normale Raspbian auf dem Pi installiert.

Meine Überlegung war folgende:
Wenn das Konstrukt bei der Anzahl an Dateien abschmiert, es allerdings mit einem neuen Ordner weitergehen würde, dann kann man doch eigentlich immer wenn die Anzahl an Daten erstellt wurde, einen neuen Ordner erstellen lassen, und die Daten dann dorthinein speichern. Ist sowas realisierbar? Wenn ja, wie? - Es müsste ja theoretisch, ein neuer Ordner erstellt und der Speicherort angepasst werden. Wobei vermutlich motion neugestartet werden muss?!

Vielleicht denke ich aber auch in eine völlig falsche Richtung, und ihr habt eine andere/bessere Idee?
Nur der Vollstädnigkeitshalber erwähne ich, dass ich relativ neu bin, den Pi auch erst seit zwei Wochen besitze und auch entsprechend wenig Erfahrung mit ihm habe.

Vielen Dank schonmal für eure Meinung.

viele Grüße

Tatze

Bot · Vor 5 Minuten

Zugriff ab bestimmter Anzahl nicht mehr möglich? Schau mal ob du hier fündig wirst!

rpi444 · April 17, 2016 at 6:31 PM

Quote from tatze92

Sobald ich eine gewissen Anzahl an Daten zusammen habe (21844 Bilder/Videos) hängt sich alles auf. Die Kamera nimmt nichtsmehr auf, bzw. werden die Daten nicht mehr auf die Festplatte geschrieben. Auch stürzt an dieser Stelle die W-Lan Verbindung ab, sodass ich auf meinen Pi nicht mehr via Remote zugreifen kann.

Wie ist jetzt die Ausgabe von:

Code

sysctl fs.file-max

? Es geht evtl. um: "number of files that can remain open system-wide".

Versuch mal als Test, mit:

Code

fs.file-max = 255434

in der:

Code

/etc/sysctl.conf

und danach:

Code

sudo sysctl -p

Code

sysctl fs.file-max

tatze92 · April 17, 2016 at 8:20 PM

Sowas in die Richtung denke ich zumindest auch.

rpi444:

hab das mal gemacht was Du beschrieben hattest. Also bevor ich die sysctl.conf verändert habe, kam als Ausgabe 93852. Nachdem ich den Wert (255434) gesetzt hatte, kam der Wert (255434) als Ausgabe raus.
Bringt uns das weiter?

Bot · Vor einem Moment

rpi444 · April 17, 2016 at 9:47 PM

Quote from tatze92

... der Wert (255434) als Ausgabe raus.
Bringt uns das weiter?

Das wissen wir noch nicht. Der Wert ist OK. Ob er auch nützlich ist, solltest Du jetzt testen bzw. abwarten.

fjoke · April 17, 2016 at 10:41 PM

Hmm, würde auf keinem Betriebssystem gerne 20000 Dateien in einem Verzeichnis haben?
Wie lange dauert das bis die erzeugt sind?

Mein Motion erzeugt 2 Dateien pro (Bewegungs)-Event: Einen avi Film und ein jpg Bild.
Ich habe davon 0-10 Pro Tag im Verzeichnis und lösche oder kopiere sie jede Woche in Datums-Verzeichnisse.

Egal, wäre nur ein Weg das wirkliche Problem zu vermeiden aber nicht generell zu lösen.

tatze92 · April 18, 2016 at 9:02 AM

fjoke:
Da hast Du wohl recht. Aber ich kann bzw. will das auch gar nicht momentan ändern. Hab ehrlich gesagt auch nicht damit gerechnet, dass da soviele Dateien entstehen. Aber das ist ein anderes Thema.
Mein motion macht auch pro Bewegungs-Event ein Bild und eine avi-Datei. Wobei bei mehreren Bewegungen, wird die avi-Datei schonmal etwas größer. Was aber auch soweit in Ordnung ist.
Die Dauer der Erzeugung ist unterschiedlich. Je nachdem wieviel Bewegung dadrin ist. Wir reden hier ungefähr von 2 Stunden bis nach oben offen (Kommt drauf an wieviel sich die Vögel im Nistkasten bewegen).

rpi444:
Hab grade mal nachgeschaut, es sind inzwischen wieder 21844 Dateien und es passiert wieder nichts.... Sprich die Änderung an sich hat offensichtlich nichts gebracht. =(

Bot · Vor einem Moment

Rasp-Berlin · April 18, 2016 at 9:19 AM

https://de.wikipedia.org/wiki/Ext4

Quote

Seit Veröffentlichung im Kernel 2.6.19 sind folgende Verbesserungen implementiert worden:
ab Kernel 2.6.23: mehr als 32.000 Unterverzeichnisse,
...

Sollte also kein Problem sein.

Aber:
So viele Dateien in einem Verzeichnis kann man normalerweise nicht mehr vernünftig handhaben.
Kannst du die nicht auf mehrere Verzeichnisse verteilen?

rpi444 · April 18, 2016 at 9:39 AM

Quote from tatze92

rpi444:
Hab grade mal nachgeschaut, es sind inzwischen wieder 21844 Dateien und es passiert wieder nichts.... Sprich die Änderung an sich hat offensichtlich nichts gebracht. =(

Evtl. gibt es da einen Zusammenhang mit dem Dateisystem deiner Festplatten (d. h., die maximale Anzahl der Dateien pro Verzeichnis ist limitiert). Welches Dateisystem wird auf deinen Festplatten genutzt?

EDIT:

Code

sudo mount -n
cat /etc/fstab
df -h

?

EDIT 2:

Z. B.:

Quote

... eine unter FAT 32 erstellte Partition mit 4-kB-Clustern erlaubt "nur" max. 21844 Files pro Pfad. ...

Quelle: http://www.staff.uni-marburg.de/~naeser/oe.htm

D. h., nicht nur bzw. nicht allein das Dateisystem ist hier ausschlaggebend/entscheidend/bestimmend.

Andreas · April 18, 2016 at 10:28 AM

Hallo Tatze,

soviele Dateien in einem Verzeichnis zu haben oder haben zu wollen, macht einfach keinen Sinn.

Ein weitere Ursache, die ich sehe, ist zum einen die Anzahl der Dateien, die ein Verzeichnis handhaben kann. Zum anderen aber auch die Anzahl der Dateien, die ein Dateisystem handhaben kann. Die beiden Größen brauchen nicht identisch zu sein. Das erkennst Du auch bei den Abfagen, die Du bisher gemacht hast - und der Tatsache, dass diess keine Auswirkung hatte.
Ich würde die Dateien täglich (und bei Bedarf häufiger) auf ein anderes Medium kopieren (für jeden Tag ein Verzeichns - und bei der Anzahl wohl eher für jeden Tag ein Verzeichnis und für jede Stunde ein Unterverzeichnis) und dann die Originale löschen, damit dieses Verzeichnis nicht "vollläuft".

Das kannst Du mit einem simplen Programm machen, das entweder jede Stunde oder jeden Tag gestartet wird (Stichwort Crontab).

Deine Probleme dürften dann der Vergangenheit angehören.

Beste Grüße

Andreas

Bot · Vor einem Moment

meigrafd · April 18, 2016 at 10:55 AM

Quote from Andreas

Ich würde die Dateien täglich (und bei Bedarf häufiger) auf ein anderes Medium kopieren

Für alle täglich anfallenden Dateien jeweils ein anderes Medium zu verwenden sprengt die Anschlussmöglichkeit von Medien
Er hat bereits ein "anderes Medium" nämlich eine externe Festplatte wo die Dateien direkt hin gespeichert werden.

Ich würde lieber für jeden Tag ein Archive erstellen also die Dateien packen und die archive Dateien wiederum in ein anderes Verzeichnis (zB "_Archive") verschieben, sowie natürlich die einzelnen ungepackten Dateien löschen.

Auch könnte man die Einzelbilder eines Tages zu einem Film zusammenfügen und die Einzelbild-Dateien anschließend löschen. Packen würde ich die Filme dann aber auch irgendwann zB nach einer Woche um den belegten Platz zu reduzieren.

Andreas · April 18, 2016 at 11:03 AM

Hallo Meigrafd,

Quote from meigrafd

Für alle täglich anfallenden Dateien jeweils ein anderes Medium zu verwenden sprengt die Anschlussmöglichkeit von Medien

die deutsche Sprache ist echt schwer!

Hätte ich geschrieben:
Ich würde die Dateien täglich (und bei Bedarf häufiger) JEWEILS auf ein anderes Medium kopieren

oder

Ich würde die Dateien täglich (und bei Bedarf häufiger) auf ein JEWEILS anderes Medium kopieren

würde dies das bedeuten, was Du jetzt schreibst.

Da ich kein JEWEILS verwendet habe, meine ich, dass er von seinem Medium auf EIN anderes kopiert.

UND NICHT STÜNDLICH AUF INSGESAMT z.B. 24 FESTPLATTEN.

Das Dir die Bedeutung des Wortes JEWEILS in meinem Sinne klar ist, machst Du deutlich, in dem Du JEWEILS in Deiner Botschaft im Gegensatz zu mir verwendest.

Aber egal. Mag jeder folgern, was er möchte...

Beste Grüße

Andreas

meigrafd · April 18, 2016 at 11:20 AM

Quote from Andreas

Da ich kein JEWEILS verwendet habe, meine ich, dass er von seinem Medium auf EIN anderes kopiert.

Er hat bereits "ein anderes Medium" nämlich die externe Festplatte. Wieso sollte er nun noch zusätzlich ein anderes Medium verwenden, dann kommt es doch auch dort irgendwann zu dem selben Problem

Bot · Vor einem Moment

tatze92 · April 18, 2016 at 12:44 PM

Das soviele Dateien schlecht zu handhaben sind, habe ich auch schon feststellen (müssen). Das nimmt hier ganz schöne Dimensionen an.
Wobei die externe Festplatte 1TB Platz hat, sprich das in naher Zukunft kein Problem sein sollte. So hoffe ich. Das wird sich aber rausstellen. Zur Not habe ich noch andere Speichermöglichkeiten.
Der Grund weshalb ich momentan soviele Dateien erstellen lasse, ist lediglich derjenige, dass ich nichts verpassen möchte. Das was überflüssig ist, wird am Ende sowieso gelöscht (vermutlich 90%, aber keine Ahnung).

Rasp-Berlin:
an mehrere Verzeichnisse habe ich tatsächlich gedacht, um das Problem entsprechend zu umgehen. An der Anzahl der Daten kann ich momentan nicht viel ändern.

rpi444:
sowas in die Richtung habe ich auch schon vermutet, kenne mich aber zuwenig aus.
Hab mal die Befehle von dir reingegeben.
Ich gehe mal von aus, dass hier der letzte Punkt wichtig ist. Da steht als Dateisystem folgendes: "/dev/sda1"
wobei ich mir grade nicht sicher bin, ob diese Aussage uns weiterbringt. Weil ich der Meinung bin, dass bei Dateisystem eig sowas wie NTFS, ext, etc stehen sollte. Sowas steht hier aber nirgends.

Andreas:
An so eine Lösung habe ich spontan auch im ersten Moment gedacht. Sodass, dass nach einer bestimmten Zeit (oder wenn eine entsprechende Anzahl an Daten vorhanden ist) diese in ein neues Verzeichnis geschoben werden, bzw. ein neues Verzeichnis zum Speichern der neu entstehenden Daten erstellt wird und dorthinein gespeichert wird. Ich werde mir das mal anschauen und ein bisschen rumprobieren.
Von Crontab hab ich noch nichts gehört, aber ich schau mal an was das ist. Klingt bisher passend für mich.

meigrafd:
Archivieren klingt immer gut um Speicher zu sparen. Kann ich das mit dem Crontab auch machen? Der Zeitzyklus muss jedoch kürzer als ein Tag sein. Sonst klappt das nicht.
Soweit wie ich das Programm motion (was ich ja nutze) verstanden habe, macht es das doch sowieso. Bilder aufnehmen, über eine gewisse Dauer (solange halt Bewegung zu erkennen ist), dann aus den Bilder eine Video-Datei machen. Beides im Zielverzeichnis speichern.

Rasp-Berlin · April 18, 2016 at 12:57 PM

Ein Grund kann auch sein, dass bei der Erstellung eines Dateisystem mit definiert wird, wie viele neue Inodes angelegt werden dürfen.

Und dann kann es passieren, dass man eine 2 TByte-platte hat, auf die man schon keine Daten mehr schreiben kann, obwohl nur 1 TByte belegt ist.
wenn es nämlich so viele Dateien gibt, dass die maximale Anzahl von Inodes verbraucht wurden.

Der Fallbeschreibung nach trifft das hier nicht zu.

raspiprojekt · April 18, 2016 at 1:16 PM

Hiermit wette ich, dass die Platte mit FAT32 formatiert ist. Denn 21844 (0x5554) ist die maximale Anzahl von Dateien, die in einem Ordner (nicht auf einer Partition) bei FAT32 abgelegt werden können. Darüber hinaus gibt es einen Fehler und dieser wird dann wohl nicht vom Script abgefangen, was zum Absturz führen kann. Also entweder automatisch neue Ordner anlegen, wenn dieses Limit erreicht ist oder die Festplatte mit einem anderen System (extFAT, NTFS ...) formatieren.

Edit: Ich habe nochmal in meinen Unterlagen aus meinen Lehrgängen nachgeschaut. Das Limit hängt auch mit dem BS zusammen, ganz konkret mit der file boost api des Systems.

Bot · Vor einem Moment

tatze92 · April 19, 2016 at 8:32 AM

Ich habe jetzt ein Skript geschrieben indem die Dateien 1 mal pro Stunde in ein neues Verzeichnis kopiert werden.
Das ganze funktioniert auch soweit gut, läuft seit gestern abend flüssig.
Zumindestens nimmt die Kamera seit gestern abend wunderbar auf, und die Verzeichnisse auf der Festplatte vermehren sich :thumbs1:

Aber als ich heute morgen nachschauen wollte, ist mir aufgefallen dass die W-Lan Verbindung vom Raspberry wohl wieder abgeschmiert ist.... Kann wieder nicht per Remote dadrauf zugreifen....

Meine Überlegung, kann es sein, dass das daran liegt, das ich die Webcam direkt an den Raspberry geschlossen habe, und nicht - wie die Festplatte - über den aktiven Hub?
Gibt es sonst eine Möglichkeit dieses Problem zu lösen?
Prinzipiell wäre es nicht schlimm, wenn ich nicht via Remote zugreifen kann, hab ja Tastatur, Maus und Monitor am Pi mit angeschlossen, sodass ich auch "normal" zugreifen kann. Aber per Remote wäre das natürlich etwas netter

meigrafd · April 19, 2016 at 8:39 AM

Kann es evtl.auch einfach nur sein das Webcam und Motion nichts mit dem WLAN-Problem zu tun hat?

Sofern du das nicht explizit ausgeschaltet hast, verfügen die meisten WLAN Teile über ein "Power Save"-Modus, aus dem sie von extern auch nicht mehr raus geholt werden können. Also Frage an dich: Hast du das explizit ausgeschaltet, und wenn nein Was verwendest du fürs WLAN, Onboard?

Wenn es sich um eine USB2.0 Webcam handelt dann wird das eigentlich keine Probleme machen - allen 4 USB Ports stehen insg. 600mA zur Verfügung, USB2.0 Geräte können nicht mehr als 500mA ziehen und die restlichen Geräte nutzen ja einen aktiven Hub. Aber wieso schließt du die USB Webcam nicht auch via Hub an? Sind Tastatur+Maus auch direkt angeschlossen oder gehen die über den Hub?

...Das du auch Tastatur+Maus sowie Monitor angeschlossen hast erwähnst du jetzt zum ersten mal Das wäre von Anfang An wichtig gewesen, denn wenn Tastatur+Maus ebenfalls direkt angeschlossen sind und nur die Festplatte am aktiven Hub hängt verändert das einiges!

Also bitte noch mal so ausführlich wie möglich beschreiben WAS und WO angeschlossen ist, diesmal am besten sogar genauere Details also nicht einfach nur Festplatte sondern was für eine, ob 2,5" oder 3,5" usw. Ebenfalls welches Dateisystem diese hat wurde immer noch nicht geklärt (dazu bitte den Befehl " blkid " ausführen und die Ausgabe direkt hier posten)

rpi444 · April 19, 2016 at 8:45 AM

Quote from tatze92

... mir aufgefallen dass die W-Lan Verbindung vom Raspberry wohl wieder abgeschmiert ist.... Kann wieder nicht per Remote dadrauf zugreifen....

Eine WLAN-Verbindung kann (immer mal) aus den unterschiedlichsten Gründen abschmieren.

Bei meinem PI3 mit dem built-in WLAN, wird dieses nach einem Abschmieren, neu gestartet. Das kann man z. B. in der Ausgabe von dmesg oder in der syslog-Datei sehen/erkennen.

Wie sind auf deinem PI3, die Ausgaben von:

Code

cat /etc/dhcpcd.conf | grep -i persistent
systemctl list-units -t service | grep -i wlan

?

EDIT:

... und die Ausgaben von:

Code

dmesg -T | grep -i 'power management'
iwconfig wlan0 | grep -i 'power management'

Bot · Vor einem Moment

tatze92 · April 19, 2016 at 10:29 AM

meigrafd:
Ja das kann auch sein, möchte ich auch nicht ausschließen.
Ich hatte beim ersten Post ja schon geschrieben, dass ich ziemlich neu in der Thematik bin. Um genauer zu sein, dass ist mein erster Pi, und auch mein erstes "Projekt" was ich damit realisieren möchte. Und ich bin ja ehrlich gesagt schon ganz glücklich darüber dass das zumindest halbwegs funktioniert.
Da ich den Pi 3 habe, benutze ich das W-Lan, welches onboard drauf ist. Ausgeschaltet habe ich es (zumindest bewusst) nicht. Ich habe auf dem Raspberry das Rasbian Betriebssystem installiert, bzw. auf die SD-Karte. Da hat sich das W-Lan ziemlich automatisch verbunden, nachdem ich die Zugangsdaten eingegeben hatte.

Der Hub kam erst später dazu. Hatte zuerst auch die Festplatte direkt angeschlossen. Deswegen sind Tastatur, Maus und Webcam noch direkt angeschlossen.
Zu meinem Aufbau (dachte dass das nicht wichtig sei, deswegen habe ich das vorher nicht geschrieben sorry)
Ich hab den Pi3, mit einer 16GB Micro SD-Karte. Direkt an ihm angeschlossen ist ein Monitor via HDMI, der Stromanschluss, die USB 2.0 Webcam, der aktive Hub und der Bluetooth-Stick für Tastatur und Maus. Am Hub ist nur die Festplatte angeschlossen.
Da der Monitor ein etwas älteres Modell von DELL ist, ist er über ein HDMI-DVI Kabel angeschlossen. Der Monitor selbst besitzt nämlich keinen HDMI-Eingang.
Die Tastatur und Maus (so ein Kombiset von Logitech), kann man beides bei Nichtbenutzung ausschalten um Strom zu sparen der von den Batterieen kommt. Sprich für die beiden Geräte selbst. Den Stick kann man nicht abschalten.
Der Webcam, ist USB 2.0 von Herkules. Auch ein älteres Modell.
Der aktive USB-Hub, ist von Hama, hat vier USB 3.0 Anschlüsse, die abwärtskompatibel sind. Und halt einen seperaten Stromanschluss.
Die Festplatte ist eine Intenso 2,5 Zoll, mit 1TB Speicher.
Ich hoffe das ist genau genug, sonst bitte nochmal nachfragen.

auf den Befehl "blkid" kommt folgendes:

Code

/dev/mmcblk0: PTUUID="0cf63fa8" PTTYPE="dos"
/dev/mmcblk0p1: SEC_TYPE="msdos" LABEL="boot" UUID="35ED-46FE" TYPE="vfat" PARTUUID="0cf63fa8-01"
/dev/mmcblk0p2: UUID="443559ba-b80f-4fb6-99d9-ddbcd6138fbd" TYPE="ext4" PARTUUID="0cf63fa8-02"
/dev/sda1: LABEL="MemoryDrive" UUID="1812-377D" TYPE="vfat" PARTUUID="44d829f2-01"

rpi444:

Quote

wird dieses nach dem abschmieren neu gestartet

- Wenn es neu gestartet wurde, dann würde es doch funktionieren, oder habe ich einen Denkfehler drin? - Bisher hab ich den Pi immer wieder neugestartet, dann war wieder alles verbunden.
Nun zu deinen Ausgaben.
Auf

Code

cat /etc/dhcpcd.conf | grep -i persistent

kommt

Code

persistent

Auf

Code

systemctl list-units -t service | grep -i wlan

kommt

Code

ifup@wlan0.service                 loaded active exited  ifup for wlan0

Und auf

Code

dmesg -T | grep -i 'power management'

kommt

Code

[Di Apr 19 08:48:47 2016] brcmfmac: power management disabled

und auf

Code

iwconfig wlan0 | grep -i 'power management'

kommt

Code

Power Management:on

was sich für mich als Anfänger so rausliest, als ob sich das W-Lan in eine Art "Schlafmodus" schaltet, zumindest laut der allerletze Antwort, und dass dieser "Schlafmodus" heute morgen um 08.48 Uhr sich abgeschaltet hat/ haben muss, was hinkommt, da ich um die Zeit ungefähr den Pi neu gestartet habe.

Mit den ersten zwei Ausgaben kann ich allerdings nichts anfangen...

rpi444 · April 19, 2016 at 10:39 AM

Quote from tatze92

Wenn es neu gestartet wurde, dann würde es doch funktionieren, oder habe ich einen Denkfehler drin?

Naja, es muss auch so konfiguriert sein, was per default anscheinend nicht der Fall ist.

Wie ist auf deinem PI3, die Ausgabe von:

Code

systemctl status ifup@wlan0.service

wenn das WLAN funktioniert?

Quote from tatze92

Und auf

Code

dmesg -T | grep -i 'power management'

kommt

Code

[Di Apr 19 08:48:47 2016] brcmfmac: power management disabled

und auf

Code

iwconfig wlan0 | grep -i 'power management'

kommt

Code

Power Management:on

Das "power management" ist im driver (hard codiert) schon disabled.
Wie ist aud deinem PI3, die Ausgabe von:

Code

uname -a

Wenn die Ausgabe von iwconfig, auf deinem PI3 auch off anzeigen soll, dann schreibe wirksam in die rc.local:

Code

/sbin/iwconfig wlan0 power off

Participate now!