Wetterstation + Bilder, Erfahrung Hardware etc. (Upload einer Datenbank in einen Webspace) Grafana?

  • Hallo Community,


    Kurze Info Vorweg


    Wir sind ein Verein und hatten auf unserem Gelände eine Wetterstation, die mit WEEWX auf dem Raspberry die Daten mittels RSYNCauf unseren Webspace geschoben hat.

    Problem war hier das wir im Monat fast 6 GB an Datenvolumen (Datentarif) hatten.

    Problem ist eigentlich der Ursprung, das keine Datenbank geupdatet hochgeladen wird, sondern immer der komplette HTML Ordner gesynct wird, da mit jedem Datenupdate der Wetterstation

    die HTML Dateien an sich verändert wurden..... Das sorgt natürlich für Datenvolumen, Datenvolumen, Datenvolumen..... da unser Aktualisierungsintervall auch relativ hoch ist (Vereinsbedingt ist der Bedarf gewollt)

    Unsere Wetterstation ist nun DEFEKT (Froggit WS1060 war das Display das die Daten an den Raspy weitergegeben hat)

    Mittlerweile ist die Vorbereitung das auch ein oder mehrere Bilder dazukommen sollen (Webcam). -->> Also Erweiterung.




    Was wird nun gewollt oder ist gewünscht:

    - Wetterdaten vor Ort durch Sensoren (Wind, Regen, Temperatur, Sonne, Barometrischer Druck, evtl. UV)

    - Wetterdaten von Wetterdienst zur Vorhersage

    - Vorbereitung von Cam (Bilder) für Einsatz nach dem Vereinsbeschluss

    - Optisch sollte es Modern & für unsere Mitglieder in Deutsch sein (durch einen Skin (BlauesLedersofa) konnte ich es ansprechend gestalten.

    - Upload der Daten evtl. als Datenbank in MySQL womit die Homepage sich dann durch die Datenbank aktualisiert (so funktionieren PHP-Seiten, ja eher im Vergleich zu HTML)

    - evtl. mit Grafana das ganze besser gestalten?

    außerdem ist eine kleine Datenbank deutlich kleiner im Uploadvolumen und es wäre Platz für die "Bilder"



    Habe ich was vergessen? :conf::conf::conf::conf::/



    Achja: ich habe fast Befürchtung bei Weewx bleiben zu müssen, das es keine komfortable alternative gibt für den Linux / Raspberry Bereich. Aber evtl. hat jemand eine alternative

    oder ein "Hey Datenbank Upload geht hiermit ;-)" :bravo2::bravo2:

  • Wart ihr denn sonst zufrieden mit der Wetterstation und würdet sie wieder nehmen? Man kann sich auch selbst alle möglichen Sensoren an den Pi hängen, eine fertige Station mit allem drum und dran wird aber schöner und einfacher sein.


    Was für ein Abfrageintervall ist denn gewünscht? Alle 5 Minuten wäre immer noch völlig ausreichend.


    Wie du schon gemerkt hast, ist das Synchronisieren des ganzen Ordners nicht so der Bringer:D Um den Verbrauch zu reduzieren, sollten wirklich nur die reinen Messwerte hochgeladen werden - mehr nicht. Welchen Umfang hat euer Webspace, also wie viel könnt ihr damit anstellen? Eine PHP-Seite mit POST-Befehl sollte eigentlich immer funktionieren, um Daten über eine einfache URL in die Datenbank zu schreiben. Der Pi ist dann nur zuständig für das Lesen der Messwerte, daraus dann eine URL zu basteln und diese aufzurufen (z.B. unserVerein.de/wetterSenden?temp=20&hum=70&wind=5).


    Grafana ist schön und einfach zu bedienen, jedoch wird nur Englisch angeboten. Man kann die Blöcke zwar deutsch benennen, aber Zeitstempel und die restliche Oberfläche sind weiterhin in Englisch.


    Laut GitHub unterstützt weewx den Zugriff über eine Datenbank: "Support sqlite and MySQL" und "Support for many data aggregation services, including: [...] InfluxDB". Je nach Möglichkeit eures Webspaces könnt ihr also dort weewx laufen lassen und die Datenbank auslesen, in die der Pi aus der Ferne schreibt.


    Alternativ kann der Pi auf dem Vereinsgelände auch an einen Pi bei dir Zuhause die Daten schicken, dieser aktualisiert die HTML-Seiten und synchronisiert diese dann wiederum mit eurem Webspace.

    Kelvin

  • > Problem war hier das wir im Monat fast 6 GB an Datenvolumen (Datentarif) hatten.

    Da macht ihr aber was sehr seltsames.


    Ich hab hier ein Log der Temperatur der letzten 17 Monate. Das bekommt etwa einen Eintrag prol pro Minute und gerade mal 45MB!


    Schickt die Daten an ein PHP-Script auf dem Server das sie in die Datenbank eintraegt. Ein anderes Script liest sie wieder aus und stellt sie schoen dar.

  • Wart ihr denn sonst zufrieden mit der Wetterstation und würdet sie wieder nehmen? Man kann sich auch selbst alle möglichen Sensoren an den Pi hängen, eine fertige Station mit allem drum und dran wird aber schöner und einfacher sein.

    sonst waren wir mittlerweile mit dem "System" an sich zufrieden, ich musste mich lange einarbeiten bis ich das System am laufen hatte,

    gerade mit dem FileUpload hat es gedauert bis ich RSYNC gerade mit "STRATO" richtig verbunden hatte

    Was für ein Abfrageintervall ist denn gewünscht? Alle 5 Minuten wäre immer noch völlig ausreichend.

    Der Logg ist aktuell etwas gestrippt... der WeeWx macht eine 5 Minuten Update

    der Upload von RSYNC passiert im 15 Minuten Tackt...

    Der Upload auf Strato direkt hat nicht richtig bzw regelmäßig Fehler erzeugt, dann habe ich den Umweg über RSYNC gesucht, das hat dann immer Reibungslos funktioniert.

    Auch wenn der Ordner recht klein ist, läppert sich es am Ende des Monats doch ganz ordentlich, so das ich befürchte wenn dann eine Kamera (Standbild alle X Minuten) das Limit übertreten wird..... Zumal ich aktuell nicht weiß wie ich ein CamBild zusätzlich einfügen könnte

    Daher mein Gedanke mit der Datenbank, allerdings lädt Weewx aktuell "nur" HTML hoch und wird für eine Datenbankausarbeitung, wie hier im Forum, PHP-Rohdaten die dann anhand der DB Inhalte die Seite aufbauen?


    dann würde Grafana in der Tat evtl. ausscheiden. müsste man in einem "fertigen" Website Overlay mal antesten.


    GitHub: das wäre ja super, das wäre quasi das gewünschte Ziel.... Aber ist es für einen "halb" Laien erstellbar?

    Wir haben wie schon beschrieben einen normalen Strato Webspace (mit der Option mehrere Datenbanken anzulegen) ich vermute die Datenbanken sind auch extern erreichbar, da ich Datenbankserver URL + User + PW bekomme


    > Problem war hier das wir im Monat fast 6 GB an Datenvolumen (Datentarif) hatten.

    Da macht ihr aber was sehr seltsames.

    Ich hab hier ein Log der Temperatur der letzten 17 Monate. Das bekommt etwa einen Eintrag prol pro Minute und gerade mal 45MB!

    Schickt die Daten an ein PHP-Script auf dem Server das sie in die Datenbank eintraegt. Ein anderes Script liest sie wieder aus und stellt sie schoen dar.


    Und da liegt der Unterschied bei uns, bei mir synchronisiert er immer den kompletten html Ordner der Wetterstation,

    da durch WeeWX aber immer und immer wieder alle Dateien ein neuen Timestamp bekommen (es wird jedesmal jede Datei jedes Bild (sonneMond etc..)

    neu timegetaggt dadurch wird immer wieder der komplette Ordner synchronisiert....

    deswegen suche ich die Möglichkeit nach dem PHP Script und der Datenbank....