Negativer Temperaturwert in RRDtool

Sc0rc3d · Jun 16th 2021

Hi Leute,

ich bin relativ neu in Python und komme grade nicht weiter. Ich möchte zwei Temperaturwerte in eine rrd Datenbank schreiben. Allerdings erhalte ich bei einem negativen Temperaturwert eine Fehlermeldung, die ich nicht lösen kann. Ich habe einiges versucht, um alternative replacments zu verwenden, das Problem ist jedoch leider geblieben. Ich hoffe, Ihr könnt mir weiterhelfen.

Zunächst einmal die Datenbank selbst:

Code

rrdtool create outtemp.rrd --step 3600 DS:temp0:GAUGE:1200:-40:60 DS:temp1:GAUGE:1200:-40:80 RRA:AVERAGE:0.5:1:240 RRA:MIN:0.5:96:3600 RRA:MAX:0.5:96:3600 RRA:AVERAGE:0.5:96:3600

Und hier mein Script (Informationen in den Kommentaren im Script):

Python

#!/usr/bin/python
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import sys
import os
import rrdtool
import time
import logging
import requests

# Ich nehme hier zum Test extra eine Russische Wetterstation um einen Minuswert zu simulieren. Am Ende gibt es quasi nur w1
w1 = requests.get('http://wttr.in/TXL?format=%t');
w2 = requests.get('http://wttr.in/~Vostok+Station?format=%t');

w1 = (w1.text)
w1 = w1.replace("+", "")
w1 = w1.replace(u"°", "")
w1 = w1.replace("C", "")
#print(w1)

w2 = (w2.text)
w2 = w2.replace("+", "")
w2 = w2.replace(u"°", "")
w2 = w2.replace("C", "")
#print(w2)

# hier habe ich auch %d und %u und %i getestet sowie andere Formatierung hat aber leider ebenfalls nicht funktioniert
rrdtool.update('outtemp.rrd',  'N:%s:%s' %(w1,w2));

#log als Debug Möglichkeit
logger = logging.getLogger('gelaufen');
logger.setLevel(logging.DEBUG);
fh = logging.FileHandler('outtemp.log');
fh.setLevel(logging.DEBUG);
logger.addHandler(fh);
formatter = logging.Formatter('%(asctime)s - %(name)s - %(message)s');
fh.setFormatter(formatter);
logger.addHandler(fh);
logger.debug('Temps: %s | %s ', w1,w2);

Display More

Vielleicht habt Ihr eine Idee, wie ich das Problem lösen kann. Im Log wird es übrigens korrekt angezeigt.

Gruß & Danke für Euer Feedback

Sc0rc3d

DeaD_EyE · Jun 16th 2021

w1 und w2 sind str und kein int oder float.

Python

#!/usr/bin/env python3

import rrdtool
import logging
import requests
import re

from typing import List, Dict


def get_temperatures(places: List[str]) -> Dict[str, int]:
    regex = re.compile(r"([-|+]\d+)°C")
    results = {}

    for place in places:
        try:
            req = requests.get(f"http://wttr.in/{place}?format=%t", timeout=1)
        except requests.exceptions.Timeout:
            continue
        result = regex.search(req.text)
        if result is None:
            continue
        results[place] = int(result.group(1))

    return results


places = get_temperatures(["TXL", "~Vostok+Station"])

w1 = places["TXL"]
w2 = places["~Vostok+Station"]

print(w1, w2)
print(places)

print("Orte:", list(places))
print("Werte:", list(places.values()))

# hier %d, da w1 und w2 nun integer sind.
# vorher waren es str
# % formartierung ist alt und sollte man nicht mehr nutzen
# nutze f-strings

rrdtool.update("outtemp.rrd", f"N:{w1}:{w2}")

# log als Debug Möglichkeit
logger = logging.getLogger("gelaufen")
logger.setLevel(logging.DEBUG)
fh = logging.FileHandler("outtemp.log")
fh.setLevel(logging.DEBUG)
logger.addHandler(fh)

# hier muss man leider noch den alten format syntax nutzen
formatter = logging.Formatter("%(asctime)s - %(name)s - %(message)s")

fh.setFormatter(formatter)
logger.addHandler(fh)

# hier kann man aber f-strings nutzen
logger.debug(f"Temps: {w1} | {w2}")

Display More

Sc0rc3d · Jun 16th 2021

Hi Dead_Eye, und danke für deine Rückmeldung und das schön geschriebene Script.

Funktioniert perfekt.

__blackjack__ · Jun 17th 2021

`req` ist eine komische Abkürzung für `response`. Wofür steht da das `q`? 😎

Die beiden ``continue`` sind unschön und leicht vermeidbar.

Wenn die Webseite einen anderen Status liefert der nicht OK ist, dann wird das unterdrückt. Genau so wenn die Webseite nicht innerhalb von einer Sekunde antwortet, oder wenn sie antwortet, aber aus irgendeinem Grund keine Temperatur in der Antwort ist, auf die das Muster passt. Das führt dann im weiteren zu einem `KeyError`, man weiss aber gar nicht welcher der möglichen Gründe dazu geführt hat.

Das Wörterbuch an sich scheint mir auch nicht so sinnvoll wenn im Ausgangsbeitrag doch steht das am Ende einfach nur *ein* Temperaturwert abgefragt werden soll und der russische da nur als Test für negative Werte drin ist.

Der '|' im regulären Ausdruck macht keinen Sinn.

Der selbe `FileHandler` wird zweimal zum selben `Logger` hinzugefügt.

Bei den Logging-Aufrufen kann man f-Strings verwenden, allerdings wird das dann auch formatiert wenn am Ende gar nicht geloggt wird, falls das Loglevel nicht hoch genug ist. Also dann doch wieder %-Platzhalter.

Ungetestet:

Python

#!/usr/bin/env python3
import logging
import re

import requests
import rrdtool

WTTR_URL = "http://wttr.in/"
TEMPERATURE_RE = re.compile(r"([-+]\d+)°C")


def get_temperature(place):
    response = requests.get(
        WTTR_URL + place, params={"format": "%t"}, timeout=1
    )
    response.raise_for_status()
    match = TEMPERATURE_RE.search(response.text)
    if match is None:
        raise ValueError("no temperature found in response: {response.text!a}")

    return int(match.group(1))


def main():
    txl_temperature = get_temperature("TXL")
    vostok_temperature = get_temperature("~Vostok+Station")
    print(txl_temperature, vostok_temperature)

    rrdtool.update("outtemp.rrd", f"N:{txl_temperature}:{vostok_temperature}")

    logger = logging.getLogger(__name__)
    logger.setLevel(logging.DEBUG)
    file_handler = logging.FileHandler("outtemp.log")
    file_handler.setLevel(logging.DEBUG)
    file_handler.setFormatter(
        logging.Formatter("%(asctime)s - %(name)s - %(message)s")
    )
    logger.addHandler(file_handler)

    logger.debug("Temps: %s | %s", txl_temperature, vostok_temperature)


if __name__ == "__main__":
    main()

Display More

Sc0rc3d · Jun 17th 2021

Danke für Deine Rückmeldung __blackjack__ und das Verschönern des Scripts.

Ich möchte noch eine kleine Rückfrage loswerden. Laut der Log-Datei (das Script läuft jede Stunde über crontab) läuft das Script nun seit gestern Abend jede Stunde sauber durch:

Display Spoiler

Wenn ich jedoch einen Graphen erstellen möchte (aktuell noch mit rrdtool graph später hoffentlich über eine andere Lösung mit JavaScript über den Clineten) werden keine Temperaturwerte angezeigt.

Ich nutze dafür folgenden Befehl:

Code

rrdtool graph GERRU.png -s 'now - 1 day' -e 'now' DEF:temp0=outtemp.rrd:temp0:AVERAGE LINE2:temp0#00FF00:Berlin VDEF:temp0last=temp0,LAST "GPRINT:temp0last:%.1lf °C" DEF:temp1=outtemp.rrd:temp1:AVERAGE LINE2:temp1#0000FF:VladiWostock VDEF:temp1last=temp1,LAST "GPRINT:temp1last:%.1lf °C"

Laut rrdinfo sind auch Daten in der Datenbank:

Liegt das vielleicht daran, wie ich die Datenbank aufgebaut habe?

Code

rrdtool create outtemp.rrd --step 3600 DS:temp0:GAUGE:1200:-40:60 DS:temp1:GAUGE:1200:-40:80 RRA:AVERAGE:0.5:1:240 RRA:MIN:0.5:96:3600 RRA:MAX:0.5:96:3600 RRA:AVERAGE:0.5:96:3600

Gruß

Sc0rc3d

DeaD_EyE · Jun 17th 2021

Quote from __blackjack__

`req` ist eine komische Abkürzung für `response`. Wofür steht da das `q`? 😎

Steht für Request. Wird oft falsch verwendet und steht so auch oft in den Anleitungen.

Das fragst du dich jetzt erst? Das ich habe ich mich seit dem gefragt, seit dem ich requests verwende

rasray · Jun 17th 2021

Hiho; Sc0rc3d!

rrdtool ist oft nicht gerade einfach zu durchschauen...

Also Du hast

rrdtool create outtemp.rrd --step 3600

bedeutet: Die Datenbank outtemp.rrd erwartet alle 3600s (also jede Stunde) einen Input

(-bzw bildet den Mittelwert aus mehreren Inputs alle 3600 Sekunden). Das ist also später die maximale Datenauflösung.

DS:temp0:GAUGE:1200:-40:60

bedeutet: Eine Datenreihe temp0 wird erzeugt. Die 1200 sind die Sekunden, in denen mindestens ein Input erfolgen muss, sonst erzeugt das System eine Lücke im Graphen. Wenn Du dein Script nun 1x/Stunde laufen lässt, würde es die Punkte nicht verbinden. Bei 7200 (Sekunden) würde es dagegen in der Grafik die Linie verbinden, auch wenn mal in einer Stunde ein Wert fehlen würde.

Irgendwie finde Ich es sinnvoller, diesen Wert höher als den step zu setzen, bestenfalls gleich, aber auf keinen Fall niedriger (Oder Du musst auch das script mindestens alle 20 Minuten laufen lassen (=1200 s), dann bildet rrd jede Stunde (=3600s daraus einen Mittelwert, der in der Datenbank gespeichert wird.)

Zu deinen Werten:

last_ds zeigt, dass wohl Werte eingegangen sind

Direkt darunter sollte aber bei value eine Zahl stehen im Format zB:

.value = 2.5741788000e+02

Das NaN bei deinen Werten steht eigentlich für "Not a Number", also gibt es keinen Wert

Jetzt weiß Ich nicht, ob das an obigem "Auslassen" liegt oder ob es ein sonstiges Problem gibt.

Vielleicht also:

Code

rrdtool create outtemp2.rrd --step 3600
DS:temp0:GAUGE:7200:-40:60
DS:temp1:GAUGE:7200:-40:80
RRA:AVERAGE:0.5:1:240
RRA:MIN:0.5:96:3600
RRA:MAX:0.5:96:3600
RRA:AVERAGE:0.5:96:3600

Deine erste rra bedeutet, dass jeder 1-Stunden-Mittelwert geschrieben wird (1 step=3600s)und 240 davon aufbewahrt werden, erst dann überschreibt rrd den Ältesten dieser Werte.

Die 96 bei den nächsten rra's bedeuten, dass von diesen 1-Stunden-Werten 96 gesammelt werden, dann erst wird aus diesen 96 Werten ein Mittelwert gebildet. Und davon hebst Du 3600 auf, bevor der älteste überschrieben wird.

Also wirst Du erst nach 96 Stunden den ersten dieser MIN/MAX/AVERAGE haben! (Also nach vier Tagen!)

Alle Vier Tage käme dann erst der nächste Wert und von diesen 4-Tage-Werten würdest Du 3600 aufbewahren.

(Grob gerechnet könntest Du also 40 Jahre darauf zurückgreifen, erst dann wird der älteste Wert überschrieben)

Das Sekunden-in-Stunden-Tage-Wochen-Jahre umrechnen ist ja sehr unübersichtlich. Es ist mittlerweile einfacher geworden, diese Intervalle anzugeben, hier ist der step mal 10 Sekunden:

Code

rrdtool create blabla.rrd --step 10
DS:ds0:GAUGE:5m:0:U
RRA:AVERAGE:0.5:5m:300h
RRA:AVERAGE:0.5:15m:900h
RRA:AVERAGE:0.5:1h:50d

Alle 10 Sekunden wird ein neuer Mittelwert gebildet und zwischengespeichert.

Die DS hat eine maximale Toleranz von 5 Minuten, erst dann würde man in der Grafik eine Lücke erhalten.

Die erste RRA erlaubt es nachher 300 Stunden lang, auf die 5-Minuten-Mittelwerte zuzugreifen

Die zweite RRA erlaubt es nachher 900 Stunden lang, auf die 15-Minuten-Mittelwerte zuzugreifen

Die dritte RRA erlaubt es nachher 50 Tage lang, auf die 1-Stunden-Mittelwerte zuzugreifen

Also ist es sinnvoll, zuerst zu überlegen, wie klein die Minimal-Intervalle sein sollen, die man später auflösen will. Wenn Dir eine Stunde reicht, also step bei 3600 lassen.

Hast Du verlässliche 1-Stunden-Updates, kannst Du den DS-Wert auf 1h setzen, dann bekommst Du später im Diagramm eine Lücke, sobald mal ein Update nicht gelaufen wäre.

Sinnvoll finde Ich dann aber schon, sich auch die grundsätzlichen RRA's anzeigen zu lassen, also immer für Average/MIN/MAX bei Dir "1h" zu setzen.

Wie lange rückwirkend Du dann Grafiken in dieser Auflösung erzeugen kannst, hängt dann an der letzten Zahl.

Sobald Du ein Diagramm erzeugen willst, das über diesen Zeitraum hinaus geht, wird rrd dir dann nur die nächsten (gröberen) "Averages"... zeichnen, also zB den Tages-/Wochen-/Monats-Durchschnitt -falls Du dafür eine rra definiert hast.

Äääääääh, irgendwie ein bisschen viel geworden

Sc0rc3d · Jun 19th 2021

Hey Rasray, wow DANKE!

Das hat mir erst mal weiter die Augen geöffnet und mich im Verständnis von RRD in jedem Fall weiter gebracht. Ich möchte mich herzlich für Dein Feedback bedanken. Und auch noch mal danke für die anderen Antworten hier.

Negativer Temperaturwert in RRDtool

Tags

Users Viewing This Thread