node red http get request funktioniert "plötzlich" nicht mehr

Hallo,

im Browser wird man ja auf https://www.hydrodaten.admin.ch/de/seen-und-fluesse/stationen-und-daten/2004 weitergeleitet.

Was ist wenn du damit versuchst?

Grüße

Dennis

Die haben etwas eingebaut damit die Seite nicht gescraped werden kann.

Mit curl passiert genau das Gleiche. Am User-Agent und aehnlichen Headern liegt es anscheinend nicht.

Wenn du es schaffst dann doumentiere es hier

Quote from Tell

damit die Seite nicht gescraped werden kann.

Diese offensichtliche englische Wort ist mir bislang noch nicht untergekommen. Was bedeutet es

framp scrape heisst kratzen im Sinn von zusammenkratzen oder abkratzen.

Es bedeutet dass man Webseiten ausliest um sich Informationen zu beschaffen. Das geht halt immer wieder schief weil sich Webseiten haeufig aendern.

Fraglich ist auch ob der Webseitenbetreiber damit einverstanden ist. Sonst versucht er es mit technischen Massnahmen zu verhindern.

https://kinsta.com/de/wissensdatenbank/was-ist-web-scraping/

Es gibt ganze Buecher darueber: https://www.amazon.de/Web-Scraping-Python-Collecting-Modern/dp/1491985577/ref=sr_1_1?crid=CUKS8YCNG7XE&keywords=web-scraping+with+python&qid=1688933177&sprefix=%2Caps%2C282&sr=8-1&tag=psblog-21 [Anzeige]

Man unter gewissen Bedingungen (welche wird da nicht wirklich verraten) auch ganz offiziell (kostenlos) Zugang zu den Rohdaten bekommen: https://www.bafu.admin.ch/bafu/de/home/t…n-beziehen.html

Kann man ja mal versuchen. Im schlimmsten Fall wird es halt abgelehnt.

Quote from Tell

Es bedeutet dass man Webseiten ausliest um sich Informationen zu beschaffen.

Ok. Das war mir entgangen dass auf Webseiten zugegriffen wird mit entsprechendem HTML Parsing. Ich hatte ein API im Kopf was sich ja nicht so eben mal aendern sollte. Klar haben die APIs ueblicherweise ein Ratelimiting aber um das geht es hier ja nicht.

Es scheint am Accept-Encoding zu liegen. Mit diesem Parameter-File fuer curl habe ich Daten bekommen:

url = https://www.hydrodaten.admin.ch/de/seen-und-fluesse/stationen-und-daten/2004
-H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
-H "Accept-Encoding: gzip deflate br"
-H "User-Agent: Mozilla/5.0 (X11; Linux i686 (x86_64)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36"
-H "sec-ch-ua: \" Not A;Brand\";v=\"99\", \"Chromium\";v=\"99\""
-H "sec-ch-ua-mobile: ?0"
-H "sec-ch-ua-platform: \"Linux\""
-H "Sec-Dest-Site: none"
-H "Sec-Dest-Dest: document"
-H "Upgrade-Insecure-Requests: 1"

curl -K curl.options

domipo Manchmal verkaufen auch staatlich finanzierte Institutionen Daten, damit sie nicht nur aus Steuermitteln finanziert werden müssen, und dann können sie die nicht unkontrolliert kostenlos rausgeben, weil sich dann die Käufer beschweren. Ist in DE beispielsweise beim Deutschen Wetterdienst so. Die haben auch eine eigene App, die mal kostenlos war, mussten dann aber Geld dafür nehmen, weil ein Käufer der Wetterdaten geklagt hat, weil deren App in Konkurrenz zu seiner kommerziellen App steht.

Vielleicht ist es auch eine Haftungssache. Die Seite wo man Zugang beantragen kann spricht von ungeprüften Rohdaten. Vielleicht wollen sie da auch einfach nur sicher sein, dass man in den AGBs bestätigt verstanden zu haben, dass die Daten nicht geprüft sind. Punkt 7 in dem PDF mit den Nutzungsbedingungen.

Oder irgendwelche Zeitgenossen haben nicht nur einmal am Tag abgefragt, sondern sehr viel öfter. Die Nutzungsbedingungen für den Zugang geben alle 10 Minuten als maximale Frequenz an.

Ich hab keine Ahnung von Node Red aber den Header zu setzen scheint einfach zu sein: https://cookbook.nodered.org/http/set-request-header

Wie du mit der binaeren Antwort umgehst ist eine andere Frage

Alle Zeilen mit -H muessen in die JavaScript-Funktion. Nach dem Beispiel auf der Webseite.

Wobei das ein bisschen komisch ist da erst ein leeres Objekt zu erstellen und dann die Werte über einzelne Zuweisungen hinzuzufügen. Warum die das in dem Beispiel so machen… ?‍♂️

msg.headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Accept-Encoding': 'gzip deflate br'
};

Ich stimme Dir zu. Aber ich muss gestehen dass ich die ausfuehrliche Form leichter les- und aenderbar finde.

Auch ist die Frage ob man durch ein.new des Headers nicht schon gesetzte Headerwerte ueberschreibt.

framp Am Überschreiben von eventuell gesetzten Header-Werten ändert sich da ja nichts. Dazu müsste man im Beispiel aus der Doku schon noch die Zuweisung des leeren Objekts weg lassen. Beziehungsweise das bedingt machen, also erst testen ob es `msg.headers` schon gibt.

Naruerlich wissen wir dass das sinnvoll ist

Der TE fragte ja nur wie die Syntax aussieht die Headerdaten zu setzen. Sind wir mal Optimisten dass das nicht notwendig ist