HS Webabfrage

[MosesleeDarvin]

Hallo zusammen,

wie schon gesagt, beschäftige ich mich zur Zeit etwas intensiver
mit dem HS.
Folgende Frage habe ich:

Ich möchte von einer Site www.abc.de (http://www.abc.de) eine URL abfragen und diese in einem IKO speichern.
Das klappt soweit ganz gut.
Diese URL möchte ich dann weiter verwenden (nämlich www.abc.de/URL (http://www.abc.de/URL)) und von dieser neuen Site dann wieder Daten abfragen.
Das ganze habe ich mit zwei Webabfragen gemacht und nach erfolgreicher Verarbeitung der ersten
(URL von abc auslesen) wird dann die zweite Webabfrage gestartet.
In der DEBUG-Liste bekomme ich eine Fehlermeldung in der zweiten Zeile der zweiten Webabfrage,
d.h. ich hab wahrscheinlich die URL nicht richtig in die zweite Webabfrage eingefügt.
Hab einiges gelesen mit:

GET
iko
www.abc.de (http://www.abc.de)
HTTP/1.1
usw.

Kann das ganze aber nicht nachvollziehen und hab auch deswegen
wahrscheinlich irgendwo einen Fehler drin.
Kann mir das bitte jemand erklären (Idiotensicher)
wie ich das umsetzen muss ???

Ich hoffe die Problematik ist klar und wahrscheinlich ganz leicht zu lösen...

Danke im Voraus

Gruß
Mosi

[blue]

hallo

stell mal die debug hier rein.

gruss

günther

[cindom]

@blue

geht es dass man eine Abfrage im Experten anfängt, ich sag mal die ersten 10 Zeilen und dann mit dem Editor fortführt?
Oder gibt es da Probleme, bei meinen Versuchen das zu machen bleibt die Abfrageliste nach dem neuerlichen Import in den Experten leer.

Warum?: Bei der DFB Abfrage beispielsweise wiederholen sich die abzufragenden Zeichenfolgen 18 mal, also für jeden Platz.

Gruß

Cindom

[MosesleeDarvin]

Is ne ganz normale Wetterabfrage von der ich nur mal die ersten paar Daten
auslesen wollte um zu testen ob es überhaupt funktioniert.





14.02.2007 17:35:09 (IP: www.wetteronline.de (http://www.wetteronline.de)) (Port: 80)
(Send: 90) 0x47 0x45 0x54 0x20 0x2f 0x69 0x6e 0x63 0x6c 0x75 0x64 0x65 0x2f 0x41 0x5a 0x5f 0x64 0x6c 0x64 0x6c 0x5f 0x41 0x5f 0x61 0x6c 0x6c 0x65 0x2e 0x68 0x74 0x6d 0x20 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x77 0x77 0x77 0x2e 0x77 0x65 0x74 0x74 0x65 0x72 0x6f 0x6e 0x6c 0x69 0x6e 0x65 0x2e 0x64 0x65 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x43 0x6c 0x6f 0x73 0x65 0xd 0xa 0xd 0xa
GET /include/AZ_dldl_A_alle.htm HTTP/1.1 Host: www.wetteronline.de (http://www.wetteronline.de) Connection: Close
(Recv: 96748) 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0x20 0x32 0x30 0x30 0x20 0x4f 0x4b 0xd 0xa 0x44 0x61 0x74 0x65 0x3a 0x20 0x57 0x65 0x64 0x2c 0x20 0x31 0x34 0x20 0x46 0x65 0x62 0x20 0x32 0x30 0x30 0x37 0x20 0x31 0x36 0x3a 0x33 0x35 0x3a 0x30 0x37 0x20 0x47 0x4d 0x54 0xd 0xa 0x53 0x65 0x72 0x76 0x65 0x72 0x3a 0x20 0x41 0x70 0x61 0x63 0x68 0x65 0x2f 0x31 0x2e 0x33 0x2e 0x33 0x31 0x20 0x28 0x55 0x6e 0x69 0x78 0x29 0x20 0x6d 0x6f 0x64 0x5f 0x73 0x70 0x61 0x6d 0x62 0x6f 0x74 0x2f 0x30 0x2e 0x34 0x33 0x20 0x6d 0x6f 0x64 0x5f 0x77 0x61 0x74 0x63 0x68 0x2f 0x33 0x2e 0x31 0x37 0x20 0x50 0x48 0x50 0x2f 0x35 0x2e 0x30 0x2e 0x33 0x20 0x6d 0x6f 0x64 0x5f 0x66 0x61 0x73 0x74 0x63 0x67 0x69 0x2f 0x32 0x2e 0x34 0x2e 0x32 0x20 0x6d 0x6f 0x64 0x5f 0x67 0x7a 0x69 0x70 0x2f 0x31 0x2e 0x33 0x2e 0x32 0x36 0x2e 0x31 0x61 0x20 0x6d 0x6f 0x64 0x5f 0x73 0x73 0x6c 0x2f 0x32 0x2e 0x38 0x2e 0x31 0x37 0x20 0x4f 0x70 0x65 0x6e 0x53 0x53 0x4c 0x2f 0x30 0x2e 0x39 0x2e 0x37 0x64 0xd 0xa 0x43 0x61 0x63 0x68 0x65 0x2d 0x43
HTTP/1.1 200 OK Date: Wed, 14 Feb 2007 16:35:07 GMT Server: Apache/1.3.31 (Unix) mod_spambot/0.43 mod_watch/3.17 PHP/5.0.3 mod_fastcgi/2.4.2 mod_gzip/1.3.26.1a mod_ssl/2.8.17 OpenSSL/0.9.7d Cache-C
(Gesamt: 7) (Work: 7) (Typ: Liste) (OK: 1) 14.02.2007 17:35:10 (IP: www.wetteronline.de (http://www.wetteronline.de)) (Port: 80)
(Send: 138) 0x47 0x45 0x54 0x2f 0x63 0x67 0x69 0x2d 0x62 0x69 0x6e 0x2f 0x63 0x69 0x74 0x79 0x62 0x69 0x6c 0x64 0x3f 0x53 0x49 0x44 0x3d 0x31 0x30 0x33 0x31 0x30 0x34 0x39 0x31 0x65 0x37 0x30 0x35 0x66 0x33 0x64 0x66 0x39 0x62 0x31 0x63 0x33 0x37 0x30 0x34 0x64 0x62 0x36 0x66 0x35 0x65 0x64 0x37 0x66 0x65 0x65 0x31 0x30 0x26 0x57 0x4d 0x4f 0x3d 0x31 0x30 0x33 0x31 0x30 0x26 0x4c 0x41 0x4e 0x47 0x3d 0x64 0x65 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x77 0x77 0x77 0x2e 0x77 0x65 0x74 0x74 0x65 0x72 0x6f 0x6e 0x6c 0x69 0x6e 0x65 0x2e 0x64 0x65 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x43 0x6c 0x6f 0x73 0x65 0xd 0xa 0xd 0xa
GET/cgi-bin/citybild?SID=10310491e705f3df9b1c3704db6f5ed7fee10&WMO=10310&LANG=deHTTP/1.1 Host: www.wetteronline.de (http://www.wetteronline.de) Connection: Close
(Recv: 423) 0x3c 0x21 0x44 0x4f 0x43 0x54 0x59 0x50 0x45 0x20 0x48 0x54 0x4d 0x4c 0x20 0x50 0x55 0x42 0x4c 0x49 0x43 0x20 0x22 0x2d 0x2f 0x2f 0x49 0x45 0x54 0x46 0x2f 0x2f 0x44 0x54 0x44 0x20 0x48 0x54 0x4d 0x4c 0x20 0x32 0x2e 0x30 0x2f 0x2f 0x45 0x4e 0x22 0x3e 0xa 0x3c 0x48 0x54 0x4d 0x4c 0x3e 0x3c 0x48 0x45 0x41 0x44 0x3e 0xa 0x3c 0x54 0x49 0x54 0x4c 0x45 0x3e 0x35 0x30 0x31 0x20 0x4d 0x65 0x74 0x68 0x6f 0x64 0x20 0x4e 0x6f 0x74 0x20 0x49 0x6d 0x70 0x6c 0x65 0x6d 0x65 0x6e 0x74 0x65 0x64 0x3c 0x2f 0x54 0x49 0x54 0x4c 0x45 0x3e 0xa 0x3c 0x2f 0x48 0x45 0x41 0x44 0x3e 0x3c 0x42 0x4f 0x44 0x59 0x3e 0xa 0x3c 0x48 0x31 0x3e 0x4d 0x65 0x74 0x68 0x6f 0x64 0x20 0x4e 0x6f 0x74 0x20 0x49 0x6d 0x70 0x6c 0x65 0x6d 0x65 0x6e 0x74 0x65 0x64 0x3c 0x2f 0x48 0x31 0x3e 0xa 0x47 0x45 0x54 0x2f 0x63 0x67 0x69 0x2d 0x62 0x69 0x6e 0x2f 0x63 0x69 0x74 0x79 0x62 0x69 0x6c 0x64 0x3f 0x53 0x49 0x44 0x3d 0x31 0x30 0x33 0x31 0x30 0x34 0x39 0x31 0x65 0x37 0x30 0x35 0x66 0x33 0x64 0x66 0x39 0x62 0x31 0x63 0x33 0x37 0x30
[!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"] [HTML] 501 Method Not Implemented Method Not Implemented GET/cgi-bin/citybild?SID=10310491e705f3df9b1c370
[B](Gesamt: 45) (Work: 2) (Typ: Liste) (OK: 0)

[blue]

hallo,

das ist eine alte abfrage von mir. der pfad wird auch richtig übergeben, aber "empfangen" stimmt nicht mehr.

gruss

günther

[MosesleeDarvin]

Hab mir eine von Matthias schicken lassen und wollte Sie dann selber programmieren.
Den Empfang habe ich selber geschrieben, mit der aktuellen Wettersite die ich aufgerufen hab
(aus dem Quelltext).
Kann man hier sehen wo ich den Fehler gemacht habe?
Ich dachte ich hab die URL falsch übergeben. Sehe ich das richtig dass die zweite Abfrage schon an der URL scheitert?

[MosesleeDarvin]

Ich muss noch dazu sagen dass ich von Matthias nur die zweite Abfrage zugeschickt bekommen hab, deswegen auch die Vermutung dass bereits an der URL-Abfrage was nicht stimmen könnte.

Wenn ich nämlich über die Visu nur die zweite Abfrage starte dann läuft sie kpl. durch (also WORK:45).
Versuche ich es aber mit "URL-Ermittlung" und Übergabe der URL an die zweite Abfrage dann kommt die oben gezeigte debug-Site raus.

[blue]

hallo,

vor HTTP muss ein leerzeichen stehen, dass fehlt bei dir. also bei senden einfach ein blank und dann http.

gruss

günther

[MosesleeDarvin]

Danke erstmal für deine Hilfe aber jetzt hab ich ein ganz
anderes Problem.
Wenn ich eine Webabfrage starte dann passiert folgendes:
Von (Gesamt:75) arbeitet er 22 ab (Work 22) und kommt deshalb natürlich nicht zum gewünschten
Ergebnis.
Wenn ich diese Webabfrage ca. 5-6 mal hintereinander (innerhalb von ca. 5sec.) immer wieder starte dann läuft sie plötzlich kpl.
bis (Work:75) durch und alles paßt.
Ich bin alles genau durchgegangen und find einfach keinen Fehler.
Wenn ich die selbe Abfrage dann wieder starte, dann kommt wieder 6-7 mal der gleiche Fehler (Work:22) und beim nächstenmal klappts dann wieder.
Übrigens handelt es sich mal wieder um die leidige Wetteronline-Abfrage.

Die Debug-Site sieht, wenn es nicht klappt, wie folgt aus:


20.02.2007 11:33:09 (IP: www.wetteronline.de (http://www.wetteronline.de)) (Port: 80)
(Send: 140) 0x47 0x45 0x54 0x20 0x2f 0x63 0x67 0x69 0x2d 0x62 0x69 0x6e 0x2f 0x63 0x69 0x74 0x79 0x62 0x69 0x6c 0x64 0x3f 0x53 0x49 0x44 0x3d 0x31 0x30 0x38 0x36 0x36 0x37 0x38 0x34 0x62 0x30 0x62 0x39 0x30 0x35 0x31 0x65 0x38 0x33 0x63 0x33 0x34 0x65 0x61 0x61 0x31 0x30 0x62 0x61 0x33 0x61 0x34 0x62 0x38 0x64 0x31 0x34 0x32 0x26 0x57 0x4d 0x4f 0x3d 0x31 0x30 0x38 0x36 0x36 0x26 0x4c 0x41 0x4e 0x47 0x3d 0x64 0x65 0x20 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x77 0x77 0x77 0x2e 0x77 0x65 0x74 0x74 0x65 0x72 0x6f 0x6e 0x6c 0x69 0x6e 0x65 0x2e 0x64 0x65 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x43 0x6c 0x6f 0x73 0x65 0xd 0xa 0xd 0xa
GET /cgi-bin/citybild?SID=10866784b0b9051e83c34eaa10ba3a4b8d142&WMO=10866&LANG=de HTTP/1.1 Host: www.wetteronline.de (http://www.wetteronline.de) Connection: Close
(Recv: 15282) 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0x20 0x32 0x30 0x30 0x20 0x4f 0x4b 0xd 0xa 0x44 0x61 0x74 0x65 0x3a 0x20 0x54 0x75 0x65 0x2c 0x20 0x32 0x30 0x20 0x46 0x65 0x62 0x20 0x32 0x30 0x30 0x37 0x20 0x31 0x30 0x3a 0x33 0x33 0x3a 0x30 0x31 0x20 0x47 0x4d 0x54 0xd 0xa 0x53 0x65 0x72 0x76 0x65 0x72 0x3a 0x20 0x41 0x70 0x61 0x63 0x68 0x65 0x2f 0x31 0x2e 0x33 0x2e 0x33 0x33 0x20 0x28 0x55 0x6e 0x69 0x78 0x29 0x20 0x6d 0x6f 0x64 0x5f 0x77 0x61 0x74 0x63 0x68 0x2f 0x33 0x2e 0x31 0x37 0x20 0x6d 0x6f 0x64 0x5f 0x66 0x61 0x73 0x74 0x63 0x67 0x69 0x2f 0x32 0x2e 0x34 0x2e 0x32 0xd 0xa 0x43 0x61 0x63 0x68 0x65 0x2d 0x43 0x6f 0x6e 0x74 0x72 0x6f 0x6c 0x3a 0x20 0x6e 0x6f 0x2d 0x63 0x61 0x63 0x68 0x65 0xd 0xa 0x45 0x78 0x70 0x69 0x72 0x65 0x73 0x3a 0x20 0x54 0x75 0x65 0x2c 0x20 0x32 0x30 0x20 0x46 0x65 0x62 0x20 0x32 0x30 0x30 0x37 0x20 0x31 0x30 0x3a 0x33 0x33 0x3a 0x30 0x31 0x20 0x47 0x4d 0x54 0xd 0xa 0x4c 0x61 0x73 0x74 0x2d 0x4d 0x6f 0x64 0x69 0x66 0x69 0x65 0x64 0x3a 0x20 0x54 0x75 0x65
HTTP/1.1 200 OK Date: Tue, 20 Feb 2007 10:33:01 GMT Server: Apache/1.3.33 (Unix) mod_watch/3.17 mod_fastcgi/2.4.2 Cache-Control: no-cache Expires: Tue, 20 Feb 2007 10:33:01 GMT Last-Modified: Tue
(Gesamt: 73) (Work: 22) (Typ: Liste) (OK: 0)







Und wenn es dann mal wieder geht, sieht sie so aus:

20.02.2007 11:42:07 (IP: www.wetteronline.de (http://www.wetteronline.de)) (Port: 80)
(Send: 140) 0x47 0x45 0x54 0x20 0x2f 0x63 0x67 0x69 0x2d 0x62 0x69 0x6e 0x2f 0x63 0x69 0x74 0x79 0x62 0x69 0x6c 0x64 0x3f 0x53 0x49 0x44 0x3d 0x31 0x30 0x38 0x36 0x36 0x37 0x38 0x34 0x62 0x30 0x62 0x39 0x30 0x35 0x31 0x65 0x38 0x33 0x63 0x33 0x34 0x65 0x61 0x61 0x31 0x30 0x62 0x61 0x33 0x61 0x34 0x62 0x38 0x64 0x31 0x34 0x32 0x26 0x57 0x4d 0x4f 0x3d 0x31 0x30 0x38 0x36 0x36 0x26 0x4c 0x41 0x4e 0x47 0x3d 0x64 0x65 0x20 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0xd 0xa 0x48 0x6f 0x73 0x74 0x3a 0x20 0x77 0x77 0x77 0x2e 0x77 0x65 0x74 0x74 0x65 0x72 0x6f 0x6e 0x6c 0x69 0x6e 0x65 0x2e 0x64 0x65 0xd 0xa 0x43 0x6f 0x6e 0x6e 0x65 0x63 0x74 0x69 0x6f 0x6e 0x3a 0x20 0x43 0x6c 0x6f 0x73 0x65 0xd 0xa 0xd 0xa
GET /cgi-bin/citybild?SID=10866784b0b9051e83c34eaa10ba3a4b8d142&WMO=10866&LANG=de HTTP/1.1 Host: www.wetteronline.de (http://www.wetteronline.de) Connection: Close
(Recv: 15404) 0x48 0x54 0x54 0x50 0x2f 0x31 0x2e 0x31 0x20 0x32 0x30 0x30 0x20 0x4f 0x4b 0xd 0xa 0x44 0x61 0x74 0x65 0x3a 0x20 0x54 0x75 0x65 0x2c 0x20 0x32 0x30 0x20 0x46 0x65 0x62 0x20 0x32 0x30 0x30 0x37 0x20 0x31 0x30 0x3a 0x34 0x31 0x3a 0x35 0x39 0x20 0x47 0x4d 0x54 0xd 0xa 0x53 0x65 0x72 0x76 0x65 0x72 0x3a 0x20 0x41 0x70 0x61 0x63 0x68 0x65 0x2f 0x31 0x2e 0x33 0x2e 0x33 0x33 0x20 0x28 0x55 0x6e 0x69 0x78 0x29 0x20 0x6d 0x6f 0x64 0x5f 0x77 0x61 0x74 0x63 0x68 0x2f 0x33 0x2e 0x31 0x37 0x20 0x6d 0x6f 0x64 0x5f 0x66 0x61 0x73 0x74 0x63 0x67 0x69 0x2f 0x32 0x2e 0x34 0x2e 0x32 0xd 0xa 0x43 0x61 0x63 0x68 0x65 0x2d 0x43 0x6f 0x6e 0x74 0x72 0x6f 0x6c 0x3a 0x20 0x6e 0x6f 0x2d 0x63 0x61 0x63 0x68 0x65 0xd 0xa 0x45 0x78 0x70 0x69 0x72 0x65 0x73 0x3a 0x20 0x54 0x75 0x65 0x2c 0x20 0x32 0x30 0x20 0x46 0x65 0x62 0x20 0x32 0x30 0x30 0x37 0x20 0x31 0x30 0x3a 0x34 0x31 0x3a 0x35 0x39 0x20 0x47 0x4d 0x54 0xd 0xa 0x4c 0x61 0x73 0x74 0x2d 0x4d 0x6f 0x64 0x69 0x66 0x69 0x65 0x64 0x3a 0x20 0x54 0x75 0x65
HTTP/1.1 200 OK Date: Tue, 20 Feb 2007 10:41:59 GMT Server: Apache/1.3.33 (Unix) mod_watch/3.17 mod_fastcgi/2.4.2 Cache-Control: no-cache Expires: Tue, 20 Feb 2007 10:41:59 GMT Last-Modified: Tue
(Gesamt: 73) (Work: 73) (Typ: Liste) (OK: 1)



Ich hoffe ihr könnt mir helfen.
Vielen Dank im Voraus...

Gruß
Mosi

[Michel]

Wenn die Abfrage grundsätzlich läuft, liegt´s an Wetteronline; kommt schon mal vor.
An einem Tag ohne Probleme, am anderen ist nur jede 5. erfolgreich.
Da wird dir keiner helfen können.:o

[lochj]

Ich hätte da auch noch einen Tipp:
Ich habe zu erst auch immer Wetteronline benutzt. Da gab es aber immer Probleme beim Auslesen.
Ich glaube sogar, dass die Tabellen manchmal anders editiert waren; egal.
Auf jeden Fall nehme ich seit längerem die Wetterangaben von http://de.weather.com/
Und ich muss sagen, seit dem habe ich keine Probleme mehr.

Gruß Jörg

[MosesleeDarvin]

Keine Antwort wäre mir lieber gewesen als die letzten beiden.
Dann liegts doch nicht an mir, hab schon an mir gezweifelt.
Danke schön, werd dann morgen mal die andere Site testen.

Danke nochmal

Mosi

[Michel]

Keine Antwort wäre mir lieber gewesen als die letzten beiden.Wie jetzt? :bahnhof:

[MosesleeDarvin]

Guten Morgen!


Naja, wenns an wetteronline liegt dann is meine Abfrage
grundsätzlich mal richtig.

Ich dacht schon dass ich irgendwo einen Gedankenfehler drin hab
aber dem ist anscheinend nicht so.

Deshalb bin ich froh dass es an meiner Abfrage nicht liegt sondern dass die Wetterseite schuld ist.

Wenn aber nicht nur ich das Problem hab, wie macht ihr dass dann mit der Abfrage?
Über einen Telegrammgenerator ca. 10mal hintereinander abfragen lassen bis diese erfolgreich war?

Grüße

[blue]

Guten Morgen!

Wenn aber nicht nur ich das Problem hab, wie macht ihr dass dann mit der Abfrage?
Über einen Telegrammgenerator ca. 10mal hintereinander abfragen lassen bis diese erfolgreich war?

Grüße

hallo,

1.) ohne debugseite, wo die abfrage sich aufhängt, kann man grundsätzlich wenig dazu sagen.

2.) wetteronline ändert ja nur 4 -5 mal am tag die daten. somit reicht es, wenn man alle 20 min abfragt.

3.) deine abfrage hängt sehr wahrscheinlich am datum für den 2 tag, auch wenn dies auf der debugseite so nicht ersichtlich ist.

änder dort mal das </b> in ein ,

dann wird dir zwar nur noch DO. angezeigt und nicht mehr DO. 22.02.07, aber es sollte dann laufen. wenn sich die sache wieder beruhigt hat,
dann kann man das wieder ändern.

probier es mal, ob sie dann läuft.

gruss

günther