Sie befinden sich hier im Forenarchiv von phpforum.de wenn Sie direkt ins Forum möchten, klicken Sie bitte hier. Zur Startseite kommen Sie hier.

Spider

Hallo,

ich bin dabei einen Spider zu bauen, der die Seiten der Fluggesellschaften abklappert und die Angebote rauszieht.
Ich habe bisher mit php/perl einige Seiten drin. Nun ist mein Problem die Performance.
Die meiste Zeit wird gebraucht, die einzelnen Seiten zu laden, um sie auswerten zu können.
Ich bräuchte eine Möglichkeit, die verschiedenen Seiten parallel aufrufen zu können (eine Art Multithreading).
Kann ich sowas mit php realisieren?.
Um das Teil anzugucken:

www.travelgrove.com/rtsearch/_form.php

Dort From: LAX To: LAS (zur Zeit versteht er nur die Airportcodes) eingeben und ab geht's.

Danke im Voraus

Istvan

Hier gehts zum Orginal Eintrag "Spider" im Forum

Antworten

Hast Du Dich denn vorher informiert, ob das, was Du tust, rechtlich überhaupt zulässig ist?


2.

Diesen Zeigefinger habe ich fast befürchtet.
Nicht nur, dass es zulässig ist, die zahlen sogar dafür, dass die da erscheinen.
Vielleicht hast Du auch zu der Frage etwas konstruktives beizutragen.

Danke im Voraus
Istvan


3.

Nachdem nun die rechtliche Frage gekärt ist (entzückend wie sich das Forum um deine Rechte kümmert) hilft Dir vielleicht dieser Artikel weiter. Habe ihn nicht gelesen, nur gegoogelt.

http://php.weblogs.com/2003/07/31#a2807

gruzz stefan


4.

http://manuals.phpforum.de/php/ref.pcntl.php
Allerdings im Zusammenhang mit vom Webserver ausgeführten Skripten eher fragwürdig. Aber eventuell magst du dir ja einen Multi"threaded" Suchserver schreiben - wobei, den könntest du dann auch gleich in einer "rcihtigen" Sprache schreiben :)


5.

Danke,

den Artikel, habe ich bereits gelesen, sagt mir aber wenig.
Vielzu theoretisch, ich kein Informatiker, von daher verstehe nicht viel daraus.
Ausserdem finde ich da wenig über eine Möglichkeit in php.
Ich hätte auch nichts dagegen auf etwas anderem auszuweichen (perl, python, java), wenn ich definitiv wüsste, mit php geht es nicht. Ich habe nun ein paar Monate in php-lernen investiert und die ganze Seite ist in php geschrieben. Von daher versuche ich's erstmal damit.

Ich habe versucht mit ticks und register_tick_function das Problem zu lösen.
Konnte bis jetzt keine signifikante Performancesteigerung feststellen.
Bin etwas ratlos.

Danke in Voraus

Istvan


6.

Was wäre denn eine "richtige Sprache"?


7.

basic ;-)

du hast doch schon einige (Skript)Sprachen gennant, alle die du aufgezählt hast können Threading (mehr oder weniger gut).
Auch C/C++ wäre hier geeigent, würde aber dringen empfehlen gute Librarys zu suchen, sonst hat man viel arbeit vor sich.

Hast dus bei PHP auch schonmal mit asyncronen I/O versucht?

Das beste wäre hier Threading verbunden mit asyncronen I/O. aber bestimmt nicht mit PHP.


8.

Ich finde es eigentlich sehr konstruktiv, die Leute auf Sachen aufmerksam zu machen, die sie vielleicht gar nicht bedacht haben. Die meisten vergessen diesen Aspekt eben (die Erfahrung hier zeigt es) und wundern sich dann, wenn sie mit den Firmen Ärger bekommen.

Mit Zeigefinger hat das gar nichts zu tun, schließlich habe ich keinerlei Interesse daran, jemand vorzuschreiben, was er tun oder lassen soll.

Abgesehen davon ist ein Anbieter von Kommunikationsdienstleistungen (also auch Forenbetreiber) verpflichtet, bei einem Verdacht auf Urheberrechtsverletzungen dem nachzugehen.


9.

Kannst Du mir ein paar Stichworte zu asynchronem I/O nennen, wonach ich suchen soll?
Welche Sprache wäre denn am besten geeignet (ausser C/C++; da müsste ich nochmal ein Jahr dransitzen).

Danke im Voraus

Istvan


10.

IMHO bietet Java die beste Multi-Thread-Umgebung. Durch die "New IO"-API sollte das sogar zum Kinderspiel werden.


11.

Ich habe nie in meinem Leben etwas mit java gemacht (sogar javascript auf der Seite macht ein anderer).
Vielleicht kennst Du einen guten EInsteigerlink für diesen "New IO"-API. Es soll auf Unix laufen.

Danke im Voraus

Istvan


12.

Hm, auf java.sun.com gibts es jede Menge Tutorials zu Java, das ist als Grundlage sicher nicht schlecht.


Hier gehts zum Orginal Eintrag "Spider" im Forum
 
phpforum.de | Impressum