Infohelfer Webcrawler - Erläuterungen

Was ist der Infohelfer Webcrawler?

Der Infohelfer Webcrawler (auch Crawler oder Spider genannt) durchsucht und analysiert unablässig und autonom das Internet. Hauptzielsetzung ist der Betrieb einer eigenen deutschsprachigen Suchmaschine (derzeit noch im Testbetrieb).

Wie verhält sich der Infohelfer Webcrawler?

Wir legen großen Wert und Bemühungen darauf, möglichst belastungsfrei auf den Webseiten unterwegs zu sein. So crawlen wir niemals parallel, sondern immer nur nacheinander. Außerdem arbeiten wir mit Zeitabständen zwischen den Zugriffen. Diese Auslesegeschwindigkeit variiert und hängt hauptsächlich von der Größe und unserer Einschätzung bzgl. Wichtigkeit der Webseite ab.

Außerdem halten wir uns selbstverständlich an den Robots Exclusion Standard über die robots.txt! Damit kann jeder Webseitenbetreiber selbst festlegen, ob und wie die Webseite von Webcrawlern besucht werden darf.

Was mache ich bei Problemen?

Mit Fragen oder Problemen zu unserem Webcrawler können Sie sich gerne jederzeit an crawler@itam-gmbh.com wenden. Wir nehmen jede Anfrage ernst und melden uns schnellstmöglich bei Ihnen zurück.

Wo finde ich weitere Informationen?


Impressum - Datenschutz - Copyright © by ITam GmbH - Webcrawler Hilfe