robots
Was ist ein Crawler?
Als Crawler bezeichnet man Programme zum Auffinden und Indexieren von Webseiten. Alternative Bezeichnungen sind Webcrawler, Robots, Spider oder auch Searchbot. Das englische Verb „to crawl“ wird in diesem Zusammenhang meist mit „kriechen“ übersetzt. Denn der Webcrawler kriecht im Web sozusagen von einer URL zur nächsten. Als HTTP-Client sendet er eine URL (Request) an einen Server, [...]
