About: Spider trap

An Entity of Type: Thing, from Named Graph: http://dbpedia.org, within Data Space: dbpedia.org

A spider trap (or crawler trap) is a set of web pages that may intentionally or unintentionally be used to cause a web crawler or search bot to make an infinite number of requests or cause a poorly constructed crawler to crash. Web crawlers are also called web spiders, from which the name is derived. Spider traps may be created to "catch" spambots or other crawlers that waste a website's bandwidth. They may also be created unintentionally by calendars that use dynamic pages with links that continually point to the next day or year. Common techniques used are:

Property Value
dbo:abstract
  • Eine Spider trap (wörtlich „Spinnen-Falle“) ist eine Web-Struktur, die unerwünschte Webcrawler erkennen und optional an der Erfassung der Inhalte einer Website hindern soll. Das Ziel ist, unerwünschte Webcrawler, die Spam verbreiten oder Sicherheitslücken ausfindig machen sollen, von der Erfassung eines Internetinhalts auszuschließen, während erwünschte Crawler, wie die Bots von Suchmaschinen, in ihrer Arbeit nicht beeinträchtigt werden und menschliche Besucher in ihrem Erlebnis nicht beeinträchtigt werden. Die Spider Trap nutzt den Umstand, dass sich erwünschte Bots an die von ihm definierte Regeln (z. B. in einer robots.txt-Datei) halten und somit bestimmte Inhalte einer Website ignorieren. Unerwünschte Crawler halten sich in der Regel nicht an derartige Vorschriften. Daher ist es dem Entwickler möglich, einen für den Benutzer unsichtbaren und für einen erwünschten Crawler gesperrten Link zu platzieren, der zur Sperrung der durch den unerwünschten Crawler verwendeten IP-Adresse führt. Für den Fall, dass sich ein Besucher auf diese Sperrseite verirrt, kann die Möglichkeit geboten werden, durch ein CAPTCHA die Sperrung aufzuheben. Das Erkennen von Webcrawlern, bzw. das Speichern in einer Logdatei lässt sich sehr einfach durch folgendes PHP-Skript erledigen: <?php$props = array ( 'REMOTE_ADDR' , 'REMOTE_HOST' , 'HTTP_USER_AGENT' , 'SERVER_PORT' , 'QUERY_STRING' , 'HTTP_REFERER');$log = array ( 'evil' , date ( DATE_ATOM ));foreach ( $props as $prop ){ $entry = array_key_exists ( $prop , $_SERVER )? $_SERVER [ $prop ]: <nowiki>''</nowiki> ; array_push ( $log , $entry );}file_put_contents ( 'bot.log' , join ( " " , $log ). " " , FILE_APPEND );?> Natürlich ist das noch deutlich erweiterbar, etwa durch eine Datenbank. (de)
  • A spider trap (or crawler trap) is a set of web pages that may intentionally or unintentionally be used to cause a web crawler or search bot to make an infinite number of requests or cause a poorly constructed crawler to crash. Web crawlers are also called web spiders, from which the name is derived. Spider traps may be created to "catch" spambots or other crawlers that waste a website's bandwidth. They may also be created unintentionally by calendars that use dynamic pages with links that continually point to the next day or year. Common techniques used are: * creation of indefinitely deep directory structures like http://example.com/bar/foo/bar/foo/bar/foo/bar/... * Dynamic pages that produce an unbounded number of documents for a web crawler to follow. Examples include calendars and algorithmically generated language poetry. * documents filled with many characters, crashing the lexical analyzer parsing the document. * documents with session-id's based on required cookies. There is no algorithm to detect all spider traps. Some classes of traps can be detected automatically, but new, unrecognized traps arise quickly. (en)
dbo:wikiPageID
  • 3292163 (xsd:integer)
dbo:wikiPageLength
  • 3518 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID
  • 1031934698 (xsd:integer)
dbo:wikiPageWikiLink
dbp:wikiPageUsesTemplate
dct:subject
gold:hypernym
rdfs:comment
  • Eine Spider trap (wörtlich „Spinnen-Falle“) ist eine Web-Struktur, die unerwünschte Webcrawler erkennen und optional an der Erfassung der Inhalte einer Website hindern soll. Das Ziel ist, unerwünschte Webcrawler, die Spam verbreiten oder Sicherheitslücken ausfindig machen sollen, von der Erfassung eines Internetinhalts auszuschließen, während erwünschte Crawler, wie die Bots von Suchmaschinen, in ihrer Arbeit nicht beeinträchtigt werden und menschliche Besucher in ihrem Erlebnis nicht beeinträchtigt werden. Natürlich ist das noch deutlich erweiterbar, etwa durch eine Datenbank. (de)
  • A spider trap (or crawler trap) is a set of web pages that may intentionally or unintentionally be used to cause a web crawler or search bot to make an infinite number of requests or cause a poorly constructed crawler to crash. Web crawlers are also called web spiders, from which the name is derived. Spider traps may be created to "catch" spambots or other crawlers that waste a website's bandwidth. They may also be created unintentionally by calendars that use dynamic pages with links that continually point to the next day or year. Common techniques used are: (en)
rdfs:label
  • Spider trap (de)
  • Spider trap (en)
owl:sameAs
prov:wasDerivedFrom
foaf:depiction
foaf:isPrimaryTopicOf
is dbo:wikiPageRedirects of
is dbo:wikiPageWikiLink of
is foaf:primaryTopic of
Powered by OpenLink Virtuoso    This material is Open Knowledge     W3C Semantic Web Technology     This material is Open Knowledge    Valid XHTML + RDFa
This content was extracted from Wikipedia and is licensed under the Creative Commons Attribution-ShareAlike 3.0 Unported License