@prefix rdf: . @prefix dbpedia: . @prefix opencyc: . dbpedia:Web_crawler rdf:type opencyc:Mx4rvi9EhJwpEbGdrcN5Y29ycA , opencyc:Mx4rwP3mbZwpEbGdrcN5Y29ycA , opencyc:Mx4rvrxE_ZwpEbGdrcN5Y29ycA . @prefix ns3: . dbpedia:Web_crawler rdf:type ns3:FreeWebCrawlers . @prefix owl: . dbpedia:Web_crawler owl:sameAs opencyc:Mx4rv3R5vZwpEbGdrcN5Y29ycA , opencyc:Mx4rv2ItwJwpEbGdrcN5Y29ycA , . @prefix foaf: . @prefix ns6: . dbpedia:Web_crawler foaf:page ns6:Web_crawler . @prefix dbpprop: . dbpedia:Web_crawler dbpprop:reference , , , , , , . @prefix ns8: . dbpedia:Web_crawler dbpprop:reference ns8:Scutter , , , , , , , , , , , , . @prefix rdfs: . dbpedia:Web_crawler rdfs:label "Web crawler"@en , "\u30AF\u30ED\u30FC\u30E9"@ja , "Robot d'indexation"@fr , "\u041F\u043E\u0438\u0441\u043A\u043E\u0432\u044B\u0439 \u0440\u043E\u0431\u043E\u0442"@ru , "\u7DB2\u8DEF\u8718\u86DB"@zh , "S\u00F8kerobot"@no , "Spider"@nl , "Crawler"@it , "Webcrawler"@de , "Hakurobotti"@fi , "Ara\u00F1a web"@es , "Aranya web"@ca , "\u041F\u043E\u0448\u0443\u043A\u043E\u0432\u0438\u0439 \u0440\u043E\u0431\u043E\u0442"@uk , "Robot internetowy"@pl , "Spindel (internet)"@sv ; dbpprop:abstract "Un robot d'indexation (ou litt\u00E9ralement araign\u00E9e du Web; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le Web. Il est g\u00E9n\u00E9ralement con\u00E7u pour collecter les ressources, afin de permettre \u00E0 un moteur de recherche de les indexer. Fonctionnant sur le m\u00EAme principe, certains robots malveillants sont utilis\u00E9s pour archiver les ressources ou collecter des adresses \u00E9lectroniques auxquelles envoyer des courriels."@fr , "Una ara\u00F1a web (o ara\u00F1a de la web) es un programa que inspecciona las p\u00E1ginas del World Wide Web de forma met\u00F3dica y automatizada. Uno de los usos m\u00E1s frecuentes que se les da consiste en crear una copia de todas las p\u00E1ginas web visitadas para su procesado posterior por un motor de b\u00FAsqueda que indexa las p\u00E1ginas proporcionando un sistema de b\u00FAsquedas r\u00E1pido. Las ara\u00F1as web suelen ser bots (el tipo m\u00E1s usado de \u00E9stos). Las ara\u00F1as web comienzan visitando una lista de URLs, identifica los hiperenlaces en dichas p\u00E1ginas y los a\u00F1ade a la lista de URLs a visitar de manera recurrente de acuerdo a determinado conjunto de reglas. La operaci\u00F3n normal es que se le da al programa un grupo de direcciones iniciales, la ara\u00F1a descarga estas direcciones, analiza las p\u00E1ginas y busca enlaces a p\u00E1ginas nuevas. Luego descarga estas p\u00E1ginas nuevas, analiza sus enlaces, y as\u00ED sucesivamente. Entre las tareas m\u00E1s comunes de las ara\u00F1as de la web tenemos: Crear el \u00EDndice de una m\u00E1quina de b\u00FAsqueda. Analizar los enlaces de un sitio para buscar links rotos. Recolectar informaci\u00F3n de un cierto tipo, como precios de productos para recopilar un cat\u00E1logo."@es , "Una aranya web o robot web (web crawler en angl\u00E8s) \u00E9s un programari que inspecciona p\u00E0gines Web de forma met\u00F2dica i automatitzada. Les aranyes web, s'utilitzen per a crear una c\u00F2pia de totes les p\u00E0gines web visitades per al seu processament posterior per un motor de recerca que indexa les p\u00E0gines proporcionant un sistema de recerques r\u00E0pid. Aquests programes, comencen visitant una llista d'URLs, identifica els hiperenlla\u00E7os que contenen i els afegeix a la llista d'URLs a visitar de manera recurrent d'acord a un determinat conjunt de regles. El seu funcionament usual, \u00E9s a partir d'un grup d'adreces inicials que es proporciona a aquest programa, l'aranya les descarrega, n'analitza les p\u00E0gines i cerca enlla\u00E7os a p\u00E0gines noves. Despr\u00E9s descarrega aquestes p\u00E0gines noves, analitza les seves enlla\u00E7os, i aix\u00ED successivament ad nauseam. Les tasques m\u00E9s comunes de les aranyes s\u00F3n: Crear l'\u00EDndex d'una m\u00E0quina de recerca. Analitzar els enlla\u00E7os d'un lloc per a buscar enlla\u00E7os trencats. Recol\u00B7lectar informaci\u00F3 d'un cert tipus, com preus de productes per a recopilar un cat\u00E0leg. Els administradors de webs, poden controlar relativament, l'acc\u00E9s de les aranyes a les seves webs, creant l'arxiu \"robots. txt\", que usa una sintaxi definida per a guiar aquests robots per l'estructura d'aquella web. Podeu veure per exemple l'arxiu; http://ca. wikipedia. org/robots. txt"@ca , "S\u00F8kerobot (eller crawler) er et dataprogram som samler sammen nettsider, typisk for \u00E5 sende til en s\u00F8kemotor. N\u00E5r crawleren bes\u00F8ker en internett-side, gjennoms\u00F8ker den siden for \u00E5 finne lenker til andre sider. Deretter henter den inn disse sidene ogs\u00E5, og slik fortsetter det helt til den har hentet alt man har bedt den om. De store internett-s\u00F8kemotorene har hundrevis av crawlere som jobber p\u00E5 spreng for \u00E5 sanke sammen s\u00E5 mange som mulig av verdens nettsteder."@no , "Hakurobotti on tietokantaohjelma, joka hakee selaimen tapaan webin palvelimissa olevia verkkosivuja, indeksoi eli tallentaa niist\u00E4 tiedonhakua varten tiettyj\u00E4 kentti\u00E4. Robotin tallentamien tietojen pohjalta luodaan tai p\u00E4ivitet\u00E4\u00E4n tietokanta, josta Internetin k\u00E4ytt\u00E4j\u00E4 voi tehd\u00E4 hakuja. Robotti voi k\u00E4yd\u00E4 l\u00E4pi kaikkia palvelimia tai vain esimerkiksi suosituimpien palvelimien dokumentteja. Robotit voivat indeksoida koko tekstin tai otsikon ja pari ensimm\u00E4ist\u00E4 lausetta tai URL-osoitteet tai META-elementin. Ne poistavat tekstist\u00E4 yleiset sanat (prepositiot, artikkelit jne. ) ja sanojen p\u00E4\u00E4tteet ja muodostavat tietokannan, jossa jokainen termi viittaa ko. termiin viittaavaan dokumenttiin. Koska jotkin hakurobotit antavat liian paljon linkkej\u00E4, on kehitetty ryp\u00E4st\u00E4vi\u00E4 eli klusteroivia hakurobotteja, jotka eiv\u00E4t ilmoita samaa linkki\u00E4 kahdesti ja jotka ryhmittelev\u00E4t hakemansa linkit. Hakurobottien toimintaa voidaan rajoittaa robots. txt-tiedostolla. Tunnettujen hakukoneiden hakurobotteja voidaan sen avulla est\u00E4\u00E4 hakemasta yksitt\u00E4isi\u00E4 verkkosivuja, niit\u00E4 sis\u00E4lt\u00E4vi\u00E4 hakemistoja tai kaikkia verkkotunnuksella olevia sivuja."@fi , "Un crawler (detto anche spider o robot), \u00E8 un software che analizza i contenuti di una rete (o di un database) in un modo metodico e automatizzato, in genere per conto di un motore di ricerca. Un crawler \u00E8 un tipo di bot (programma o script che automatizza delle operazioni). I crawler solitamente acquisiscono una copia testuale di tutti i documenti visitati e le inseriscono in un indice. Un uso estremamente comune dei crawler \u00E8 nel Web. Sul Web, il crawler si basa su una lista di URL da visitare fornita dal motore di ricerca (il quale, inizialmente, si basa sugli indirizzi suggeriti dagli utenti o su una lista precompilata dai programmatori stessi). Durante l'analisi di un URL, identifica tutti gli hyperlink presenti nel documento e li aggiunge alla lista di URL da visitare. Il processo pu\u00F2 essere concluso manualmente o dopo che un determinato numero di collegamenti \u00E8 stato seguito. Inoltre i crawler attivi su Internet hanno la facolt\u00E0 di essere indirizzati da quanto indicato nel file \"robots. txt\" posto nella root del sito. All'interno di questo file, \u00E8 possibile indicare quali pagine non dovrebbero essere analizzate. Il crawler ha la facolt\u00E0 di seguire i consigli, ma non l'obbligo. Ecco di seguito una tabella con i nomi degli spider dei principali motori di ricerca Dati aggiornati al 21/02/2008"@it , "\u041F\u043E\u0438\u0441\u043A\u043E\u0301\u0432\u044B\u0439 \u0440\u043E\u0301\u0431\u043E\u0442 (\u00AB\u0432\u0435\u0431-\u043F\u0430\u0443\u0301\u043A\u00BB, \u043A\u0440\u0430\u0443\u043B\u0435\u0440)\u00A0\u2014 \u043F\u0440\u043E\u0433\u0440\u0430\u043C\u043C\u0430, \u044F\u0432\u043B\u044F\u044E\u0449\u0430\u044F\u0441\u044F \u0441\u043E\u0441\u0442\u0430\u0432\u043D\u043E\u0439 \u0447\u0430\u0441\u0442\u044C\u044E \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B \u0438 \u043F\u0440\u0435\u0434\u043D\u0430\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u0430\u044F \u0434\u043B\u044F \u043E\u0431\u0445\u043E\u0434\u0430 \u0441\u0442\u0440\u0430\u043D\u0438\u0446 \u0418\u043D\u0442\u0435\u0440\u043D\u0435\u0442\u0430 \u0441 \u0446\u0435\u043B\u044C\u044E \u0437\u0430\u043D\u0435\u0441\u0435\u043D\u0438\u044F \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043E \u043D\u0438\u0445 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u0438\u043A\u0430. \u041F\u043E \u043F\u0440\u0438\u043D\u0446\u0438\u043F\u0443 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044F \u043F\u0430\u0443\u043A \u043D\u0430\u043F\u043E\u043C\u0438\u043D\u0430\u0435\u0442 \u043E\u0431\u044B\u0447\u043D\u044B\u0439 \u0431\u0440\u0430\u0443\u0437\u0435\u0440. \u041E\u043D \u0430\u043D\u0430\u043B\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u043C\u043E\u0435 \u0441\u0442\u0440\u0430\u043D\u0438\u0446\u044B, \u0441\u043E\u0445\u0440\u0430\u043D\u044F\u0435\u0442 \u0435\u0433\u043E \u0432 \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u043E\u043C \u0441\u043F\u0435\u0446\u0438\u0430\u043B\u044C\u043D\u043E\u043C \u0432\u0438\u0434\u0435 \u043D\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u043E\u0439 \u043C\u0430\u0448\u0438\u043D\u044B, \u043A\u043E\u0442\u043E\u0440\u043E\u0439 \u043F\u0440\u0438\u043D\u0430\u0434\u043B\u0435\u0436\u0438\u0442, \u0438 \u043E\u0442\u043F\u0440\u0430\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043F\u043E \u0441\u0441\u044B\u043B\u043A\u0430\u043C \u043D\u0430 \u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u0435 \u0441\u0442\u0440\u0430\u043D\u0438\u0446\u044B. \u0412\u043B\u0430\u0434\u0435\u043B\u044C\u0446\u044B \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u044B\u0445 \u043C\u0430\u0448\u0438\u043D \u043D\u0435\u0440\u0435\u0434\u043A\u043E \u043E\u0433\u0440\u0430\u043D\u0438\u0447\u0438\u0432\u0430\u044E\u0442 \u0433\u043B\u0443\u0431\u0438\u043D\u0443 \u043F\u0440\u043E\u043D\u0438\u043A\u043D\u043E\u0432\u0435\u043D\u0438\u044F \u043F\u0430\u0443\u043A\u0430 \u0432\u043D\u0443\u0442\u0440\u044C \u0441\u0430\u0439\u0442\u0430 \u0438 \u043C\u0430\u043A\u0441\u0438\u043C\u0430\u043B\u044C\u043D\u044B\u0439 \u0440\u0430\u0437\u043C\u0435\u0440 \u0441\u043A\u0430\u043D\u0438\u0440\u0443\u0435\u043C\u043E\u0433\u043E \u0442\u0435\u043A\u0441\u0442\u0430, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u0447\u0435\u0440\u0435\u0441\u0447\u0443\u0440 \u0431\u043E\u043B\u044C\u0448\u0438\u0435 \u0441\u0430\u0439\u0442\u044B \u043C\u043E\u0433\u0443\u0442 \u043E\u043A\u0430\u0437\u0430\u0442\u044C\u0441\u044F \u043D\u0435 \u043F\u043E\u043B\u043D\u043E\u0441\u0442\u044C\u044E \u043F\u0440\u043E\u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u043C\u0438 \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u043E\u0439 \u043C\u0430\u0448\u0438\u043D\u043E\u0439. \u041A\u0440\u043E\u043C\u0435 \u043E\u0431\u044B\u0447\u043D\u044B\u0445 \u043F\u0430\u0443\u043A\u043E\u0432, \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044E\u0442 \u0442\u0430\u043A \u043D\u0430\u0437\u044B\u0432\u0430\u0435\u043C\u044B\u0435 \u00AB\u0434\u044F\u0442\u043B\u044B\u00BB\u00A0\u2014 \u0440\u043E\u0431\u043E\u0442\u044B, \u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u00AB\u043F\u0440\u043E\u0441\u0442\u0443\u043A\u0438\u0432\u0430\u044E\u0442\u00BB \u043F\u0440\u043E\u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u043D\u044B\u0439 \u0441\u0430\u0439\u0442, \u0447\u0442\u043E\u0431\u044B \u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0438\u0442\u044C, \u0447\u0442\u043E \u043E\u043D \u0434\u043E\u0441\u0442\u0443\u043F\u0435\u043D. \u041F\u043E\u0440\u044F\u0434\u043E\u043A \u043E\u0431\u0445\u043E\u0434\u0430 \u0441\u0442\u0440\u0430\u043D\u0438\u0446, \u0447\u0430\u0441\u0442\u043E\u0442\u0430 \u0432\u0438\u0437\u0438\u0442\u043E\u0432, \u0437\u0430\u0449\u0438\u0442\u0430 \u043E\u0442 \u0437\u0430\u0446\u0438\u043A\u043B\u0438\u0432\u0430\u043D\u0438\u044F, \u0430 \u0442\u0430\u043A\u0436\u0435 \u043A\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0432\u044B\u0434\u0435\u043B\u0435\u043D\u0438\u044F \u0437\u043D\u0430\u0447\u0438\u043C\u043E\u0439 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043E\u043F\u0440\u0435\u0434\u0435\u043B\u044F\u044E\u0442\u0441\u044F \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u044B\u043C\u0438 \u0430\u043B\u0433\u043E\u0440\u0438\u0442\u043C\u0430\u043C\u0438. \u0412 \u0431\u043E\u043B\u044C\u0448\u0438\u043D\u0441\u0442\u0432\u0435 \u0441\u043B\u0443\u0447\u0430\u0435\u0432 \u043F\u0435\u0440\u0435\u0445\u043E\u0434 \u043E\u0442 \u043E\u0434\u043D\u043E\u0439 \u0441\u0442\u0440\u0430\u043D\u0438\u0446\u044B \u043A \u0434\u0440\u0443\u0433\u043E\u0439 \u043E\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043B\u044F\u0435\u0442\u0441\u044F \u043F\u043E \u0441\u0441\u044B\u043B\u043A\u0430\u043C, \u0441\u043E\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u043C\u0441\u044F \u043D\u0430 \u043F\u0435\u0440\u0432\u043E\u0439 \u0438 \u043F\u043E\u0441\u043B\u0435\u0434\u0443\u044E\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043D\u0438\u0446\u0430\u0445. \u0422\u0430\u043A\u0436\u0435 \u043C\u043D\u043E\u0433\u0438\u0435 \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u044B\u0435 \u0441\u0438\u0441\u0442\u0435\u043C\u044B \u043F\u0440\u0435\u0434\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0442 \u043F\u043E\u043B\u044C\u0437\u043E\u0432\u0430\u0442\u0435\u043B\u044E \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u044C \u0441\u0430\u043C\u043E\u0441\u0442\u043E\u044F\u0442\u0435\u043B\u044C\u043D\u043E \u0434\u043E\u0431\u0430\u0432\u0438\u0442\u044C \u0441\u0430\u0439\u0442 \u0432 \u043E\u0447\u0435\u0440\u0435\u0434\u044C \u0434\u043B\u044F \u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u044F. \u041E\u0431\u044B\u0447\u043D\u043E \u044D\u0442\u043E \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043D\u043D\u043E \u0443\u0441\u043A\u043E\u0440\u044F\u0435\u0442 \u0438\u043D\u0434\u0435\u043A\u0441\u0438\u0440\u043E\u0432\u0430\u043D\u0438\u0435 \u0441\u0430\u0439\u0442\u0430, \u0430 \u0432 \u0441\u043B\u0443\u0447\u0430\u044F\u0445, \u043A\u043E\u0433\u0434\u0430 \u043D\u0438\u043A\u0430\u043A\u0438\u0435 \u0432\u043D\u0435\u0448\u043D\u0438\u0435 \u0441\u0441\u044B\u043B\u043A\u0438 \u043D\u0435 \u0432\u0435\u0434\u0443\u0442 \u043D\u0430 \u0441\u0430\u0439\u0442, \u0432\u043E\u043E\u0431\u0449\u0435 \u043E\u043A\u0430\u0437\u044B\u0432\u0430\u0435\u0442\u0441\u044F \u0435\u0434\u0438\u043D\u0441\u0442\u0432\u0435\u043D\u043D\u043E\u0439 \u0432\u043E\u0437\u043C\u043E\u0436\u043D\u043E\u0441\u0442\u044C\u044E \u0443\u043A\u0430\u0437\u0430\u0442\u044C \u043D\u0430 \u0435\u0433\u043E \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043E\u0432\u0430\u043D\u0438\u0435. \u041E\u0433\u0440\u0430\u043D\u0438\u0447\u0438\u0442\u044C \u0438\u043D\u0434\u0435\u043A\u0441\u0430\u0446\u0438\u044E \u0441\u0430\u0439\u0442\u0430 \u043C\u043E\u0436\u043D\u043E \u0441 \u043F\u043E\u043C\u043E\u0449\u044C\u044E \u0444\u0430\u0439\u043B\u0430 robots. txt, \u043E\u0434\u043D\u0430\u043A\u043E \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u043D\u0435\u0434\u043E\u0431\u0440\u043E\u0441\u043E\u0432\u0435\u0441\u0442\u043D\u044B\u0435 \u0431\u043E\u0442\u044B \u043C\u043E\u0433\u0443\u0442 \u0438\u0433\u043D\u043E\u0440\u0438\u0440\u043E\u0432\u0430\u0442\u044C \u043D\u0430\u043B\u0438\u0447\u0438\u0435 \u044D\u0442\u043E\u0433\u043E \u0444\u0430\u0439\u043B\u0430. \u041F\u043E\u043B\u043D\u0430\u044F \u0437\u0430\u0449\u0438\u0442\u0430 \u043E\u0442 \u0438\u043D\u0434\u0435\u043A\u0441\u0430\u0446\u0438\u0438 \u043C\u043E\u0436\u0435\u0442 \u0431\u044B\u0442\u044C \u043E\u0431\u0435\u0441\u043F\u0435\u0447\u0435\u043D\u0430 \u0434\u0440\u0443\u0433\u0438\u043C\u0438 \u043C\u0435\u0445\u0430\u043D\u0438\u0437\u043C\u0430\u043C\u0438, \u043D\u0430\u043F\u0440\u0438\u043C\u0435\u0440 \u0443\u0441\u0442\u0430\u043D\u043E\u0432\u043A\u043E\u0439 \u043F\u0430\u0440\u043E\u043B\u044F \u043D\u0430 \u0441\u0442\u0440\u0430\u043D\u0438\u0446\u0435 \u043B\u0438\u0431\u043E \u0442\u0440\u0435\u0431\u043E\u0432\u0430\u043D\u0438\u0435\u043C \u0437\u0430\u043F\u043E\u043B\u043D\u0438\u0442\u044C \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0430\u0446\u0438\u043E\u043D\u043D\u0443\u044E \u0444\u043E\u0440\u043C\u0443 \u043F\u0435\u0440\u0435\u0434 \u0442\u0435\u043C, \u043A\u0430\u043A \u043F\u043E\u043B\u0443\u0447\u0438\u0442\u044C \u0434\u043E\u0441\u0442\u0443\u043F \u043A \u0441\u043E\u0434\u0435\u0440\u0436\u0438\u043C\u043E\u043C\u0443."@ru , "\u7DB2\u8DEF\u8718\u86DB(Web spider)\u6307\u7684\u662F\u300C\u81EA\u52D5\u5316\u700F\u89BD\u7DB2\u8DEF\u300D\u7684\u7A0B\u5F0F\u3002\u9019\u6A23\u7684\u96FB\u8166\u7A0B\u5F0F\u662F\u70BA\u4E86\u81EA\u52D5\u5F9E\u7DB2\u8DEF\u64F7\u53D6\u7279\u5B9A\u7684\u8CC7\u6599\uFF0C\u6216\u70BA\u4E86\u7D44\u7E54\u7DB2\u8DEF\u4E0A\u7684\u8CC7\u6599\uFF0C\u6240\u8A2D\u8A08\u7684\u300C\u300E\u81EA\u52D5\u700F\u89BD\u7DB2\u8DEF\u300F\u7684\u7A0B\u5F0F\u300D\u3002"@zh , "Een spider (ook wel webcrawler genoemd) is een computerprogramma dat het wereldwijde web op een methodische en geautomatiseerde manier doorbladert, als een soort robot. Spiders maken veelal een lokale kopie van de gevonden pagina's om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines. De werkingswijze is eenvoudig: de spider begint met een lijst met URL's en bezoekt deze \u00E9\u00E9n voor \u00E9\u00E9n, waarbij alle hyperlinks die in de bezochte pagina's voorkomen aan de lijst van te bezoeken URL's worden toegevoegd. Op deze wijze kan een spider vrijwel alle publiekelijk toegankelijke pagina's op het internet langsgaan. Veelal komen spiders met een vaste regelmaat langs om hun index actueel te houden. Spiders dienen zich tijdens hun rondgang te gedragen omdat ze pagina's nu eenmaal sneller kunnen opvragen en verwerken dan een mens. De meeste spiders nemen de moeite om pagina's van \u00E9\u00E9n webserver niet allemaal achter elkaar op te vragen maar deze over een tijdsbestek te spreiden om te voorkomen dat de betreffende webserver overbelast raakt. Voor eigenaars en beheerders van websites zijn methodes ge\u00EFntroduceerd om het gedrag van spiders te be\u00EFnvloeden. Zo kan in de hoofdmap van de website een tekstbestandje genaamd 'robots. txt' worden gezet met beperkingen voor \u00E9\u00E9n of meerdere spiders. Er kan worden aangegeven welke delen van de website door bepaalde spiders niet mogen worden bezocht. Alvorens een website te bezoeken zal een goede spider controleren of dit bestand bestaat en of er voor de betreffende spider beperkingen staan aangegeven. Zie bijvoorbeeld: http://nl. wikipedia. org/robots. txt Sommige spiders negeren robots. txt. Dit kan nadelige gevolgen hebben voor de website die ze bezoeken. Om dit tegen te gaan kan men op een webserver de IP-adressen van de betreffende spiders blokkeren. Robots die zich goed gedragen houden zich aan de regels die in robots. txt staan. Het is mogelijk in de header van individuele webpagina's meta-tags op te nemen voor robots. Als deze meta-tag niet aanwezig is, gaat de robot uit van de standaardwaarde: Het content-element kent de volgende variaties: index / noindex \u2013 wel of niet indexeren van de pagina follow / nofollow \u2013 wel of niet volgen van hyperlinks op de pagina noarchive \u2013 de pagina niet lokaal archiveren Index en Follow hebben niet direct effect, standaard wordt een pagina ge\u00EFndexeerd en worden de hyperlinks op een pagina gevolgd. Een spider meldt zich aan met een bepaalde User Agent. Bijvoorbeeld, de spiders van Google melden zich met user agent Googlebot of om compleet te zijn 'Googlebot/2. X '. Bedrijven die spiders inzetten doen er goed aan om uit te leggen wat ze beogen met de spider en welk gedrag deze vertonen. De grotere zoekmachines doen dat al. Spiders worden niet alleen ingezet om data te verzamelen voor zoekmachines. Er zijn spiders actief die op soortgelijke wijze het internet afstruinen op zoek naar e-mailadressen. Een e-mailadres heeft een standaard opmaak en is daardoor goed herkenbaar. De verzamelde e-mailadressen worden vervolgens verkocht om er spam naar te verzenden."@nl , "\u041F\u043E\u0448\u0443\u043A\u043E\u0432\u0438\u0439 \u0440\u043E\u0431\u043E\u0442 (\"\u0432\u0435\u0431-\u043F\u0430\u0432\u0443\u043A\", \u043A\u0440\u0430\u0443\u043B\u0435\u0440, \u0441\u043F\u0430\u0439\u0434\u0435\u0440) - \u043F\u0440\u043E\u0433\u0440\u0430\u043C\u0430, \u0449\u043E \u0454 \u0441\u043A\u043B\u0430\u0434\u043E\u0432\u043E\u044E \u0447\u0430\u0441\u0442\u0438\u043D\u043E\u044E \u043F\u043E\u0448\u0443\u043A\u043E\u0432\u0430\u0457 \u0441\u0438\u0441\u0442\u0435\u043C\u0438 \u0456 \u043F\u0440\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0430 \u0434\u043B\u044F \u043E\u0431\u0445\u043E\u0434\u0443 \u0441\u0442\u043E\u0440\u0456\u043D\u043E\u043A \u0456\u043D\u0442\u0435\u0440\u043D\u0435\u0442\u0443 \u0437 \u043C\u0435\u0442\u043E\u044E \u0437\u0430\u043D\u0435\u0441\u0435\u043D\u043D\u044F \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457 \u043F\u0440\u043E \u043D\u0438\u0445 (\u043A\u043B\u044E\u0447\u043E\u0432\u0456 \u0441\u043B\u043E\u0432\u0430) \u0443 \u0431\u0430\u0437\u0443. \u041F\u0430\u0432\u0443\u043A\u0438 \u0437\u0434\u0456\u0439\u0441\u043D\u044E\u044E\u0442\u044C \u0437\u0430\u0433\u0430\u043B\u044C\u043D\u0438\u0439 \u043F\u043E\u0448\u0443\u043A \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457 \u0432 \u0406\u043D\u0442\u0435\u0440\u043D\u0435\u0442. \u041F\u0430\u0432\u0443\u043A\u0438 \u043F\u043E\u0432\u0456\u0434\u043E\u043C\u043B\u044F\u044E\u0442\u044C \u043F\u0440\u043E \u0437\u043C\u0456\u0441\u0442 \u0437\u043D\u0430\u0439\u0434\u0435\u043D\u043E\u0433\u043E \u0434\u043E\u043A\u0443\u043C\u0435\u043D\u0442\u0430, \u0456\u043D\u0434\u0435\u043A\u0441\u0443\u044E\u0442\u044C \u0439\u043E\u0433\u043E \u0456 \u0434\u043E\u0431\u0443\u0432\u0430\u044E\u0442\u044C \u043F\u0456\u0434\u0441\u0443\u043C\u043A\u043E\u0432\u0443 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u044E. \u0412\u043E\u043D\u0438 \u0442\u0430\u043A\u043E\u0436 \u043F\u0435\u0440\u0435\u0433\u043B\u044F\u0434\u0430\u044E\u0442\u044C \u0437\u0430\u0433\u043E\u043B\u043E\u0432\u043A\u0438, \u0434\u0435\u044F\u043A\u0456 \u043F\u043E\u0441\u0438\u043B\u0430\u043D\u043D\u044F \u0456 \u0432\u0456\u0434\u043F\u0440\u0430\u0432\u043B\u044F\u044E\u0442\u044C \u043F\u0440\u043E\u0456\u043D\u0434\u0435\u043A\u0441\u043E\u0432\u0430\u043D\u0443 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u044E \u0434\u043E \u0431\u0430\u0437\u0438 \u0434\u0430\u043D\u0438\u0445 \u043F\u043E\u0448\u0443\u043A\u043E\u0432\u043E\u0433\u043E \u043C\u0435\u0445\u0430\u043D\u0456\u0437\u043C\u0443."@uk , "Robot internetowy (lub te\u017C Robot indeksuj\u0105cy) \u2013 jest programem zbieraj\u0105cym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i s\u0142u\u017C\u0105 m. in. do: dodawania do wyszukiwarek, sprawdzania kodu strony, zbierania informacji o stronie, monitorowania \"co nowego\", tworzenia mirror\u00F3w stron. W przypadku robota Google tzn. Googlebota m\u00F3wi si\u0119 o robotach wykonuj\u0105cych \"Google's fresh crawl\" i \"Google's deep crawl\" lub \"Google's main crawl\". \"Fresh crawl\" jest wykonywany cz\u0119sto, nawet kilka razy dziennie - robot najprawdopodobniej sprawdza co si\u0119 zmieni\u0142o na stronie, \"deep crawl\" g\u0142\u0119bokie indeksowanie najprawdopodobniej polega na pobieraniu wi\u0119kszej ilo\u015Bci danych z witryny i odbywa si\u0119 kilka razy w miesi\u0105cu. Ruch generowany przez roboty jest jednym z podstawowych wska\u017Anik\u00F3w m\u00F3wi\u0105cych o pozycjonowaniu strony."@pl , "\u30AF\u30ED\u30FC\u30E9 (Crawler) \u3068\u306F\u3001\u30A6\u30A7\u30D6\u4E0A\u306E\u6587\u66F8\u3084\u753B\u50CF\u306A\u3069\u3092\u5468\u671F\u7684\u306B\u53D6\u5F97\u3057\u3001\u81EA\u52D5\u7684\u306B\u30C7\u30FC\u30BF\u30D9\u30FC\u30B9\u5316\u3059\u308B\u30D7\u30ED\u30B0\u30E9\u30E0\u3067\u3042\u308B\u3002\u300C\u30DC\u30C3\u30C8(Bot)\u300D\u3001\u300C\u30ED\u30DC\u30C3\u30C8\u300D\u3001\u300C\u30B9\u30D1\u30A4\u30C0\u30FC\u300D\u3001\u300C\u30ED\u30DC\u30C3\u30C8\u300D\u306A\u3069\u3068\u3082\u547C\u3070\u308C\u308B\u3002 \u4E3B\u306B\u691C\u7D22\u30A8\u30F3\u30B8\u30F3\u306E\u30C7\u30FC\u30BF\u30D9\u30FC\u30B9\u3001\u30A4\u30F3\u30C7\u30C3\u30AF\u30B9\u4F5C\u6210\u306B\u7528\u3044\u3089\u308C\u3066\u3044\u308B\u307B\u304B\u3001\u7D71\u8A08\u8ABF\u67FB\u306A\u3069\u306E\u76EE\u7684\u306B\u3082\u5229\u7528\u3055\u308C\u308B\u3002\u8FD1\u5E74\u3067\u306F\u96FB\u5B50\u30E1\u30FC\u30EB\u30A2\u30C9\u30EC\u30B9\u53CE\u96C6\u696D\u8005\u306A\u3069\u3082\u30AF\u30ED\u30FC\u30E9\u3092\u5229\u7528\u3057\u3066\u3001\u30B9\u30D1\u30E0\u306E\u9001\u4FE1\u52B9\u7387\u3092\u4E0A\u3052\u3066\u3044\u308B\u3002 \u4E00\u822C\u306B\u30AF\u30ED\u30FC\u30E9\u306F\u3001\u65E2\u77E5\u306EHTML\u6587\u66F8\u306E\u65B0\u3057\u3044\u30B3\u30D4\u30FC\u3092\u8981\u6C42\u3057\u3001\u6587\u66F8\u4E2D\u306B\u542B\u307E\u308C\u308B\u30EA\u30F3\u30AF\u3092\u305F\u3069\u308A\u5225\u306E\u6587\u66F8\u3092\u53CE\u96C6\u3059\u308B\u3068\u3044\u3046\u52D5\u4F5C\u3092\u7E70\u308A\u8FD4\u3059\u3002\u65B0\u3057\u3044\u6587\u66F8\u3092\u898B\u3064\u3051\u305F\u5834\u5408\u306F\u30C7\u30FC\u30BF\u30D9\u30FC\u30B9\u306B\u767B\u9332\u3059\u308B\u3002\u307E\u305F\u3001\u65E2\u77E5\u306E\u30D5\u30A1\u30A4\u30EB\u304C\u5B58\u5728\u3057\u306A\u3044\u3053\u3068\u3092\u691C\u51FA\u3057\u305F\u5834\u5408\u306F\u30C7\u30FC\u30BF\u30D9\u30FC\u30B9\u304B\u3089\u524A\u9664\u3059\u308B\u3002"@ja , "En spindel \u00E4r ett datorprogram som automatiskt h\u00E4mtar webbsidor fr\u00E5n webben och hittar nya sidor att h\u00E4mta genom att f\u00F6lja hyperl\u00E4nkarna i sidorna vidare. Spindlar anv\u00E4nds exempelvis av s\u00F6kmotorer som Google f\u00F6r att skapa och h\u00E5lla uppdaterat sitt index \u00F6ver inneh\u00E5llet p\u00E5 webben. Dessa spindlar s\u00F6ker igenom allt p\u00E5 de websidor de hittar till. Om inte dom\u00E4nen i fr\u00E5ga ineh\u00E5ller en speciall textfil som ger vissa kommandon \u00E5t dessa spindlar. Denna fil brukar kallas robot. txt och kan utesluta delar eller hela hemsidor. Om en spindel inte hittar n\u00E5got kan det bero p\u00E5 att filen robot. txt inte till\u00E5ter spindeln att indexera sidan, eller att spindeln inte kan hitta till sidan p\u00E5 grund utav brist p\u00E5 hyperl\u00E4nk."@sv , "Ein Webcrawler (auch Spider) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen. Der Begriff b\u00FCrgerte sich durch die gleichnamige Suchmaschine WebCrawler ein, welche 1994 die erste \u00F6ffentlich erreichbare WWW-Suchmaschine mit Volltextindex war. Webcrawler sind eine spezielle Art von Bots, d. h. Computerprogrammen, die weitgehend autonom sich wiederholenden Aufgaben nachgehen."@de , "A Web crawler is a computer program that browses the World Wide Web in a methodical, automated manner. Other terms for Web crawlers are ants, automatic indexers, bots, and worms Kobayashi, M. and Takeda, K. (2000). \"Information retrieval on the web\". ACM Computing Surveys (ACM Press) 32 (2): 144\u2013173. doi:10.1145/358923.358934. http://doi. acm. org/10.1145/358923.358934. or Web spider, Web robot, or\u2014especially in the FOAF community\u2014Web scutterSee definition of scutter on FOAF Project's wiki. This process is called Web crawling or spidering. Many sites, in particular search engines, use spidering as a means of providing up-to-date data. Web crawlers are mainly used to create a copy of all the visited pages for later processing by a search engine that will index the downloaded pages to provide fast searches. Crawlers can also be used for automating maintenance tasks on a Web site, such as checking links or validating HTML code. Also, crawlers can be used to gather specific types of information from Web pages, such as harvesting e-mail addresses. A Web crawler is one type of bot, or software agent. In general, it starts with a list of URLs to visit, called the seeds. As the crawler visits these URLs, it identifies all the hyperlinks in the page and adds them to the list of URLs to visit, called the crawl frontier. URLs from the frontier are recursively visited according to a set of policies."@en ; rdfs:comment "En spindel \u00E4r ett datorprogram som automatiskt h\u00E4mtar webbsidor fr\u00E5n webben och hittar nya sidor att h\u00E4mta genom att f\u00F6lja hyperl\u00E4nkarna i sidorna vidare. Spindlar anv\u00E4nds exempelvis av s\u00F6kmotorer som Google f\u00F6r att skapa och h\u00E5lla uppdaterat sitt index \u00F6ver inneh\u00E5llet p\u00E5 webben. Dessa spindlar s\u00F6ker igenom allt p\u00E5 de websidor de hittar till. Om inte dom\u00E4nen i fr\u00E5ga ineh\u00E5ller en speciall textfil som ger vissa kommandon \u00E5t dessa spindlar. Denna fil brukar kallas robot."@sv , "Robot internetowy (lub te\u017C Robot indeksuj\u0105cy) \u2013 jest programem zbieraj\u0105cym informacje o strukturze i stronach umieszczanych w indeksie wyszukiwarek i s\u0142u\u017C\u0105 m. in. do: dodawania do wyszukiwarek, sprawdzania kodu strony, zbierania informacji o stronie, monitorowania \"co nowego\", tworzenia mirror\u00F3w stron. W przypadku robota Google tzn. Googlebota m\u00F3wi si\u0119 o robotach wykonuj\u0105cych \"Google's fresh crawl\" i \"Google's deep crawl\" lub \"Google's main crawl\"."@pl , "S\u00F8kerobot (eller crawler) er et dataprogram som samler sammen nettsider, typisk for \u00E5 sende til en s\u00F8kemotor. N\u00E5r crawleren bes\u00F8ker en internett-side, gjennoms\u00F8ker den siden for \u00E5 finne lenker til andre sider. Deretter henter den inn disse sidene ogs\u00E5, og slik fortsetter det helt til den har hentet alt man har bedt den om. De store internett-s\u00F8kemotorene har hundrevis av crawlere som jobber p\u00E5 spreng for \u00E5 sanke sammen s\u00E5 mange som mulig av verdens nettsteder."@no , "\u041F\u043E\u0448\u0443\u043A\u043E\u0432\u0438\u0439 \u0440\u043E\u0431\u043E\u0442 (\"\u0432\u0435\u0431-\u043F\u0430\u0432\u0443\u043A\", \u043A\u0440\u0430\u0443\u043B\u0435\u0440, \u0441\u043F\u0430\u0439\u0434\u0435\u0440) - \u043F\u0440\u043E\u0433\u0440\u0430\u043C\u0430, \u0449\u043E \u0454 \u0441\u043A\u043B\u0430\u0434\u043E\u0432\u043E\u044E \u0447\u0430\u0441\u0442\u0438\u043D\u043E\u044E \u043F\u043E\u0448\u0443\u043A\u043E\u0432\u0430\u0457 \u0441\u0438\u0441\u0442\u0435\u043C\u0438 \u0456 \u043F\u0440\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0430 \u0434\u043B\u044F \u043E\u0431\u0445\u043E\u0434\u0443 \u0441\u0442\u043E\u0440\u0456\u043D\u043E\u043A \u0456\u043D\u0442\u0435\u0440\u043D\u0435\u0442\u0443 \u0437 \u043C\u0435\u0442\u043E\u044E \u0437\u0430\u043D\u0435\u0441\u0435\u043D\u043D\u044F \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457 \u043F\u0440\u043E \u043D\u0438\u0445 (\u043A\u043B\u044E\u0447\u043E\u0432\u0456 \u0441\u043B\u043E\u0432\u0430) \u0443 \u0431\u0430\u0437\u0443. \u041F\u0430\u0432\u0443\u043A\u0438 \u0437\u0434\u0456\u0439\u0441\u043D\u044E\u044E\u0442\u044C \u0437\u0430\u0433\u0430\u043B\u044C\u043D\u0438\u0439 \u043F\u043E\u0448\u0443\u043A \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457 \u0432 \u0406\u043D\u0442\u0435\u0440\u043D\u0435\u0442."@uk , "Een spider (ook wel webcrawler genoemd) is een computerprogramma dat het wereldwijde web op een methodische en geautomatiseerde manier doorbladert, als een soort robot. Spiders maken veelal een lokale kopie van de gevonden pagina's om deze later te kunnen verwerken en indexeren voor bijvoorbeeld zoekmachines."@nl , "Un robot d'indexation (ou litt\u00E9ralement araign\u00E9e du Web; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le Web. Il est g\u00E9n\u00E9ralement con\u00E7u pour collecter les ressources, afin de permettre \u00E0 un moteur de recherche de les indexer. Fonctionnant sur le m\u00EAme principe, certains robots malveillants sont utilis\u00E9s pour archiver les ressources ou collecter des adresses \u00E9lectroniques auxquelles envoyer des courriels."@fr , "Una ara\u00F1a web (o ara\u00F1a de la web) es un programa que inspecciona las p\u00E1ginas del World Wide Web de forma met\u00F3dica y automatizada. Uno de los usos m\u00E1s frecuentes que se les da consiste en crear una copia de todas las p\u00E1ginas web visitadas para su procesado posterior por un motor de b\u00FAsqueda que indexa las p\u00E1ginas proporcionando un sistema de b\u00FAsquedas r\u00E1pido. Las ara\u00F1as web suelen ser bots (el tipo m\u00E1s usado de \u00E9stos)."@es , "\u041F\u043E\u0438\u0441\u043A\u043E\u0301\u0432\u044B\u0439 \u0440\u043E\u0301\u0431\u043E\u0442 (\u00AB\u0432\u0435\u0431-\u043F\u0430\u0443\u0301\u043A\u00BB, \u043A\u0440\u0430\u0443\u043B\u0435\u0440)\u00A0\u2014 \u043F\u0440\u043E\u0433\u0440\u0430\u043C\u043C\u0430, \u044F\u0432\u043B\u044F\u044E\u0449\u0430\u044F\u0441\u044F \u0441\u043E\u0441\u0442\u0430\u0432\u043D\u043E\u0439 \u0447\u0430\u0441\u0442\u044C\u044E \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B \u0438 \u043F\u0440\u0435\u0434\u043D\u0430\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u0430\u044F \u0434\u043B\u044F \u043E\u0431\u0445\u043E\u0434\u0430 \u0441\u0442\u0440\u0430\u043D\u0438\u0446 \u0418\u043D\u0442\u0435\u0440\u043D\u0435\u0442\u0430 \u0441 \u0446\u0435\u043B\u044C\u044E \u0437\u0430\u043D\u0435\u0441\u0435\u043D\u0438\u044F \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043E \u043D\u0438\u0445 \u0432 \u0431\u0430\u0437\u0443 \u0434\u0430\u043D\u043D\u044B\u0445 \u043F\u043E\u0438\u0441\u043A\u043E\u0432\u0438\u043A\u0430. \u041F\u043E \u043F\u0440\u0438\u043D\u0446\u0438\u043F\u0443 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044F \u043F\u0430\u0443\u043A \u043D\u0430\u043F\u043E\u043C\u0438\u043D\u0430\u0435\u0442 \u043E\u0431\u044B\u0447\u043D\u044B\u0439 \u0431\u0440\u0430\u0443\u0437\u0435\u0440."@ru , ""@ja , "Una aranya web o robot web (web crawler en angl\u00E8s) \u00E9s un programari que inspecciona p\u00E0gines Web de forma met\u00F2dica i automatitzada. Les aranyes web, s'utilitzen per a crear una c\u00F2pia de totes les p\u00E0gines web visitades per al seu processament posterior per un motor de recerca que indexa les p\u00E0gines proporcionant un sistema de recerques r\u00E0pid."@ca , "Ein Webcrawler (auch Spider) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen eingesetzt. Weitere Anwendungen sind das Sammeln von RSS-Newsfeeds, E-Mail-Adressen oder anderer Informationen. Der Begriff b\u00FCrgerte sich durch die gleichnamige Suchmaschine WebCrawler ein, welche 1994 die erste \u00F6ffentlich erreichbare WWW-Suchmaschine mit Volltextindex war. Webcrawler sind eine spezielle Art von Bots, d."@de , "Un crawler (detto anche spider o robot), \u00E8 un software che analizza i contenuti di una rete (o di un database) in un modo metodico e automatizzato, in genere per conto di un motore di ricerca. Un crawler \u00E8 un tipo di bot (programma o script che automatizza delle operazioni). I crawler solitamente acquisiscono una copia testuale di tutti i documenti visitati e le inseriscono in un indice. Un uso estremamente comune dei crawler \u00E8 nel Web."@it , "Hakurobotti on tietokantaohjelma, joka hakee selaimen tapaan webin palvelimissa olevia verkkosivuja, indeksoi eli tallentaa niist\u00E4 tiedonhakua varten tiettyj\u00E4 kentti\u00E4. Robotin tallentamien tietojen pohjalta luodaan tai p\u00E4ivitet\u00E4\u00E4n tietokanta, josta Internetin k\u00E4ytt\u00E4j\u00E4 voi tehd\u00E4 hakuja. Robotti voi k\u00E4yd\u00E4 l\u00E4pi kaikkia palvelimia tai vain esimerkiksi suosituimpien palvelimien dokumentteja."@fi , "\u7DB2\u8DEF\u8718\u86DB(Web spider)\u6307\u7684\u662F\u300C\u81EA\u52D5\u5316\u700F\u89BD\u7DB2\u8DEF\u300D\u7684\u7A0B\u5F0F\u3002\u9019\u6A23\u7684\u96FB\u8166\u7A0B\u5F0F\u662F\u70BA\u4E86\u81EA\u52D5\u5F9E\u7DB2\u8DEF\u64F7\u53D6\u7279\u5B9A\u7684\u8CC7\u6599\uFF0C\u6216\u70BA\u4E86\u7D44\u7E54\u7DB2\u8DEF\u4E0A\u7684\u8CC7\u6599\uFF0C\u6240\u8A2D\u8A08\u7684\u300C\u300E\u81EA\u52D5\u700F\u89BD\u7DB2\u8DEF\u300F\u7684\u7A0B\u5F0F\u300D\u3002"@zh , "A Web crawler is a computer program that browses the World Wide Web in a methodical, automated manner. Other terms for Web crawlers are ants, automatic indexers, bots, and worms Kobayashi, M. and Takeda, K. (2000). \"Information retrieval on the web\". ACM Computing Surveys (ACM Press) 32 (2): 144\u2013173. doi:10.1145/358923.358934. http://doi. acm. org/10.1145/358923.358934."@en . @prefix skos: . @prefix ns11: . dbpedia:Web_crawler skos:subject ns11:Web_crawlers , ns11:Search_engine_software , ns11:Internet_search_algorithms . @prefix ns12: . dbpedia:Web_crawler dbpprop:wikiPageUsesTemplate ns12:for ; dbpprop:forProperty "the fictional robots called Scutters"@en , "Red Dwarf characters The Skutters"@en , "WebCrawler"@en , "the search engine of the same name"@en . @prefix ns13: . dbpedia:Web_crawler dbpprop:hasPhotoCollection ns13:Web_crawler . @prefix dbpedia-owl: . dbpedia:PowerMapper dbpedia-owl:genre dbpedia:Web_crawler . @prefix ns15: . dbpedia:PowerMapper ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia-owl:genre dbpedia:Web_crawler ; ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia:HTTrack dbpedia-owl:genre dbpedia:Web_crawler ; ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia:Crawler dbpprop:disambiguates dbpedia:Web_crawler . dbpedia:Heritrix dbpedia-owl:genre dbpedia:Web_crawler ; ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia:Methabot dbpedia-owl:genre dbpedia:Web_crawler ; ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia:SortSite dbpedia-owl:genre dbpedia:Web_crawler ; ns15:genre dbpedia:Web_crawler ; dbpprop:genre dbpedia:Web_crawler . dbpedia:Crawl_site dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_bot dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_engine_robot dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_engine_robots dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_engine_spider dbpprop:redirect dbpedia:Web_crawler . dbpedia:Scutter dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_robot dbpprop:redirect dbpedia:Web_crawler . dbpedia:Site_crawler dbpprop:redirect dbpedia:Web_crawler . dbpedia:Search_engine_spiders dbpprop:redirect dbpedia:Web_crawler . dbpedia:Spiderable dbpprop:redirect dbpedia:Web_crawler . dbpedia:Spiderbot dbpprop:redirect dbpedia:Web_crawler . dbpedia:Spidering dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web-crawler dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web_Crawler dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web_scutter dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web_spider dbpprop:redirect dbpedia:Web_crawler . dbpedia:Webcrawlers dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web_crawlers dbpprop:redirect dbpedia:Web_crawler . dbpedia:Web_crawling dbpprop:redirect dbpedia:Web_crawler . @prefix yago: . yago:Web_crawler owl:sameAs dbpedia:Web_crawler .