| dbpedia-owl:abstract
|
- The Robot Exclusion Standard, also known as the Robots Exclusion Protocol or robots. txt protocol, is a convention to prevent cooperating web crawlers and other web robots from accessing all or part of a website which is otherwise publicly viewable. Robots are often used by search engines to categorize and archive web sites, or by webmasters to proofread source code. The standard is different from, but can be used in conjunction with, Sitemaps, a robot inclusion standard for websites.
- Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots. txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz für (bestimmte) Suchmaschinen zu sperren. Das Protokoll ist rein hinweisend und ist auf die Mitarbeit des Webcrawlers angewiesen. Man spricht hier auch von „freundlichen“ Webcrawlern. Ein Ausgrenzen bestimmter Teile einer Webpräsenz durch das Protokoll garantiert keine Geheimhaltung, dazu sind Seiten oder Unterverzeichnisse eines Servers durch HTTP-Authentifizierung, eine Access Control List (ACL) oder einen ähnlichen Mechanismus zu schützen. Manche Suchmaschinen zeigen die vom Webcrawler gefundenen URLs trotzdem in den Suchergebnisseiten an, jedoch ohne Beschreibung der Seiten. Das Protokoll wurde 1994 von einer unabhängigen Gruppierung entwickelt, ist inzwischen jedoch allgemein anerkannt und kann als Quasi-Standard betrachtet werden. Anfang Juni 2008 bekannten sich Google, Microsoft und Yahoo zu einigen Gemeinsamkeiten. Mit ACAP 1.0 wurde am 30. November 2007 eine Alternative zum Robots Exclusion Standards geschaffen. Von den großen Suchmaschinenbetreibern wird dies aber bislang nicht verwandt - von Google sogar ausgeschlossen es in der derzeitigen Form zu nutzen .
- El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots. txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda. Los robots son de uso frecuente por los motores de búsqueda para categorizar archivos de los sitios Webs, o por los webmasters para corregir o filtrar el código fuente.
- 'Robotin rajausstandardi (') on WWW-palvelimen juurihakemistoon sijoitettava tiedosto, jolla voidaan antaa tietoja ja rajoituksia hakuroboteille ja muille verkkosivuja tutkiville boteille. Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä hakukoneita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja. robots. txt-standardi sai alkunsa sähköpostilistalla vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin. Alkuperäiseen standardiin kuuluu vain kaksi ilmaustyyppiä: Disallow kertoo mitä botilta kielletään ja User-agent mitä bottia kielto koskee. Sittemmin suosituimmat hakukoneet ovat alkaneet huomioida uusia komentoja, joita kaikki botit eivät kuitenkaan tunnista.
- Il file robots. txt contiene delle regole utilizzate dai crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet. I web crawler sono dei software automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Nella prima fase di analisi di un sito web controllano l'esistenza del file robots. txt per applicare eventuali restrizioni richieste dal webmaster del sito. Il file robots. txt è stato creato nel giugno 1994 con il consenso dei membri della robots mailing list (robots-request@nexor. co. uk). In questo momento non esiste un vero e proprio standard per il protocollo robots.
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots. txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。
- Het Robots Exclusion Protocol, robots exclusion standard of robots. txt protocol is een conventie om (delen) van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat (delen van) een website ongevraagd automatisch wordt gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines. Het kopiëren kan ook gevolgen hebben voor de bereikbaarheid van een website, vooral als het een druk bezochte website is. Tevens gebruiken websites dit protocol om bijvoorbeeld te zorgen dat zoekmachines alleen de startpagina van een website weergeven. Het protocol maakt gebruik van het robots. txt-bestand, dat in de rootdirectory van een website wordt gezet. Als alternatief voor dit speciale bestand kan in bestaande HTML-bestanden middels HTML-tag Meta het attribuut "robots" worden opgenomen.
- Robots Exclusion Protocol – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW. Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów. Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.
- O Protocolo de Exclusão de Robôs é um método empregado pelos administradores de sistemas para informar aos robots visitantes quais diretórios de um site não devem ser vasculhados por eles. Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo. Para controlar as atividades desses robots durante suas buscas, opcionalmente, webmasters podem criar um arquivo chamado robots. txt no diretório raiz de um determinado endereço web. Robots. txt é um arquivo no formato texto (. txt) que funciona como "filtro" para os Crawlers e robots dos motores de busca da Internet, permitindo ou bloqueando o acesso a partes ou à totalidade de um determinado site. Ao visitar um site, os robôs buscam primeiro pelo arquivo robots. txt. Se o conteúdo deste arquivo listar algo conforme segue: User-agent: * Disallow: / então o robô saberá que deve deixar o local sem buscar por nada ali. Outra maneira de se conseguir algo semelhante é através de Meta Tags, colocadas estrategicamente nos cabeçalhos de páginas HTML: <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> O parâmetro NOINDEX diz ao robô que o conteúdo daquele site não deve ser indexado e NOFOLLOW indica que os possíveis links ali existentes não devem ser analisados. Se o robô não encontrar o arquivo robots. txt e não houver nenhuma Meta Tag que o proíba formalmente de analisar um site, a decisão sobre o que fazer passa a ser do próprio robô. Dependendo do site de busca ao qual ele pertence, ele poderá ou não prosseguir com a busca. A maioria optará por prosseguir.
- 'Стандарт исключений для роботов (') — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots. txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому. Использование файла добровольно. Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor. co. uk и с тех пор используется большинством известных поисковых машин. Файл robots. txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Файл robots. txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.
- Robots.txt robots. txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots. txt的文件名应统一为小写。robots. txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots. txt，或者使用robots元数据。 Robots. txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意Robots. txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“／”这两种表示是不同的URL，也不能用"Disallow: *. gif"这样的通配符。 其他的影响搜索引擎的行为的方法包括使用robots元数据：<meta name="robots" content="noindex,nofollow" />这个协议也不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面。
- Robots Exclusion Standard, även Robots Exclusion Protocol, robots. txt-protokoll är ett sätt att förhindra att sökrobotar eller sökspindlar, alltså datorprogram som samlar information åt söktjänster på internet, kommer åt vissa delar av en webbplats. Anledningen kan vara att man vill undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar. Metoden bygger på samarbete från söktjänsternas sida - det finns inget krav på att sökspindlar måste följa konventionen. Konventionen följer inte någon fastlagd standard, utan har utarbetats i konsensus.
- 'Protocole d'exclusion des robots est une ressource de format texte qui peut être placée à la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent ' avant d'indexer un site Web. Sur le serveur Web, cette ressource est fréquemment enregistrée dans un fichier texte appelé .
|
| rdfs:comment
|
- The Robot Exclusion Standard, also known as the Robots Exclusion Protocol or robots. txt protocol, is a convention to prevent cooperating web crawlers and other web robots from accessing all or part of a website which is otherwise publicly viewable. Robots are often used by search engines to categorize and archive web sites, or by webmasters to proofread source code. The standard is different from, but can be used in conjunction with, Sitemaps, a robot inclusion standard for websites.
- Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots. txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボットを案内する目的のSitemapsと組み合わせて使うこともできる。
- Nach der Übereinkunft des Robots-Exclusion-Standard-Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots. txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihrer Webpräsenz für (bestimmte) Suchmaschinen zu sperren.
- El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots. txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.
- 'Robotin rajausstandardi (') on WWW-palvelimen juurihakemistoon sijoitettava tiedosto, jolla voidaan antaa tietoja ja rajoituksia hakuroboteille ja muille verkkosivuja tutkiville boteille. Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä hakukoneita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja. robots. txt-standardi sai alkunsa sähköpostilistalla vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin.
- Il file robots. txt contiene delle regole utilizzate dai crawler (detti anche spider) per applicare restrizioni di analisi sulle pagine di un sito internet. I web crawler sono dei software automatici programmati per effettuare ricerche ed indicizzazioni periodiche. Nella prima fase di analisi di un sito web controllano l'esistenza del file robots. txt per applicare eventuali restrizioni richieste dal webmaster del sito. Il file robots.
- Het Robots Exclusion Protocol, robots exclusion standard of robots. txt protocol is een conventie om (delen) van een normaal toegankelijke website af te schermen voor bepaalde webspiders en zoekrobots. Dit wordt met name gebruikt om te voorkomen dat (delen van) een website ongevraagd automatisch wordt gekopieerd en bijvoorbeeld daarmee wordt opgenomen in zoekresultaten van zoekmachines.
- Robots Exclusion Protocol – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW. Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów.
- O Protocolo de Exclusão de Robôs é um método empregado pelos administradores de sistemas para informar aos robots visitantes quais diretórios de um site não devem ser vasculhados por eles. Robot (ou robô) é um programa de computador que percorre automaticamente as páginas da Internet em busca de documentos, a fim de indexá-los, validá-los ou monitorar alterações de conteúdo.
- 'Стандарт исключений для роботов (') — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots. txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому. Использование файла добровольно.
- Robots Exclusion Standard, även Robots Exclusion Protocol, robots. txt-protokoll är ett sätt att förhindra att sökrobotar eller sökspindlar, alltså datorprogram som samlar information åt söktjänster på internet, kommer åt vissa delar av en webbplats. Anledningen kan vara att man vill undvika att inaktuella sidor eller visst material dyker upp på ett vilseledande sätt bland sökresultaten, trots att sidorna är tillgängliga för allmänheten via länkar.
- Robots.txt robots. txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。 因为一些系统中的URL是大小写敏感的，所以robots. txt的文件名应统一为小写。robots. txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots. txt，或者使用robots元数据。 Robots. txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意Robots. txt是用字符串比较来确定是否获取URL，所以目录末尾有和没有斜杠“／”这两种表示是不同的URL，也不能用"Disallow: *.
- 'Protocole d'exclusion des robots est une ressource de format texte qui peut être placée à la racine d'un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent ' avant d'indexer un site Web. Sur le serveur Web, cette ressource est fréquemment enregistrée dans un fichier texte appelé .
|
