About: Lexical analysis     Goto   Sponge   NotDistinct   Permalink

An Entity of Type : yago:Whole100003553, within Data Space : dbpedia.org associated with source document(s)
QRcode icon
http://dbpedia.org/describe/?url=http%3A%2F%2Fdbpedia.org%2Fresource%2FLexical_analysis

In computer science, lexical analysis, lexing or tokenization is the process of converting a sequence of characters (such as in a computer program or web page) into a sequence of lexical tokens (strings with an assigned and thus identified meaning). A program that performs lexical analysis may be termed a lexer, tokenizer, or scanner, although scanner is also a term for the first stage of a lexer. A lexer is generally combined with a parser, which together analyze the syntax of programming languages, web pages, and so forth.

AttributesValues
rdf:type
rdfs:label
  • Lexical analysis (en)
  • تحليل المفردات (ar)
  • Anàlisi lèxica (ca)
  • Lexikální analýza (cs)
  • Lexikalische Analyse (de)
  • Λεκτική ανάλυση (el)
  • Analizador léxico (es)
  • Analisis leksikal (in)
  • Analyse lexicale (fr)
  • Analisi lessicale (it)
  • 字句解析 (ja)
  • 낱말 분석 (ko)
  • Lexicale analyse (nl)
  • Analiza leksykalna (pl)
  • Análise léxica (pt)
  • Лексический анализ (ru)
  • Lexikalanalys (sv)
  • Лексичний аналіз (uk)
  • 词法分析 (zh)
rdfs:comment
  • En informàtica l'anàlisi lèxica és el procés de convertir una seqüència de caràcters en una seqüència de tokens. Un programa o funció que realitza l'anàlisi lèxica s'anomena un analitzador lèxic, lexicalitzador, o un escànner. Un analitzador lèxic sovint té la forma d'una sola funció que és cridada per un programa d'anàlisi o una altra funció. (ca)
  • Lexikální analýza je činnost, kterou provádí tzv. lexikální analyzátor (scanner) – je součástí překladače. Lexikální analyzátor rozdělí vstupní posloupnost znaků na lexémy – lexikální jednotky (např. identifikátory, čísla, klíčová slova, operátory, …). Tyto lexémy jsou reprezentovány ve formě tokenů (symbolů), ty jsou poskytnuty ke zpracování syntaktickému analyzátoru. Úkolem lexikálního analyzátoru je také odstranění komentářů a bílých znaků ze zdrojového programu. V praxi je lexikální analyzátor realizován pomocí konečného automatu. (cs)
  • تحليل المفردات أو التحليل المعجمي (بالإنجليزية: Lexical analysis)‏، في علم الحاسوب هو قارئ ترميز المفردات، وهذا يتم بواسطة عملية تحويل سلسلة من الحروف كما في برامج الحاسب أو صفحات الإنترنت إلى سلسلة من الرموز (سلسلة مسند إليها معنى معرف مسبقاً)، ويمكن أن يطلق عليه المعجم أو المرمز أو الماسح ، وتسمى المرحلة الأولى في المعجم «الماسح». المعجم والمحلل يتحدان سوياً لتحليل هيكل الجمل في لغات البرمجة وصفحات الإنترنت والكثير من التطبيقات. (ar)
  • Στην πληροφορική, λεκτική ανάλυση (lexical analysis) είναι η διαδικασία που μετατρέπει μια ακολουθία από χαρακτήρες σε μια ακολουθία από λεκτικές μονάδες (tokens). Ένα πρόγραμμα ή συνάρτηση που κάνει λεκτική ανάλυση ονομάζεται λεκτικός αναλυτής (lexical analyzer, lexer ή scanner). Ένας λεκτικός αναλυτής συχνά αποτελεί μια συνάρτηση που καλείται από ένα ή κάποια άλλη συνάρτηση. (el)
  • Lexikalische Analyse ist in der Informatik die Zerlegung einer Zeichenkette (z. B. Quelltext) in eine Folge von logisch zusammengehörigen Einheiten, sogenannte Token. Ein Computerprogramm, das eine lexikalische Analyse durchführt, wird Lexer, Tokenizer oder lexikalischer Scanner genannt. Ein Lexer ist meist Teil eines Compilers und wird als erster Schritt in der Analysephase ausgeführt. Das Ergebnis des Lexers wird im nächsten Schritt von einem Parser weiterverarbeitet. (de)
  • In computer science, lexical analysis, lexing or tokenization is the process of converting a sequence of characters (such as in a computer program or web page) into a sequence of lexical tokens (strings with an assigned and thus identified meaning). A program that performs lexical analysis may be termed a lexer, tokenizer, or scanner, although scanner is also a term for the first stage of a lexer. A lexer is generally combined with a parser, which together analyze the syntax of programming languages, web pages, and so forth. (en)
  • En informatique, l’analyse lexicale, lexing, segmentation ou tokenization est la conversion d’une chaîne de caractères (un texte) en une liste de symboles (tokens en anglais). Elle fait partie de la première phase de la chaîne de compilation. Ces symboles sont ensuite consommés lors de l'analyse syntaxique. Un programme réalisant une analyse lexicale est appelé un analyseur lexical, tokenizer ou lexer. Un analyseur lexical est généralement combiné à un analyseur syntaxique pour analyser la syntaxe d'un texte. (fr)
  • 計算機科学における字句解析 (じくかいせき、英: lexical analysis) とは、広義の構文解析の前半の処理で、自然言語の文やプログラミング言語のソースコードなどの文字列を解析して、後半の狭義の構文解析で最小単位(終端記号)となっている「トークン」(字句)の並びを得る手続きである。字句解析を行うプログラムは字句解析器である。 (ja)
  • 낱말 분석(Lexical analysis)은 컴퓨터 과학에서 프로그래밍 언어를 처리하는 처리하는 최초의 단계이다. 낱말 분석을 수행하는 프로그램은 렉서(lexer), 토크나이저(tokenizer), 스캐너(scanner)라고 부르지만 스캐너는 렉서의 1단계를 가리키는 의미이기도 하다. (ko)
  • Lexicale analyse is een term uit de informatica waarmee het omzetten van een reeks karakters in een reeks symbolen wordt aangeduid. Programma's die deze omzetting uitvoeren worden lexical analysers, lexers of scanners genoemd. Voor de omzetting van een reeks karakters in een reeks symbolen wordt een aantal regels geformuleerd die aangeven welke opeenvolgende karakters een (geldig) symbool vormen. Deze regels worden meestal gespecificeerd door middel van reguliere expressies. (nl)
  • Na ciência da computação, análise léxica, lexing ou tokenização é o processo de converter uma sequência de caracteres (como em um programa de computador ou página da web) em uma sequência de tokens (strings com um significado atribuído e, portanto, identificado). Um programa que realiza análise lexical pode ser denominado lexer, tokenizer, ou scanner, embora scanner também seja um termo para o primeiro estágio de um lexer. Um lexer geralmente é combinado com um analisador, que juntos analisam a sintaxe de linguagens de programação, páginas da Web e assim por diante. (pt)
  • В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического входной последовательности символов на распознанные группы — лексемы — с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). (ru)
  • Lexikalanalys är inom datalogi den process som består i att en serie tecken tolkas och omvandlas till lexikala element, eller s.k. tokens. Lexikalanalys innebär att indata omvandlas till exempelvis , konstanter, operatorer och parameterar. (sv)
  • Лексичний розбір — це процес перетворення послідовності символів в послідовність токенів (груп символів що відповідають певним шаблонам), та визначення їх типів. Програма, чи функція що виконує лексичний аналіз, називається лексичним аналізатором, токенізатором чи сканером. Часто сканер є звичайною функцією що використовується парсером (синтаксичним аналізатором), для отримання наступного токена з потоку вхідних символів в процесі компіляції. Також часто лексичний аналіз використовують для підсвітки синтаксису певних мов. (uk)
  • 词法分析(英語:lexical analysis)是计算机科学中将字符序列转换为记号(token)序列的过程。进行词法分析的程序或者函数叫作词法分析器(lexical analyzer,简称lexer),也叫扫描器(scanner)。词法分析器一般以函数的形式存在,供语法分析器调用。 (zh)
  • ​ Un analizador léxico o analizador lexicográfico (en inglés scanner o tokenizer) es la primera fase de un compilador, consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. Estos tokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico (en inglés parser). (es)
  • Analisis leksikal (bahasa Inggris: lexical analysis) adalah sebuah proses yang mendahului parsing sebuah rangkaian karakter. Ia menerima masukan serangkaian karakter (seperti dalam dokumen plain-text atau source code) dan menghasilkan deretan simbol yang masing-masing dinamakan token; proses parsing akan lebih mudah dilakukan bila inputnya sudah berupa token. (in)
  • L'analisi lessicale è il processo di prendere in ingresso una sequenza di caratteri e produrre in uscita una sequenza di token. Il flusso di caratteri è genericamente il codice sorgente di un programma. L'analisi lessicale interviene genericamente nella parte di front end della compilazione. Ad esempio, dato in ingresso il seguente codice: Programma Pippo intero i = 1;end Pippo Il flusso di token prodotto sarà il seguente: Da notare che alcuni token potrebbero fare a meno del valore (lessema) (ad esempio il simbolo equal), poiché già indicati dalla tipologia. (it)
  • Analiza leksykalna w informatyce jest to proces rozbijania programów źródłowych na jednostki logiczne (zwane leksemami) złożone z jednego lub więcej znaków, które łącznie mają jakieś znaczenie. Przykładami leksemów mogą być słowa kluczowe (np. while), identyfikator lub liczba składająca się z cyfr. Rozdzielaniem programu źródłowego, na leksemy, zajmuje się lekser. Zazwyczaj lekser działa w parze z parserem, z którym wspólnie analizują składnię języków programowania, na przykład w kompilatorach, ale również w parserach HTML występujących w przeglądarkach internetowych. (pl)
differentFrom
rdfs:seeAlso
dcterms:subject
Wikipage page ID
Wikipage revision ID
Link from a Wikipage to another Wikipage
Faceted Search & Find service v1.17_git139 as of Feb 29 2024


Alternative Linked Data Documents: ODE     Content Formats:   [cxml] [csv]     RDF   [text] [turtle] [ld+json] [rdf+json] [rdf+xml]     ODATA   [atom+xml] [odata+json]     Microdata   [microdata+json] [html]    About   
This material is Open Knowledge   W3C Semantic Web Technology [RDF Data] Valid XHTML + RDFa
OpenLink Virtuoso version 08.03.3330 as of Mar 19 2024, on Linux (x86_64-generic-linux-glibc212), Single-Server Edition (378 GB total memory, 49 GB memory in use)
Data on this page belongs to its respective rights holders.
Virtuoso Faceted Browser Copyright © 2009-2024 OpenLink Software