About: Transformer (machine learning model)

Facets (new session)
Description
Metadata
Settings
- Rule:
- Inverse Functional Properties:
- "Same As":

About: Transformer (machine learning model) Goto Sponge NotDistinct Permalink

An Entity of Type : owl:Thing, within Data Space : dbpedia.org associated with source document(s)
QRcode icon

http://dbpedia.org/describe/?url=http%3A%2F%2Fdbpedia.org%2Fresource%2FTransformer_%28machine_learning_model%29

A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing (NLP) and computer vision (CV).

Attributes	Values
rdfs:label	الشبكات العصبية غير الترتيبية (حاسوب) (ar) Transformador (model d'aprenentatge automàtic) (ca) Transformer (Maschinelles Lernen) (de) Transformer (ikasketa automatikoko eredua) (eu) Trasfhoirmeoir (samhail na meaisínfhoghlama ) (ga) Transformeur (fr) 변환기 (기계 학습) (ko) Transformer (機械学習モデル) (ja) Transformer (machine learning model) (en) Transformator (maskininlärningsmodell) (sv) Трансформер (модель машинного обучения) (ru) Трансформер (модель машинного навчання) (uk) Transformer模型 (zh)
rdfs:comment	الشبكات العصبية غير الترتيبية طريقة للتعلم الآلي تستعمل في مجال معالجة اللغة بالحاسوب. مثل الشبكات العصبية المعادة، تستعمل لمعالجة المعطيات المتسلسلة مثل اللغات والترجمة والتلخيص. لكنها خلافا لها لا تستلزم ذلك الترتيب. فمثلا إذا كانت المعطيات جملة مفيدة، لا يلزم أن تعالج بداية الجملة قبل نهايتها. (ar) 변환기(變換機, transformer) 또는 트랜스포머는 주의집중(attention, 어텐션) 메커니즘을 활용하는 딥 러닝 모형이다. 본래 자연어 처리에 활용되었으나, 비전 변환기의 등장 이후 컴퓨터 비전에도 활용되고 있다. 변환기가 개발되어 순환 신경망(RNN)의 단점이 극복됨에 따라 자연어 처리 최고의 RNN 기법이었던 장단기 메모리(Long Short-Term Memory, LSTM)가 변환기에 의해 대체되는 추세이다. OpenAI에서 만든 GPT, GPT-2, GPT-3도 변환기를 사용한다. (ko) Трансфо́рмер (англ. Transformer) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain. По аналогии с рекуррентными нейронными сетями (РНС) трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличие от РНС, трансформеры не требуют обработки последовательностей по порядку. Например, если входные данные — это текст, то трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены. (ru) Transformer模型（直译为“变换器”）是一种采用自注意力机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。与循环神经网络（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transformer模型能够一次性处理所有输入数据。注意力机制可以为输入序列中的任意位置提供上下文。如果输入数据是自然语言，则Transformer不必像RNN一样一次只处理一个单词，这种架构允许更多的并行计算，并以此减少训练时间。 Transformer模型于2017年由谷歌大脑的一个团队推出，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。并行化优势允许其在更大的数据集上进行训练。这也促成了BERT、GPT等预训练模型的发展。这些系统使用了维基百科、等大型语料库进行训练，并可以针对特定任务进行微调。 (zh) Ein Transformer ist eine Methode, mit der ein Computer eine Folge von Zeichen in eine andere Folge von Zeichen übersetzen kann. Dies kann z. B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Dazu wird ein Transformer mittels maschinellem Lernen auf einer (großen) Menge von Beispiel-Daten trainiert, bevor das trainierte Modell dann zur Übersetzung verwendet werden kann. Transformer gehören zu den Deep-Learning-Architekturen. Transformer wurden 2017 im Rahmen der Neural-Information-Processing-Systems-Konferenz veröffentlicht. (de) Transformer 2017an sortutako ikasketa automatiko sakoneko eredu bat da, nagusiki hizkuntzaren prozesamenduan (HP) erabiltzen dena. Neurona-sare errepikakorrak (RNN) bezala, Transformerrak datu-sekuentzia ordenatuak kudeatzeko diseinatuta daude. Sekuentziak hizkuntza naturaleko esaldiak direnean, hainbat zereginetarako balio dute, hala nola, itzulpen automatikorako eta testuen laburpengintza automatikorako. Hala ere, RNNak ez bezala, Transformerrek sekuentzia osoa ez dute modu ordenatuan prozesatu behar. Beraz, kasuan kasuko datuak hizkuntza naturala badira, Transformerrek derrigorrez ez dute esaldiaren hasiera osorik prozesatu behar esaldiaren amaiera prozesatzen hasi aurretik. Ezaugarri hori dela eta, Transformerrek RNN ereduak baino paralelizatzeko-ahalmen handiagoa ematen du entrenamend (eu) Le transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à montrer leur potentiel en vision par ordinateur, en commençant par Visual Transformer (ViT). (fr) Is éard is trasfhoirmeoir ann ná samhail na domhainfhoghlama, a ghlacann meicníocht na féin-airde, ag ualú go difreálach thábhacht gach cuid de na sonraí ionchuir. Úsáidtear é go príomha i réimsí áirithe, amhail próiseáil teanga nádúrtha (PTN) agus amharc ríomhaireachtúil (AR). (ga) A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing (NLP) and computer vision (CV). (en) トランスフォーマー（Transformer）は、2017年に発表された深層学習モデルであり、主に自然言語処理（NLP）の分野で使用される。自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク（RNN）と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される。 (ja) Трансфо́рмер (англ. Transformer) — це модель глибинного навчання, яка переймає механізм уваги, роздільно зважуючи важливість кожної частини даних входу. Її використовують переважно в області обробки природної мови (ОПМ) та в комп'ютерному баченні (КБ). (uk)
foaf:depiction
dcterms:subject	Neural network architectures
Wikipage page ID	61603971 (xsd:integer)
Wikipage revision ID	1123242160 (xsd:integer)
Link from a Wikipage to another Wikipage	PyTorch Question answering Natural-language understanding Natural language generation Natural language processing Time series Hopfield network Vanishing gradient problem Deep learning International Conference on Learning Representations Lexical analysis Common Crawl Complex number Matrix multiplication Gated recurrent unit GPT-2 Convolutional neural network Recurrent neural networks Computer vision Feedforward neural network Parallel computing Transfer learning Wikipedia GPT-3 Locality-sensitive hashing Fixed point (mathematics) Google Brain Attention (machine learning) TensorFlow Attention mechanism Automatic summarization Autoregressive model Neural network architectures BERT (language model) Byte pair encoding Softmax function Convolutional neural networks Hugging Face OpenAI Long short-term memory Machine translation Statistical machine translation Sentiment analysis Sequence analysis Unsupervised learning Named-entity recognition Self-supervised learning Word embedding Supervised learning Text Summaries Language modeling Language translation
Link from a Wikipage to an external page	https://ml-jku.github.io/hopfield-layers/ https://nlp.seas.harvard.edu/2018/04/03/attention.html https://arxiv.org/abs/2008.02217
sameAs	Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model) Transformer (machine learning model)

Faceted Search & Find service v1.17_git139 as of Feb 29 2024

Alternative Linked Data Documents: ODE Content Formats:

RDF

ODATA

Microdata

About

OpenLink Virtuoso version 08.03.3330 as of Mar 19 2024, on Linux (x86_64-generic-linux-glibc212), Single-Server Edition (378 GB total memory, 62 GB memory in use)
Data on this page belongs to its respective rights holders.
Virtuoso Faceted Browser Copyright © 2009-2024 OpenLink Software