| dbo:abstract
|
- الشبكات العصبية غير الترتيبية طريقة للتعلم الآلي تستعمل في مجال معالجة اللغة بالحاسوب. مثل الشبكات العصبية المعادة، تستعمل لمعالجة المعطيات المتسلسلة مثل اللغات والترجمة والتلخيص. لكنها خلافا لها لا تستلزم ذلك الترتيب. فمثلا إذا كانت المعطيات جملة مفيدة، لا يلزم أن تعالج بداية الجملة قبل نهايتها. (ar)
- Un transformador és un model d'aprenentatge profund que adopta el mecanisme de l'autoatenció, ponderant de manera diferent la importància de cada part de les dades d'entrada. S'utilitza principalment en els camps del processament del llenguatge natural (PNL) i la visió per ordinador (CV). Igual que les xarxes neuronals recurrents (RNN), els transformadors estan dissenyats per processar dades d'entrada seqüencials, com el llenguatge natural, amb aplicacions a tasques com la i . Tanmateix, a diferència dels RNN, els transformadors processen tota l'entrada alhora. El mecanisme d'atenció proporciona context per a qualsevol posició de la seqüència d'entrada. Per exemple, si les dades d'entrada són una frase en llenguatge natural, el transformador les processa totes juntes. Això permet més paral·lelització que els RNN i, per tant, redueix els temps d'entrenament.Els transformadors van ser introduïts el 2017 per un equip de i són cada cop més el model preferit per als problemes de PNL, substituint els models RNN com la memòria a llarg termini (LSTM). La paral·lelització addicional de l'entrenament permet entrenar en conjunts de dades més grans. Això va conduir al desenvolupament de pre-entrenats com BERT (Bidirectional Encoder Representations from Transformers) i GPT (Generative Pre-Trained Transformer), que es van entrenar amb grans conjunts de dades d'idiomes, com ara el Corpus de la Viquipèdia i , i que poden ser bons. ajustat a tasques específiques. El transformador ha tingut un gran èxit en el processament del llenguatge natural (NLP), per exemple les tasques de traducció automàtica i predicció de sèries temporals. Molts models preentrenats com ara GPT-2, GPT-3, BERT, XLNet i RoBERTa demostren la capacitat dels transformadors per a realitzar una gran varietat d'aquestes tasques relacionades amb la PNL i tenen el potencial de trobar aplicacions del món real. El model de transformador s'ha implementat en plataformes estàndard d'aprenentatge profund com TensorFlow i PyTorch. (ca)
- Ein Transformer ist eine Methode, mit der ein Computer eine Folge von Zeichen in eine andere Folge von Zeichen übersetzen kann. Dies kann z. B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Dazu wird ein Transformer mittels maschinellem Lernen auf einer (großen) Menge von Beispiel-Daten trainiert, bevor das trainierte Modell dann zur Übersetzung verwendet werden kann. Transformer gehören zu den Deep-Learning-Architekturen. Transformer wurden 2017 im Rahmen der Neural-Information-Processing-Systems-Konferenz veröffentlicht. Weitere Beispielanwendungen von Transformern sind die Textgenerierung oder die Zusammenfassung längerer Texte. Transformer weisen hierbei eine bessere Effizienz gegenüber Long-short-term-memory-Architekturen (LSTM) auf und sind die Grundarchitektur vieler vortrainierter Machine-Learning-Modelle wie (BERT) und Generative Pretrained Transformer (GPT). (de)
- Transformer 2017an sortutako ikasketa automatiko sakoneko eredu bat da, nagusiki hizkuntzaren prozesamenduan (HP) erabiltzen dena. Neurona-sare errepikakorrak (RNN) bezala, Transformerrak datu-sekuentzia ordenatuak kudeatzeko diseinatuta daude. Sekuentziak hizkuntza naturaleko esaldiak direnean, hainbat zereginetarako balio dute, hala nola, itzulpen automatikorako eta testuen laburpengintza automatikorako. Hala ere, RNNak ez bezala, Transformerrek sekuentzia osoa ez dute modu ordenatuan prozesatu behar. Beraz, kasuan kasuko datuak hizkuntza naturala badira, Transformerrek derrigorrez ez dute esaldiaren hasiera osorik prozesatu behar esaldiaren amaiera prozesatzen hasi aurretik. Ezaugarri hori dela eta, Transformerrek RNN ereduak baino paralelizatzeko-ahalmen handiagoa ematen du entrenamenduan zehar. Sortu ziren unetik bertatik Transformerra HPren punta-puntako arkitekturen oinarrizko osagai bilakatu da, kasu askotan, epe laburrerako memoria luzea (LSTM) bezalako neurona-sare errepikatuzko ereduak ordezkatuz. Transformer arkitekturak entrenatze-konputazioetan paralelizazio gehiago erabiltzea errazten duenez, askoz ere datu gehiagorekin egin daiteke entrenamendua. Horrek aurrez entrenatutako sistemak garatzea ahalbidetu du, hala nola, BERT (Bidirectional Encoder Representations from Transformers) eta GPT-2. Horiek kaleratu aurretik hizkuntza orokorreko datu kopuru izugarri handiagoekin entrenatzen dira, eta, ondoren, hizkuntza-zeregin zehatzetara moldatu daitezke. (eu)
- Le transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à montrer leur potentiel en vision par ordinateur, en commençant par Visual Transformer (ViT). À l'instar des réseaux de neurones récurrents (RNN), les transformeurs sont conçus pour gérer des données séquentielles, telles que le langage naturel, pour des tâches telles que la traduction et la synthèse de texte. Cependant, contrairement aux RNN, les transformeurs n'exigent pas que les données séquentielles soient traitées dans l'ordre. Par exemple, si les données d'entrée sont une phrase en langage naturel, le transformeur n'a pas besoin d'en traiter le début avant la fin. Grâce à cette fonctionnalité, le transformeur permet une parallélisation beaucoup plus importante que les RNN et donc des temps d'entraînement réduits. Les transformeurs sont rapidement devenus le modèle de choix pour les problèmes de TAL, remplaçant les anciens modèles de réseaux de neurones récurrents tels que le LSTM (Long Short-Term Memory). Étant donné que le modèle transformeur facilite davantage la parallélisation pendant l'entraînement, celui-ci peut s'effectuer sur des ensembles de données plus volumineux qu'il n'était possible avant son introduction. Cela a conduit au développement de systèmes pré-entraînés tels que BERT (Bidirectional Encoder Representations from Transformers) et GPT (Generative Pre-Training Transformer), qui ont été formés avec d'énormes ensembles de données de texte général, tels que Wikipedia Corpus, et peuvent être affinés pour réaliser des tâches linguistiques spécifiques. (fr)
- Is éard is trasfhoirmeoir ann ná samhail na domhainfhoghlama, a ghlacann meicníocht na féin-airde, ag ualú go difreálach thábhacht gach cuid de na sonraí ionchuir. Úsáidtear é go príomha i réimsí áirithe, amhail próiseáil teanga nádúrtha (PTN) agus amharc ríomhaireachtúil (AR). Cosúil le líonraí néaracha athfhillteacha (LNAcha), deartar trasfhoirmeoirí chun sonraí ionchuir seicheamhacha a phróiseáil, amhail teanga nádúrtha, le feidhmchláir ar thascanna amhail tascanna ar nós aistriúcháin agus achoimriú téacs. Murab ionann agus LNAcha, áfach, próiseálann trasfhoirmeoirí an t-ionchur iomlán ar fad ag an am céanna. Soláthraíonn an mheicníocht airde comhthéacs d’aon suíomh sa seicheamh ionchuir. Mar shampla, más abairt nádúrtha teanga na sonraí ionchuir, ní gá don thrasfhoirmeoir aon fhocal amháin a phróiseáil sa mhullach ar fhocal eile. Ligeann sé seo do chomhthreomhaireacht níos mó ná LNAcha agus dá bhrí sin laghdaítear amanna oiliúna. (ga)
- A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing (NLP) and computer vision (CV). Like recurrent neural networks (RNNs), transformers are designed to process sequential input data, such as natural language, with applications towards tasks such as translation and text summarization. However, unlike RNNs, transformers process the entire input all at once. The attention mechanism provides context for any position in the input sequence. For example, if the input data is a natural language sentence, the transformer does not have to process one word at a time. This allows for more parallelization than RNNs and therefore reduces training times. Transformers were introduced in 2017 by a team at Google Brain and are increasingly the model of choice for NLP problems, replacing RNN models such as long short-term memory (LSTM). The additional training parallelization allows training on larger datasets. This led to the development of pretrained systems such as BERT (Bidirectional Encoder Representations from Transformers) and GPT (Generative Pre-trained Transformer), which were trained with large language datasets, such as the Wikipedia Corpus and Common Crawl, and can be fine-tuned for specific tasks. (en)
- トランスフォーマー（Transformer） は、2017年に発表された深層学習モデルであり、主に自然言語処理 （NLP）の分野で使用される。 自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク （RNN）と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では 回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される 。 その導入以来、Transformer モデルは自然言語処理の多くの問題に取り組む上で広く選択されており、 Long Short-term Memory（LSTM）などの古い回帰型ニューラルネットワークモデルに取って代わった。 Transformer モデルはトレーニング中の並列化を容易にするため、より大きなデータセットでのトレーニングを可能にした。 このことが、 BERT （Bidirectional Encoder Representations from Transformers）や GPT （Generative Pre-trained Transformers）などの事前トレーニング済みシステムの開発につながった。これらは、巨大な一般言語データセットでトレーニングされており、特定の言語タスクにファインチューニングできる。 (ja)
- 변환기(變換機, transformer) 또는 트랜스포머는 주의집중(attention, 어텐션) 메커니즘을 활용하는 딥 러닝 모형이다. 본래 자연어 처리에 활용되었으나, 비전 변환기의 등장 이후 컴퓨터 비전에도 활용되고 있다. 변환기가 개발되어 순환 신경망(RNN)의 단점이 극복됨에 따라 자연어 처리 최고의 RNN 기법이었던 장단기 메모리(Long Short-Term Memory, LSTM)가 변환기에 의해 대체되는 추세이다. OpenAI에서 만든 GPT, GPT-2, GPT-3도 변환기를 사용한다. (ko)
- Трансфо́рмер (англ. Transformer) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain. По аналогии с рекуррентными нейронными сетями (РНС) трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличие от РНС, трансформеры не требуют обработки последовательностей по порядку. Например, если входные данные — это текст, то трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены. (ru)
- Transformer模型（直译为“变换器”）是一种采用自注意力机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。 与循环神经网络（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transformer模型能够一次性处理所有输入数据。注意力机制可以为输入序列中的任意位置提供上下文。如果输入数据是自然语言，则Transformer不必像RNN一样一次只处理一个单词，这种架构允许更多的并行计算，并以此减少训练时间。 Transformer模型于2017年由谷歌大脑的一个团队推出，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。并行化优势允许其在更大的数据集上进行训练。这也促成了BERT、GPT等预训练模型的发展。这些系统使用了维基百科、等大型语料库进行训练，并可以针对特定任务进行微调。 (zh)
- Трансфо́рмер (англ. Transformer) — це модель глибинного навчання, яка переймає механізм уваги, роздільно зважуючи важливість кожної частини даних входу. Її використовують переважно в області обробки природної мови (ОПМ) та в комп'ютерному баченні (КБ). Як і рекурентні нейронні мережі (РНМ), трансформери призначено для обробки послідовних даних входу, таких як природна мова, для таких задач як та реферування тексту. Проте, на відміну від РНМ, трансформери оброблюють дані не обов'язково послідовно. Радше, механізм уваги забезпечує контекст для будь-якого положення в послідовності входу. Наприклад, якщо дані входу є реченням природної мови, то трансформерові не потрібно обробляти його початок, перш ніж взятися за обробку його кінця. Він, радше, визначає контекст, який надає значення кожному слову в цій послідовності. Ця властивість уможливлює набагато більше розпаралелювання, ніж РНМ, і відтак знижує тривалості тренування. З моменту свого дебюту 2017 року трансформери все частіше стають обраною моделлю для задач ОПМ, замінивши моделі РНМ, такі як довга короткочасна пам'ять (ДКЧП). Додаткове розпаралелювання тренування уможливлює тренування на більших наборах даних, ніж це було колись можливим. Це призвело до розробки попередньо натренованих систем, таких як BERT (англ. Bidirectional Encoder Representations from Transformers) та GPT (англ. Generative Pre-trained Transformer), які було треновано на великих мовних наборах даних, таких як корпуси Вікіпедії та , і які можливо тонко налаштовувати для конкретних мовних задач. (uk)
|
| rdfs:comment
|
- الشبكات العصبية غير الترتيبية طريقة للتعلم الآلي تستعمل في مجال معالجة اللغة بالحاسوب. مثل الشبكات العصبية المعادة، تستعمل لمعالجة المعطيات المتسلسلة مثل اللغات والترجمة والتلخيص. لكنها خلافا لها لا تستلزم ذلك الترتيب. فمثلا إذا كانت المعطيات جملة مفيدة، لا يلزم أن تعالج بداية الجملة قبل نهايتها. (ar)
- 변환기(變換機, transformer) 또는 트랜스포머는 주의집중(attention, 어텐션) 메커니즘을 활용하는 딥 러닝 모형이다. 본래 자연어 처리에 활용되었으나, 비전 변환기의 등장 이후 컴퓨터 비전에도 활용되고 있다. 변환기가 개발되어 순환 신경망(RNN)의 단점이 극복됨에 따라 자연어 처리 최고의 RNN 기법이었던 장단기 메모리(Long Short-Term Memory, LSTM)가 변환기에 의해 대체되는 추세이다. OpenAI에서 만든 GPT, GPT-2, GPT-3도 변환기를 사용한다. (ko)
- Трансфо́рмер (англ. Transformer) — архитектура глубоких нейронных сетей, представленная в 2017 году исследователями из Google Brain. По аналогии с рекуррентными нейронными сетями (РНС) трансформеры предназначены для обработки последовательностей, таких как текст на естественном языке, и решения таких задач как машинный перевод и автоматическое реферирование. В отличие от РНС, трансформеры не требуют обработки последовательностей по порядку. Например, если входные данные — это текст, то трансформеру не требуется обрабатывать конец текста после обработки его начала. Благодаря этому трансформеры распараллеливаются легче чем РНС и могут быть быстрее обучены. (ru)
- Transformer模型（直译为“变换器”）是一种采用自注意力机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。 与循环神经网络（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transformer模型能够一次性处理所有输入数据。注意力机制可以为输入序列中的任意位置提供上下文。如果输入数据是自然语言，则Transformer不必像RNN一样一次只处理一个单词，这种架构允许更多的并行计算，并以此减少训练时间。 Transformer模型于2017年由谷歌大脑的一个团队推出，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。并行化优势允许其在更大的数据集上进行训练。这也促成了BERT、GPT等预训练模型的发展。这些系统使用了维基百科、等大型语料库进行训练，并可以针对特定任务进行微调。 (zh)
- Ein Transformer ist eine Methode, mit der ein Computer eine Folge von Zeichen in eine andere Folge von Zeichen übersetzen kann. Dies kann z. B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Dazu wird ein Transformer mittels maschinellem Lernen auf einer (großen) Menge von Beispiel-Daten trainiert, bevor das trainierte Modell dann zur Übersetzung verwendet werden kann. Transformer gehören zu den Deep-Learning-Architekturen. Transformer wurden 2017 im Rahmen der Neural-Information-Processing-Systems-Konferenz veröffentlicht. (de)
- Transformer 2017an sortutako ikasketa automatiko sakoneko eredu bat da, nagusiki hizkuntzaren prozesamenduan (HP) erabiltzen dena. Neurona-sare errepikakorrak (RNN) bezala, Transformerrak datu-sekuentzia ordenatuak kudeatzeko diseinatuta daude. Sekuentziak hizkuntza naturaleko esaldiak direnean, hainbat zereginetarako balio dute, hala nola, itzulpen automatikorako eta testuen laburpengintza automatikorako. Hala ere, RNNak ez bezala, Transformerrek sekuentzia osoa ez dute modu ordenatuan prozesatu behar. Beraz, kasuan kasuko datuak hizkuntza naturala badira, Transformerrek derrigorrez ez dute esaldiaren hasiera osorik prozesatu behar esaldiaren amaiera prozesatzen hasi aurretik. Ezaugarri hori dela eta, Transformerrek RNN ereduak baino paralelizatzeko-ahalmen handiagoa ematen du entrenamend (eu)
- Le transformeur (ou modèle auto-attentif) est un modèle d'apprentissage profond introduit en 2017, utilisé principalement dans le domaine du traitement automatique des langues (TAL). Dès 2020, les transformeurs commencent aussi à montrer leur potentiel en vision par ordinateur, en commençant par Visual Transformer (ViT). (fr)
- Is éard is trasfhoirmeoir ann ná samhail na domhainfhoghlama, a ghlacann meicníocht na féin-airde, ag ualú go difreálach thábhacht gach cuid de na sonraí ionchuir. Úsáidtear é go príomha i réimsí áirithe, amhail próiseáil teanga nádúrtha (PTN) agus amharc ríomhaireachtúil (AR). (ga)
- A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing (NLP) and computer vision (CV). (en)
- トランスフォーマー（Transformer） は、2017年に発表された深層学習モデルであり、主に自然言語処理 （NLP）の分野で使用される。 自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク （RNN）と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では 回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される 。 (ja)
- Трансфо́рмер (англ. Transformer) — це модель глибинного навчання, яка переймає механізм уваги, роздільно зважуючи важливість кожної частини даних входу. Її використовують переважно в області обробки природної мови (ОПМ) та в комп'ютерному баченні (КБ). (uk)
|
