About: GPT-2

An Entity of Type: software, from Named Graph: http://dbpedia.org, within Data Space: dbpedia.org

Generative Pre-trained Transformer 2 (GPT-2) is an open-source artificial intelligence created by OpenAI in February 2019. GPT-2 translates text, answers questions, summarizes passages, and generates text output on a level that, while sometimes indistinguishable from that of humans, can become repetitive or nonsensical when generating long passages. It is a general-purpose learner; it was not specifically trained to do any of these tasks, and its ability to perform them is an extension of its general ability to accurately synthesize the next item in an arbitrary sequence. GPT-2 was created as a "direct scale-up" of OpenAI's 2018 GPT model, with a ten-fold increase in both its parameter count and the size of its training dataset.

Property Value
dbo:abstract
  • GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar. (ca)
  • Generative Pre-trained Transformer 2 (GPT-2) is an open-source artificial intelligence created by OpenAI in February 2019. GPT-2 translates text, answers questions, summarizes passages, and generates text output on a level that, while sometimes indistinguishable from that of humans, can become repetitive or nonsensical when generating long passages. It is a general-purpose learner; it was not specifically trained to do any of these tasks, and its ability to perform them is an extension of its general ability to accurately synthesize the next item in an arbitrary sequence. GPT-2 was created as a "direct scale-up" of OpenAI's 2018 GPT model, with a ten-fold increase in both its parameter count and the size of its training dataset. The GPT architecture implements a deep neural network, specifically a transformer model, which uses attention in place of previous recurrence- and convolution-based architectures. Attention mechanisms allow the model to selectively focus on segments of input text it predicts to be the most relevant. This model allows for greatly increased parallelization, and outperforms previous benchmarks for RNN/CNN/LSTM-based models. OpenAI released the complete version of the GPT-2 language model (with 1.5 billion parameters) in November 2019. GPT-2 was to be followed by the 175-billion-parameter GPT-3, revealed to the public in 2020 (whose source code has never been made available). Access to GPT-3 is provided exclusively through APIs offered by OpenAI and Microsoft. (en)
  • GPT-2 (Generative Pre-trained Transformer 2) es un sistema que hace uso de la inteligencia artificial para generar textos creada en febrero del 2019 por OpenAI, un laboratorio de investigación impulsado por Elon Musk. Se trata de un sistema formado por 1.5 billones de parámetros que generan texto prediciendo palabra a palabra. De esta forma es capaz de traducir textos automáticamente, responder preguntas, resumir fragmentos de texto… Este texto generado es en realidad extraído de unas 8 millones de páginas de Internet, por lo que cuenta con un conjunto de datos de unos 40GB de texto para utilizar.​ (es)
  • 생성적 사전학습 변환기 2(Generative Pre-trained Transformer 2) 즉 GPT-2는 OpenAI에서 만든 인공지능이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다. (ko)
  • Generative Pre-trained Transformer 2 (GPT-2) är en som använder djupinlärning för att producera människoliknande text. GPT-2 översätter text, svarar på frågor, sammanfattar passager, och genererar textutdata på en nivå som, även om den ibland inte kan skiljas från människors, kan bli repetitiva eller meningslösa när man genererar långa passager.Det är en allmäninlärare; den var inte specifikt utbildad för att utföra någon av dessa uppgifter, och dess förmåga att utföra dem är en förlängning av dess allmänna förmåga att exakt syntetisera nästa objekt i en godtycklig sekvens. GPT-2 skapades som en "direkt uppskalning" av OpenAI:s 2018 GPT-modell, med en tiofaldig ökning av både dess parameterantal och storleken på dess träningsdatauppsättning. GPT-arkitekturen implementerar ett djupt neuralt nätverk, specifikt en transformatormodell,som använder uppmärksamhet i stället för tidigare återkommande- och faltningsbaserade arkitekturer. Uppmärksamhetsmekanismer tillåter modellen att selektivt fokusera på segment av inmatad text som den förutspår att vara den mest relevanta. Denna modell möjliggör kraftigt ökad parallellisering och överträffar tidigare riktmärken för RNN/CNN/LSTM-baserade modeller OpenAI släppte den kompletta versionen av GPT-2 (med 1,5 miljarder parametrar) i november 2019. GPT-2 skulle följas av 175 miljarder-parametern GPT-3, som avslöjades för allmänheten 2020 (vars källkod aldrig har gjorts tillgänglig). Tillgång till GPT-3 tillhandahålls exklusivt via ett API som erbjuds av Microsoft. (sv)
dbo:author
dbo:genre
dbo:releaseDate
  • 2019-02-14 (xsd:date)
dbo:thumbnail
dbo:wikiPageExternalLink
dbo:wikiPageID
  • 66045029 (xsd:integer)
dbo:wikiPageLength
  • 82903 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID
  • 1124372728 (xsd:integer)
dbo:wikiPageWikiLink
dbp:author
dbp:caption
  • GPT-2 completion using the Hugging Face Write With Transformer website, prompted with text from this Wikipedia article (en)
dbp:genre
dbp:name
  • Generative Pre-trained Transformer 2 (en)
dbp:released
  • 2019-02-14 (xsd:date)
dbp:repo
dbp:screenshot
  • File:GPT2-talks-about-GPT2.png (en)
dbp:website
dbp:wikiPageUsesTemplate
dcterms:subject
rdf:type
rdfs:comment
  • GPT-2 (Generative Pre-trained Transformer 2) és un sistema que fa ús de la intel·ligència artificial per generar textos creada el febrer del 2019 per OpenAI, un laboratori de recerca impulsat per Elon Musk. Es tracta d'un sistema format per 1.5 bilions de paràmetres que generen text preveient paraula a paraula. D'aquesta manera, és capaç de traduir textos automàticament, respondre preguntes, resumir fragments de text... Aquest text que genera realment és extret d'unes 8 milions pàgines d'Internet, per la qual cosa compta amb un conjunt de dades d'uns 40GB de text per utilitzar. (ca)
  • GPT-2 (Generative Pre-trained Transformer 2) es un sistema que hace uso de la inteligencia artificial para generar textos creada en febrero del 2019 por OpenAI, un laboratorio de investigación impulsado por Elon Musk. Se trata de un sistema formado por 1.5 billones de parámetros que generan texto prediciendo palabra a palabra. De esta forma es capaz de traducir textos automáticamente, responder preguntas, resumir fragmentos de texto… Este texto generado es en realidad extraído de unas 8 millones de páginas de Internet, por lo que cuenta con un conjunto de datos de unos 40GB de texto para utilizar.​ (es)
  • 생성적 사전학습 변환기 2(Generative Pre-trained Transformer 2) 즉 GPT-2는 OpenAI에서 만든 인공지능이다. 비지도 학습과 생성적 사전학습(generative pre-training)기법, 변환기(transformer)를 적용하였다. 번역과 대화, 작문을 할 수 있으며 단문의 경우 인간이 쓴 글인지 기계가 쓴 글인지 구분하기 힘들다. (ko)
  • Generative Pre-trained Transformer 2 (GPT-2) is an open-source artificial intelligence created by OpenAI in February 2019. GPT-2 translates text, answers questions, summarizes passages, and generates text output on a level that, while sometimes indistinguishable from that of humans, can become repetitive or nonsensical when generating long passages. It is a general-purpose learner; it was not specifically trained to do any of these tasks, and its ability to perform them is an extension of its general ability to accurately synthesize the next item in an arbitrary sequence. GPT-2 was created as a "direct scale-up" of OpenAI's 2018 GPT model, with a ten-fold increase in both its parameter count and the size of its training dataset. (en)
  • Generative Pre-trained Transformer 2 (GPT-2) är en som använder djupinlärning för att producera människoliknande text. GPT-2 översätter text, svarar på frågor, sammanfattar passager, och genererar textutdata på en nivå som, även om den ibland inte kan skiljas från människors, kan bli repetitiva eller meningslösa när man genererar långa passager.Det är en allmäninlärare; den var inte specifikt utbildad för att utföra någon av dessa uppgifter, och dess förmåga att utföra dem är en förlängning av dess allmänna förmåga att exakt syntetisera nästa objekt i en godtycklig sekvens. GPT-2 skapades som en "direkt uppskalning" av OpenAI:s 2018 GPT-modell, med en tiofaldig ökning av både dess parameterantal och storleken på dess träningsdatauppsättning. (sv)
rdfs:label
  • GPT-2 (ca)
  • Gpt-2 (es)
  • GPT-2 (en)
  • GPT-2 (ko)
  • GPT-2 (sv)
  • GPT-2 (uk)
owl:sameAs
prov:wasDerivedFrom
foaf:depiction
foaf:homepage
foaf:isPrimaryTopicOf
foaf:name
  • Generative Pre-trained Transformer 2 (GPT-2) (en)
is dbo:product of
is dbo:wikiPageRedirects of
is dbo:wikiPageWikiLink of
is foaf:primaryTopic of
Powered by OpenLink Virtuoso    This material is Open Knowledge     W3C Semantic Web Technology     This material is Open Knowledge    Valid XHTML + RDFa
This content was extracted from Wikipedia and is licensed under the Creative Commons Attribution-ShareAlike 3.0 Unported License