The inductive bias of a learning algorithm is the set of assumptions that the learner uses to predict outputs given inputs that it has not encountered (Mitchell, 1980). In machine learning, one aims to construct algorithms that are able to learn to predict a certain target output. To achieve this, the learning algorithm is presented some training examples that demonstrate the intended relation of input and output values.

PropertyValue
dbpprop:abstract
  • The inductive bias of a learning algorithm is the set of assumptions that the learner uses to predict outputs given inputs that it has not encountered (Mitchell, 1980). In machine learning, one aims to construct algorithms that are able to learn to predict a certain target output. To achieve this, the learning algorithm is presented some training examples that demonstrate the intended relation of input and output values. Then the learner is supposed to approximate the correct output, even for examples that have not been shown during training. Without any additional assumptions, this task cannot be solved exactly since unseen situations might have an arbitrary output value. The kind of necessary assumptions about the nature of the target function are subsumed in the term inductive bias (Mitchell, 1980; desJardins and Gordon, 1995). A classical example of an inductive bias is Occam's Razor, assuming that the simplest consistent hypothesis about the target function is actually the best. Here consistent means that the hypothesis of the learner yields correct outputs for all of the examples that have been given to the algorithm. Approaches to a more formal definition of inductive bias are based on mathematical logic. Here, the inductive bias is a logical formula that, together with the training data, logically entails the hypothesis generated by the learner. Unfortunately, this strict formalism fails in many practical cases, where the inductive bias can only be given as a rough description (e.g. in the case of neural networks), or not at all.
  • Nell'apprendimento automatico, il bias induttivo di un algoritmo è l'insieme di assunzioni che il classificatore usa per predire l'output dati gli input che esso non ha ancora incontrato (Mitchell, 1980). L'apprendimento automatico mira a costruire algoritmi che siano in grado di apprendere una certa funzione obiettivo. A tale scopo, si fornisce all'algoritmo di apprendimento un insieme di addestramento, che contiene esempi della relazione sottesa tra valori di ingresso e di uscita della funzione obiettivo. Il classificatore deve quindi approssimare la funzione obiettivo a partire da tali esempi. Il tipo di assunzioni che il classificatore effettua sulla natura della funzione obiettivo prende il nome di bias induttivo (Mitchell, 1980; desJardins and Gordon, 1995). Un classico esempio di bias induttivo è il rasoio di Occam. Tale principio assume che l'ipotesi più semplice consistente con l'insieme di addestramento sia da preferire.
  • 當學習器去預測其未遇到過的輸入的結果時，會做一些假設（Mitchell, 1980）。而學習演算法中的歸納偏向則是這些假設的集合。 機器學習試圖去建造一個可以學習的演算法，用來預測某個目標的結果。要達到此目的，要給於學習演算法一些訓練用範例，範例說明輸入與輸出之間的預期關係。接著要求學習器去近似正確的結果，即使可能是在訓練中未出現的範例。既然未知況況可以是任意的結果，若沒有其它額外的假設，這任務就無法確實解決。這種關於目標函數本質的必要假設就被歸入歸納偏見（Mitchell, 1980; desJardins and Gordon, 1995）。 一個典型的歸納偏向例子是奧卡姆剃刀，它假設最簡單而又一致的假說是實際上最佳的。這裡的一致是指學習器的假說會對所有樣本產生正確的結果。 歸納偏向比較正式的定義是基於數學上的邏輯。這裡，歸納偏向是一個與訓練資料一起的邏輯式子，其邏輯上會蘊涵學習器所產生的假說。不幸地，這種嚴謹形式無法適用於許多真實案例。有些的歸納偏向可能只是一個很粗糙的描述（如在[[人工神經網路），甚至連這種也不是。
dbpprop:hasPhotoCollection
dbpprop:reference
rdfs:comment
  • The inductive bias of a learning algorithm is the set of assumptions that the learner uses to predict outputs given inputs that it has not encountered (Mitchell, 1980). In machine learning, one aims to construct algorithms that are able to learn to predict a certain target output. To achieve this, the learning algorithm is presented some training examples that demonstrate the intended relation of input and output values.
  • Nell'apprendimento automatico, il bias induttivo di un algoritmo è l'insieme di assunzioni che il classificatore usa per predire l'output dati gli input che esso non ha ancora incontrato (Mitchell, 1980). L'apprendimento automatico mira a costruire algoritmi che siano in grado di apprendere una certa funzione obiettivo.
rdfs:label
  • Inductive bias
  • Bias induttivo
  • 歸納偏向
owl:sameAs
skos:subject
foaf:page