できるだけわかりやすく説明してみるという実験:ニューラルネットの汎化能力都市伝説でできた都市

2016年08月22日

マンネリとサプライズ

ニューラルネットが10人が書いた手書き文字について正しく学習し、さらには汎化能力により、それまで教師信号として与えられなかった手書き文字についても正しく認識できるようになったとする。
そこに新たに11人目の人が書いた文字がどうしても正しく認識できない、ということが起こった場合、それまでにニューラルネットが学習によって得た「概念」が間違っていたということになる。

このときニューラルネットはそれまでに学習したことを一旦破壊し、11人目の手書き文字をも認識できるように再学習をしようとする

ここでおもしろいことは、この学習→破壊→再学習のプロセスがプログラマーによってプログラムされたものではなく、ただ「誤差=0に近づくように学習せよ」とだけプログラムされている、ということである。
 

10人の手書き文字を正しく認識できるようになった段階で、ニューラルネットは自己の評価として「誤差=0」に限りなく近い状態にある。

学習曲線7-1

そこに11人目の認識できない手書き文字が与えられた場合、その誤差は0ではなく、大きな値に変わる。
そこまでに学習した内容から、これまで「正解値を得ることができた」と思っていたニューラルネットが、実は獲得した概念が正解ではなかった、と気づくのである。

学習曲線7-2

ニューラルネットにとって、ある時点での誤差が大きいほどより学習する、という力が働くようにプログラムされている。誤差=0という地点へのポテンシャル・エネルギーがそのまま学習する力になる。
11人目の認識できない手書き文字が与えられることによって「学習への意思」が高まるというわけだ。

こうしてニューラルネットは谷を登り、新たな概念の獲得に向けて学習を繰り返す。

以上のニューラルネットの「学習→破壊→再学習」のプロセスは、人間にとってのマンネリとサプライズにどこか似ていないだろうか?
その場合の縦軸は何を表すのかはよく分からないが、人間はものごとを理解した(と思っている)状態が続くと退屈するようになる。人間にとっても学習というものは退屈な繰り返しによるものである。
ここでの「学習」とは、学問であるとか、新しい技能の習得であるとかのいわゆる「学習」だけではなく、人間に与えられるすべての刺激に対する意識的/無意識的なすべての反応を指している。

毎日同じ食べ物を食べ続けたらそのうち飽きる。
これは学習曲線の限りなく0に近いところにある谷にとどまっている状態である。
毎日違うものを食べることは、この学習曲線上をあちこちとウロウロしているようなものだ。
その曲線の形状自体が大きく変わるということはない。ただ曲線上の位置を毎日変えている。

そこへこれまで味わったことがないような美味い食べ物を食べることがあったとする。
サプライズである。
これにより、それまで誤差が0に近いところにあると思っていた学習曲線の谷が、実は誤差≒0ではなかったということに気づく。
サプライズを受けた学習曲線は谷を登ることになる。。。

「脳のためには適度な刺激が必要」とよく言われるが、これは言い換えれば谷底に鎮座していることは脳にとって良くないということなのかも知れない。

マンネリという言葉はマニエリスムを語源としていると言われているが、マナー(manner)という言葉も同じくマニエリスムを語源としている。
manner、つまり手法、形式、型というものは、まさにここでいう「誤差≒0」のものである。型として完成されたもの。
そしてそれはしばしば「マンネリ」と揶揄されることもある。

誤差≒0の地点で退屈することがあるのだとしたら、脳の自然な欲求としてそれは刺激を求め、それを破壊することで谷底から一旦登ろうとする。
破壊と再構築を繰り返すことで洗練されていく、ということなのだろうか。 

OLランキングで1位になりたい!賛同していただける方は下記をクリック!
にほんブログ村 OL日記ブログ ドジOLへ
myinnerasia at 08:09│Comments(0)コンピューター科学 

コメントする

名前
 
  絵文字
 
 
できるだけわかりやすく説明してみるという実験:ニューラルネットの汎化能力都市伝説でできた都市