我が内なるアジア

これは中間層を二つ持った４層構造のニューラルネットである。
入力層に入ったデータは、中間層の一層目で形態そのものを扱い、中間層の二層目でそのメタレベルの問題を扱うように学習するのではないだろうか？という仮説であった。

これは最初、うまくように見えたが、当時のコンピューターの能力では学習に時間がかかりすぎ、研究の結論にたどり着くまでの時間は現実ではないように見えた。

そこで、この学習を最適化しようと考えたわけだが、そのときに中間層を一層減らした３層構造のニューラルネットで色々と試してみることからやってみた。

ところがここで驚くべきことが起こった。
なんと、ただ試しにやってみた３層構造のニューラルネットはあっさりと「ゆらぎを含んだ形態理論」を学習してしまったのだ。
このことは、「一層目で形態を扱い、二層目でそのメタレベルの問題を扱う」という仮説をくつがえす、僕の研究にとっては大きな衝撃だった。

冷静になって考えてみると、そもそもものごとを「形態」と「そのメタレベルの問題」に分けて考えていたこと自体が「ゆらぎを含む問題を直感的に扱うニューラルネット」という発想から逸脱していたのかも知れない。与えられた問題を直感的に扱うということは、その学習済みのネットワークの内部を細かく調べたとしても、そこには「それをどういうロジックで認識できるようになったのか？」というものが言語的に見られるものではない。
つまりニューラルネットの構造を論理的に捉えようとしていたことが間違っていたのだ。

雑なたとえをするのであれば、人間の脳はを見たところで、その人が何を考えているのか？ということはわからないのと同様。（なんとなくこのたとえは間違っているような気もするが、、、）

これは今のディープラーニングが「特徴抽出」というところに重きをおいていることについても言えるような気がする。
３層構造のニューラルネットが、形態とそのメタレベルの問題を同じように扱える、ということは、すでにそれを言語的に説明することができないもののはずであるが、それを「特徴抽出」という還元的な手法でアプローチすることは本当に正しいことなのだろうか？という疑問を僕は持っている。