Sakana AI、誤差逆伝播なしでCNNを学習しMNISTで96.7%達成
Sakana AIが7月17日にarXivで公開した論文では、同社の「Error Diffusion」手法を初めて畳み込みネットワークと強化学習エージェントに拡張した。誤差逆伝播法や任意の符号の重みを使用せずに、MNISTで96.7%、CIFAR-10で61.7%の精度を達成している。すべての重みが非負に保たれるため、標準的な深層学習では対応できない光ハードウェアやアナログハードウェアといったニューロモルフィックチップ上でネイティブに動作可能な、生物学的に忠実な初の学習モデルの一つとなる。CIFAR-10では、誤差逆伝播法を用いない既存の最高精度手法にまだ7.4ポイント及ばないが、これが誤差逆伝播法を排除したことによる現在の精度のコストを示している。
出典： techtimes.com ↗
非負のweightのみで機能する学習ルールは、生物学的に忠実なだけでなく、標準的なdeep learningでは扱えないある種のハードウェアに直接展開可能だ。
Sakana AI論文 / 記事本文
なぜ重要か
- → 最初の、ニューロモルフィック・ハードウェア（フォトニック、アナログチップ）に展開可能な生物学的に忠実な学習器だ。
- → ランダム行列なしでweight-transport problemを排除する—すべてのweightが非負だ。
- → backprop-freeの競合他社にまだ7.4ポイント差をつけられているが、生物学的妥当性の精度コストを定量化する。
脳のような学習がハードウェアの限界に直面する