1行まとめ: 3層パーセプトロンの中間層にニューロンが2個あればone-hotベクトルの恒等写像は何次元であっても構成可能
つまり任意次元のone-hotベクトルは、パーセプトロンで元に戻せる形で2次元空間に埋め込める。
100次元のone-hotを入力として受け取り、100次元の同じone-hotを出力する恒等写像を 中間層のサイズが6の3層パーセプトロンは学習することができる。 size=7ではだいたい学習成功し、size=6では時々学習が成功する。 6は下限なのか、そうではないのか？
中間層のサイズを2にして、何次元のone-hotの恒等写像を学習できるか実験したところ
12次元の恒等写像を学習することができた。
2次元なので各入力に対する中間層の値を可視化できる:
追記: ポアンカレ円板に埋め込むと同じ2次元でも周辺が指数関数的に広くなるから学習が楽かも