シンボル列をより短いシンボル列に圧縮する

シンボル列Xをより短いシンボル列Yに圧縮する というものを考えた時に、まずシンボル列Yからシンボル列Xに戻す不定長の出力を出せる装置が必要だよなと思った。 図ではRNN風になっているが、現状のメジャーな実装は「単語IDを入れると不定長の文字列が出てくる辞書オブジェクト」だ

もう一点、こうやってシンボル列を出したとして、それはそのあとどうなるのかって考えたら、シンボルをベクトルに埋め込むわけだよね。で、この装置の最終段では、埋め込み表現からシンボルを作り出しているわけで、だったらシンボルに変えないでそのまま伝達した方が良くない？人間に理解できる形にするためだけに「シンボルとして出力する」が必要になってない？と思った。人間のIOがヘボい。