日時エンコーディング

• 文章中の場所をPositional Encodingで埋め込むことができる

• 時間軸上の一点も同様に埋め込める

• 人間にとって自然な周期がいくつかあるからそれを採用した方が良いのでは

  • 24時間
  • 1週間(7倍)
  • 28日(4倍)
  • 365日(13倍)
  • 12年(12倍)
  • 144年(12倍)

• 適当に間を等比級数的に分割しても良い

• Twitterやブログなどでの自分の過去のアウトプットをコーパス化する

  • その際に、日時がわかるものに関して日時を捨てる必要はない
  • 学習データに混ぜ込みたい