2023年現在、LLMの迫力で下記の話が全部吹き飛んでいる カウントベース - トライグラム N-gram - まあまあ良い - ゼロ頻度問題が解決できない - Kneser-Ney smoother - べき分布も再現できる RNN言語モデル#rnnlm BPTTは勾配消失しやすい →LSTM