BERTによる分節化 #知識の液状化 デフォルト「コピー」で良い see コピー機構 その場合、トークン列を入れて適当な長さで刻む回路になる Scrapboxからコードリージョンなどを除いた箇条書き部分を結合して与え、正しく分割するように訓練すれば良い 不要トークンの削除 こちらは適当なデータセットがない
