日本語BERT

日本語でBERTを使う上で、本家Googleの公開しているモデルは日本語の扱いに問題があるため学習し直したモデルを配布している方がいる。ありがたい。

• BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB

  • 入力テキスト: 日本語Wikipedia全て (約1,800万文)

  • 入力テキストにJuman++ (v2.0.0-rc2)で形態素解析を行い、さらにBPEを適用しsubwordに分割

  • 論文 https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/F2-4.pdf
    • SentencePieceを使わなかった理由:

      • 形態素解析を行わずに生文に対して sentencepiece などを用いることも考えられるが、構文解析時の解析単位が大きくずれてしまう恐れがある。

  • スライド https://speakerdeck.com/tomohideshibata/nlp2019-bert-parsing-shibata

• BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳

  • リポジトリ https://github.com/yoheikikuta/bert-japanese
  • クックパッド+BERT と同じ人だと思うけどこちらはWikipediaを元データとして学習している
    • クックパッド社内のデータを使ったものは公開できなかったのだろう
    • SentencePieceを使う

• 大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布 | 株式会社ホットリンク

  • 86M件のTweetを元データにして学習したもの
  • SentencePieceを使う

BERT