Leading NLP Ninja
Leading NLP Ninja
jojonki
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
28 minutes Posted Mar 14, 2020 at 6:09 am.
0:00
28:01
Download MP3
Show notes

ICLR 2020より,Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました.

今回紹介した記事はこちらのissueで解説しています.

https://github.com/jojonki/arXivNotes/issues/391

サポーターも募集中です.

https://www.patreon.com/jojonki