Leading NLP Ninja
Leading NLP Ninja
jojonki
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
25 minutes Posted Jan 12, 2020 at 8:17 am.
0:00
25:34
Download MP3
Show notes

ICLR 2020より,factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました.

今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/348

サポーターも募集中です. https://www.patreon.com/jojonki