ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．

今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347

サポーターも募集中です． https://www.patreon.com/jojonki