白金鉱業.FM
白金鉱業.FM
白金鉱業
73.言語モデルは中間部分を見ていない?「Lost in the Middle」とテキストデータのaugmentation?「GReaT」の話
1 seconds Posted Aug 20, 2023 at 3:00 pm.
~:Lost in the Middle: How Language Models Use Long Contexts
~:Language Models are Realistic Tabular Data Generators
0:00
0:01
Download MP3
Show notes
感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます!
匿名でのお便りもgoogle formにてお待ちしております!
目次
show notes
辻さんが紹介している論文:Lost in the Middle: How Language Models Use Long Contexts
関連する情報が入力コンテキストの先頭または末尾にある場合に性能が最も高くなることが多く、
長いコンテキストの途中で関連する情報にアクセスしなければならない場合に性能が著しく低下することがわかった
さらに、入力コンテキストが長くなるにつれて、明示的に長いコンテキストを持つモデルであっても性能が大幅に低下する
金さんが紹介している論文:Language Models are Realistic Tabular Data Generators
ICLR 2023 posterにて選定された
実際にKaggleのPlaygroundコンペ用のデータに使われている
Regression with a Crab Age Dataset
Make Synthetic Crab Age Data
GReaTのPythonパッケージ