白金鉱業.FM
白金鉱業.FM
白金鉱業
72.「学習と推論の時間を劇的に減らせる?QLoRA」と「ユーザープライバシー保護に使いたいMachine Unlearning」の話
1 seconds Posted Aug 4, 2023 at 3:00 pm.
~:イントロ+LLMプロジェクトの振り返り
~:QLoRAの話
~:Machine Unlearningの話
0:00
0:01
Download MP3
Show notes
感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます!
匿名でのお便りもgoogle formにてお待ちしております!
目次
show notes
LLM研究プロジェクト ブログ記事一覧 - Platinum Data Blog by BrainPad
QLoRA:4ビット量子化したLLaMAモデルをベースに、Low-rank adapterを用いて微調整を行う手法
論文:QLoRA: Efficient Finetuning of Quantized LLMs
PEFTのブログ:LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
Machine Unlearning:学習済みモデルから学習データのサブセットの影響を除去する
提唱の背景:学習済みモデルの使用に伴う不公平なバイアス・ユーザープライバシーの保護などのリスクに上手く対応したい
論文:A Survey of Machine Unlearning