LoRA

LoRA (Low-Rank Adaptation) は、大規模言語モデル（LLM）を微調整するための効率的な手法です。この方法では、既存の大きなモデルに小さなアダプテーション層を追加し、特定のタスクやデータセットに対してより効果的に学習させます。これにより、計算リソースと時間の節約が可能になります。LoRA は、ChatGPT や Llama のような大規模言語モデルの微調整に広く利用されています。

関連用語

• QLoRA
• SFT
• LLM