CPT

CPT（継続事前学習）は、AIモデル、特に大規模言語モデル（LLM）において、一度事前学習を終えたモデルに対し、新しいデータや更新されたデータを用いてさらに学習を継続させる技術です。これにより、モデルの知識を最新の状態に保ったり、特定のドメイン知識を強化したりすることが可能になります。新しい情報への対応や、モデルの汎用性を維持しつつ能力を向上させる目的で利用されます。ファインチューニングとは異なり、モデルの基盤となる知識全体を更新するアプローチです。

関連用語

• AI
• LLM
• FT
• Llama
• Mistral
• Gemini
• LoRA