← 용어
LoRA / QLoRA
Low-Rank Adaptation: 모든 수십억 파라미터 업데이트 대신, 동결된 베이스 모델 위에 작은 어댑터 행렬을 훈련하는 파인튜닝 기법. QLoRA = 양자화된 베이스에 LoRA. 둘 다 파인튜닝 메모리를 10~50배 줄이고 초 단위로 스왑 가능한 작은 어댑터 파일 생성. 2026년 디폴트 파인튜닝 접근.
Low-Rank Adaptation: 모든 수십억 파라미터 업데이트 대신, 동결된 베이스 모델 위에 작은 어댑터 행렬을 훈련하는 파인튜닝 기법. QLoRA = 양자화된 베이스에 LoRA. 둘 다 파인튜닝 메모리를 10~50배 줄이고 초 단위로 스왑 가능한 작은 어댑터 파일 생성. 2026년 디폴트 파인튜닝 접근.