LoRA 뜻
다른 이름: Low-Rank Adaptation
LoRA는 AI 모델을 저렴하게 조정하는 방법입니다. 모든 가중치를 바꾸지 않고 작은 추가 모듈만 학습시킵니다.
예시
LoRA를 쓰면 모델 전체를 다시 학습하지 않고도 이미지 모델이 회사 일러스트의 화풍을 익힐 수 있습니다.
전문가용
LoRA는 선택한 가중치 행렬에 작은 저랭크 행렬을 더하고 그 부분만 학습합니다. 기본 모델은 그대로 고정됩니다. 메모리와 계산을 아낄 수 있고, 어댑터 크기는 모델의 아주 작은 일부로 보통 몇 MB에서 수백 MB 정도입니다. QLoRA 같은 변형은 이를 양자화와 결합합니다.
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.