LoRA란? AI 일러스트 LoRA 모델 입문 가이드 (2026)
LoRA의 개념부터 로우랭크 어댑테이션 원리, PixAI의 LoRA 종류, 목적별 선택 기준까지. 처음 쓰는 사람을 위한 입문 가이드입니다.
PixAI에서 이미지를 몇 장 만들어 봤다면 한 번쯤 눈에 걸렸을 겁니다. LoRA. 작품 설명마다 붙어 있고 생성 패널에도 자리를 차지하고 있는데, 정확히 뭘 하는 물건인지는 아무도 안 알려주죠.
간단히 말하면 LoRA는 베이스 모델을 통째로 다시 학습시키지 않고도 특정 캐릭터나 화풍, 포즈를 추가해 주는 파일입니다. 지금 AI 일러스트 판에서 가장 널리 쓰이는 커스터마이징 방식이기도 합니다.
이 글에서는 LoRA가 무엇인지, 어떤 원리로 작동하는지, PixAI에 어떤 종류가 있는지, 내 목적에 맞는 걸 어떻게 고르는지를 순서대로 정리했습니다.
📚 LoRA 시리즈 전체 보기
LoRA란? AI 일러스트에서 말하는 로우랭크 어댑테이션
LoRA는 Low-Rank Adaptation의 줄임말입니다. 이미지 생성 모델을 가볍게 미세 조정하는 기술이죠. 모델 전체를 처음부터 다시 학습시키는 대신, 베이스 모델 위에 얹는 모듈 하나로 새로운 개념과 캐릭터, 화풍을 가르칩니다. 모델의 뼈대는 그대로 둔 채로요.
비유하자면 이렇습니다. 베이스 모델이 실력 있는 일러스트레이터라면, LoRA는 그 사람 책상에 올려 두는 새 캐릭터 설정 자료입니다. 그림 실력 자체가 바뀌는 건 아닙니다. 그런데 갑자기 전혀 다른 걸 그려냅니다.
LoRA 모델의 기술적 정의
기술적으로 LoRA는 모델의 특정 레이어에 작은 저차원 행렬을 끼워 넣는 방식으로 작동합니다. 이 행렬 덕분에 아주 적은 연산으로도 새 학습 데이터에 적응할 수 있습니다. 그래서 파일이 확연히 가볍습니다. 풀 모델이 수 GB인 데 비해 LoRA는 보통 수백 MB 수준이고, 그러면서도 결과물은 충분히 달라집니다.
커뮤니티 기반 커스터마이징이 LoRA 쪽으로 몰린 이유가 여기 있습니다. 학습도 공유도 빠르고, 기업급 장비가 없어도 됩니다.
LoRA는 실제로 어떻게 작동할까
일반적인 애니 캐릭터는 잘 뽑는데 붕괴: 스타레일의 반디 같은 특정 캐릭터만 유독 못 그리는 베이스 모델이 있다고 해 봅시다. 여기에 반디로 학습된 LoRA를 얹으면 꽤 정확하게 나옵니다. 구도와 조명, 인체 비율처럼 모델이 원래 알던 부분은 그대로 처리하고, LoRA는 몰랐던 캐릭터 디테일만 채워 넣는 셈입니다. 모델과 LoRA의 역할 분담이 헷갈린다면 모델 vs LoRA 기초 편을 먼저 읽어 보셔도 좋습니다.
“LoRA는 모델을 처음부터 다시 만들지 않고 새로운 걸 가르치는 방법입니다.”
AI 이미지 생성에 LoRA를 쓰는 이유
쓰임새는 넓지만, 사람들이 LoRA를 찾게 되는 결정적인 이유는 크게 두 가지입니다.
베이스 모델이 모르는 캐릭터 그리기
베이스 모델이 세상의 모든 캐릭터를 학습했을 리는 없습니다. 마이너한 게임 캐릭터나 이번 분기에 막 나온 신작 애니 캐릭터라면 모델은 그게 누군지 아예 모릅니다. 그 공백을 메우는 게 LoRA입니다.
원하는 화풍으로 갈아입히기
수채화, 유화 질감, 만화 선화까지. 스타일 LoRA는 특정 화풍을 자연스럽게 재현합니다. 여러 장을 같은 톤으로 맞춰야 하는 작업이라면 체감 차이가 특히 큽니다.
PixAI의 LoRA 종류 5가지
PixAI에는 목적이 제각각인 LoRA가 올라와 있습니다. 실제로 마주치게 될 다섯 갈래를 먼저 그림 한 장으로 정리했습니다.
캐릭터 LoRA: 특정 애니·게임 캐릭터 생성
게임, 애니메이션, 만화, 오리지널 창작물에 나오는 특정 캐릭터를 그리게 해 주는 유형입니다. 나루토든, 원신 캐릭터든, 내가 만든 오리지널 캐릭터든 마찬가지죠. PixAI에서 가장 많이 올라오고 가장 많이 쓰이는 종류이기도 합니다.
스타일 LoRA: 그림의 분위기를 통째로 바꾸기
결과물의 화풍을 바꾸는 유형입니다. 부드러운 수채 느낌, 두껍게 올린 유화 질감, 날카로운 만화 선화까지 목적에 따라 골라 쓸 수 있습니다. 캐릭터 LoRA와 같이 얹으면 “이 캐릭터를 이 화풍으로” 같은 조합이 가능해집니다.
포즈 LoRA: 원하는 자세를 정확히 잡기
쪼그려 앉기, 점프, 액션 포즈, 양반다리. 프롬프트만으로는 좀처럼 안 잡히는 자세가 있죠. 포즈 LoRA는 그 지점을 노리고 만들어진 유형입니다.
디테일 보정 LoRA: 마감 품질 끌어올리기
눈동자 반사광, 옷감 질감, 조명, 피부 음영처럼 좁은 영역만 손보는 유형입니다. 효과가 은근해서 눈에 확 띄지는 않지만, 이미 괜찮게 나온 그림의 완성도를 한 단계 올려 줍니다. 눈이 자꾸 뭉개진다면 눈 보정 실전 가이드에서 구체적인 조합을 확인해 보세요.
그 외: 사진 톤, 조명, 카메라 앵글
큰 분류에 안 들어가는 것들도 많습니다. 사진 톤, 특정 조명 세팅, 색보정, 카메라 앵글처럼 좁고 구체적인 목적을 가진 LoRA가 계속 올라옵니다. 통제하고 싶은 시각 요소가 있다면 이미 누군가 만들어 뒀을 확률이 높습니다.
TIP
PixAI 마켓에서는 카테고리 필터로 캐릭터, 스타일, 포즈 등을 나눠서 볼 수 있습니다. 무작정 스크롤하는 것보다 훨씬 빠릅니다.
나에게 맞는 LoRA 고르는 법
고르기를 잘못하면 뒤에서 아무리 프롬프트를 다듬어도 안 됩니다. 목적별로 어떤 유형을 봐야 하는지 흐름도로 정리했고, 그다음에 LoRA를 얹기 전 반드시 확인할 두 가지를 이어서 설명하겠습니다.
첫 번째: 베이스 모델 맞추기
LoRA의 베이스 모델과 지금 쓰는 모델의 베이스 모델이 같아야 합니다. 예를 들어 Illustrious 계열 모델로 생성 중이라면 LoRA도 Illustrious 기반이어야 합니다. Animagine이나 Pony 기반 LoRA를 억지로 얹으면 결과가 흐릿해지거나 아예 망가집니다.
레고 블록이라고 생각하면 이해가 빠릅니다. 규격이 다르면 애초에 안 끼워집니다. 어떤 SDXL 계열 모델이 어떤 베이스를 쓰는지 헷갈린다면 PixAI SDXL 애니메이션 모델 고르기를 참고하세요.
SD 1.5 시절에는 대부분의 모델과 LoRA가 같은 베이스를 공유해서 이런 문제가 거의 없었습니다. SDXL이 나오면서 Animagine, Pony, Illustrious처럼 갈래가 갈렸고, 각 베이스가 이미지를 만들어 내는 방식 자체가 다릅니다. 그래서 베이스를 넘나드는 조합은 사실상 안 된다고 보는 게 맞습니다.
PixAI에서 호환 여부 확인하는 법
→ PixAI에서 학습된 LoRA: 검색 필터에서 베이스 모델을 지정하면 됩니다. Illustrious, Haruka, Hoshino 중 지금 쓰는 걸 고르면 호환되는 것만 남습니다.
→ 외부에서 가져온 LoRA: 제목이나 설명에 베이스가 적혀 있는 경우가 많습니다. “[Illustrious] Komori Met” 처럼요. 아무 표기가 없다면 CivitAI 같은 원본 배포처에서 확인하세요.
두 번째: 목적부터 정하기
LoRA를 고르기 전에 “지금 내가 뭘 만들려는 거지”를 한 줄로 정리해 보세요. 목적이 다르면 봐야 할 유형도 달라집니다.
특정 캐릭터 팬아트를 그린다면
캐릭터 LoRA. 고유 의상과 이목구비까지 재현하도록 학습된 유형입니다.
오리지널 캐릭터거나 마감을 다듬는 거라면
스타일 LoRA 또는 디테일 LoRA. 전자는 화풍을, 후자는 눈·머리카락·옷감 같은 세부를 담당합니다.
목적과 유형을 처음부터 맞춰 두면 시행착오가 확 줄어듭니다.
PixAI에서 LoRA 시작하기
개념은 여기까지면 충분합니다. 이제 실제로 만져 볼 차례인데, 순서는 이 정도로 잡으면 됩니다.
PixAI LoRA 라이브러리 둘러보기
필터로 베이스 모델과 목적을 먼저 좁힌 다음 보세요.
인기 LoRA부터 써 보기
사용량과 평가가 쌓인 LoRA는 실패 확률이 낮습니다. 감을 잡기 좋은 출발점입니다.
조합해 보기
캐릭터 + 스타일 + 디테일을 같이 얹으면 결과가 꽤 달라집니다. 여러 개를 겹칠 때의 요령은 LoRA 스태킹 가이드에 정리돼 있습니다.
호환 여부는 매번 확인
생성 버튼 누르기 전에 베이스 모델이 맞는지 한 번만 보세요. 대부분의 “왜 안 나오지”는 여기서 갈립니다.
남의 설정 훔쳐보기
PixAI 커뮤니티에 올라온 작품은 어떤 LoRA를 썼는지 그대로 볼 수 있습니다. 가장 빠른 학습 경로입니다.
내 LoRA 컬렉션 만들고 정리하기
쓰다 보면 북마크가 금방 쌓입니다. 그때부터는 정리해 두는 쪽이 시간을 훨씬 아낍니다. PixAI에는 찾고, 저장하고, 필요할 때 바로 꺼내 쓰는 기능이 갖춰져 있습니다.
새 LoRA를 찾는 세 가지 경로
일단 저장할까, 바로 써 볼까
괜찮은 LoRA를 찾았다면 갈림길은 두 개뿐입니다. 어느 쪽이든 상관없습니다.
원클릭 접근
북마크한 LoRA는 생성 패널에 바로 뜹니다
따로 설정할 게 없습니다. 한 번 북마크해 두면 다음에 생성 패널을 열 때 목록에 올라와 있고, 하던 작업에 그대로 얹을 수 있습니다.
컬렉션 열어 보고 관리하기
북마크가 열 개를 넘어가기 시작하면 찾는 시간이 아까워집니다. 경로는 이렇습니다.
생성 패널에서 “LoRA 더 보기” 클릭
“북마크” 탭으로 이동하면 저장해 둔 목록 전체가 보입니다
미리보기를 보면서 원하는 걸 고르면 끝
목록이 길어져도 버티게 해 주는 기능 세 가지
정리
여기까지가 LoRA의 출발선입니다
LoRA가 뭔지, 어떻게 작동하는지, 어떤 걸 골라야 하는지는 이제 감이 잡혔을 겁니다. 나머지는 손에 익는 문제입니다. 몇 번 돌려 보면 “이 LoRA면 이런 그림이 나오겠구나”가 먼저 떠오르기 시작합니다.
✓ LoRA는 모델을 다시 만들지 않고 기능만 얹는 가벼운 방법
✓ 베이스 모델 호환은 타협 불가. 안 맞으면 결과도 없음
✓ 유형마다 담당하는 목적이 다름
✓ 북마크·정렬·필터를 써야 라이브러리가 커져도 안 느려짐
✓ 결국 직접 돌려 본 횟수가 실력이 됨
다만 여기까지는 “무엇을 고를까”의 영역입니다. LoRA를 골랐다면 다음은 얼마나 세게 걸 것인가, 즉 가중치 조절인데 재미있어지는 건 사실 이 지점부터입니다.
LoRA 시리즈 이어서 읽기
지금 해 보기
LoRA 하나 골라서 한 장만 뽑아 보세요
읽는 것보다 한 번 돌려 보는 쪽이 훨씬 빠릅니다. 마켓에서 마음에 드는 LoRA를 담고, 생성 패널에서 바로 얹어 보세요.
