LoRA 스태킹 가이드 | PixAI 마스터리, Part 3

이제 여러분은 베이스 모델도 골랐고, 기본적인 프롬프트도 작성할 수 있게 됐습니다. 때로는 결과가 딱 원하는 대로 나오기도 합니다. 하지만 대부분은 ‘거의 맞는데 조금 부족한’ 상태에 가깝죠 — 손이 이상하다거나, 라인이 너무 두껍다거나, 색감이 너무 탁하다거나, 캐릭터가 원하는 분위기보다 지나치게 성숙해 보이는 식입니다.

여기서 LoRA 스태킹이 진가를 발휘합니다. LoRA는 베이스 모델을 특정 방향으로 밀어주는 작은 전문 파일입니다 — 스타일을 강화하거나, 결점을 보완하거나, 특정한 미적 분위기로 끌고 가는 역할을 하죠. 스태킹은 하나의 베이스 모델 위에 두 개 이상의 LoRA를 사용하는 것입니다.

하지만 여기에는 함정이 있습니다 — 스태킹은 ‘LoRA 다섯 개 넣고 기도하기’가 아닙니다. 무작위 스태킹은 충돌을 일으킵니다. 어떤 LoRA는 다른 LoRA와 싸우게 되고, 결국 LoRA를 하나도 안 쓴 것보다 더 나쁜 결과가 나오기도 합니다. 올바른 방법은 먼저 진단하고, 그 다음에 레이어를 쌓는 것입니다. 이 가이드가 바로 그 과정을 설명합니다.

LoRA를 집어 들기 전에, 여러분은 베이스 모델에 대해 두 가지를 알아야 합니다: 무엇을 잘하는지, 그리고 무엇이 부족하거나 어떤 성향으로 치우쳐 있는지. 당연해 보이죠 — 하지만 대부분은 이 과정을 건너뜁니다.

예를 들어 Haruka와 Hoshino를 봅시다. 둘 다 인기 있는 애니메이션 기반 모델이며 겉보기에는 비슷해 보이지만, 서로 대체 가능한 모델은 아닙니다:

SAMPLE A · Haruka

귀엽고 둥근 얼굴, 어려 보이는 느낌

SAMPLE B · Hoshino

더 날카로운 이목구비, 성숙한 분위기

여러분이 Haruka의 하이라이트와 반사광 표현은 정말 좋아한다고 가정해 봅시다 — 하지만 캐릭터가 너무 귀엽고 어려 보입니다. 좀 더 날카롭고 인상적인 느낌을 원합니다. 그럼 진단은 아주 명확해집니다: ‘Haruka의 조명 표현은 유지하면서, 캐릭터 타입만 더 성숙하고 날카로운 방향으로 옮기고 싶다.’

이 진단이 곧 무엇을 찾아야 하는지 알려줍니다. ‘더 좋은 모델’이 필요한 게 아닙니다 — 캐릭터 디자인을 더 샤프한 미소년 스타일로 끌어주는 LoRA가 필요합니다. 예를 들어 K Style.Male 같은 것 말이죠.

+ LoRA · K Style.Male

카드를 눌러 모델 보기 →

= RESULT

Haruka의 조명 + 더 날카로운 캐릭터

진단이 빈틈을 짚어줬고, LoRA가 그 빈틈을 정확히 메웠습니다 — 다른 것은 흐트러지지 않았습니다. 이것이 올바른 스태킹입니다.

대부분의 정상적인 스태킹 결정은 아래 3가지 목표 중 하나에 해당합니다. 지금 내가 어떤 목표를 향하고 있는지 아는 것만으로도 과도한 스태킹을 피할 수 있습니다.

순서가 중요한 이유는 각 목표가 이전 단계를 기반으로 하기 때문입니다: Goal 1 → Goal 2 → Goal 3. 빈틈을 메운 뒤 분위기를 조정하고, 그 다음에 강한 스타일을 추가하세요. 단계를 건너뛰면 결국 자기 자신의 스택과 싸우게 됩니다.

이번에는 Goal 2, 즉 ‘시각적 느낌 조정’ 문제를 예시로 보겠습니다.

Otome V2를 베이스 모델로 사용한다고 가정해 봅시다. 인기가 많은 모델이지만 회색빛이 돌고 저채도로 치우친다는 특징이 있습니다. 그래서 더 풍부한 색감을 기대하며 Beautiful Colors V2 LoRA를 추가합니다:

+ Beautiful Colors V2

카드를 눌러 모델 보기 · 색은 해결, 임파스토는 더 강함

DIAGNOSIS

색감은 훨씬 좋아졌습니다 — 이 부분은 성공했죠. 하지만 이 LoRA는 동시에 두껍고 임파스토풍의 붓터치까지 함께 가져왔습니다. 결과적으로 출력은 지나치게 채도가 높고, 회화적이며, 캐릭터도 더 성숙하게 보입니다. 새로운 문제: 너무 무겁고 너무 나이 들어 보임.

다른 변형 결과도 비슷한 패턴을 보여줍니다 — 색감은 아름답지만, 임파스토 느낌과 성숙한 분위기는 원치 않았던 결과입니다:

해결 방법은 컬러 LoRA를 제거하는 게 아닙니다 — 색감은 원래 목표였고, 그 부분은 성공했으니까요. 진짜 해결책은 임파스토의 반대 방향으로 끌어주는 두 번째 LoRA를 추가하는 것입니다: 더 가벼운 선화, 더 산뜻한 공기감, 더 어린 느낌을 만들어주는 LoRA 말이죠. 다음 두 후보가 잘 작동합니다:

LoRA · ##9

= RESULT

LoRA · lumidream cute style

= RESULT

현실적인 예시를 하나 봅시다. 여러분은 Mio — PixAI의 마스코트 — 를 더 밝고 산뜻한 분위기로 그리고 싶습니다. 그래서 직관적으로 괜찮아 보이는 조합을 선택합니다: Mio 캐릭터 LoRA, Otome V2 베이스 모델, 그리고 momoko 스타일 LoRA. 하지만 첫 결과물은 밋밋하고 탁하게 나옵니다.

▸ ATTEMPT A

▸ ATTEMPT B

실수:세 개의 레이어가 모두 같은 방향으로 작용하고 있었다는 점입니다. 회색빛 성향의 캐릭터 LoRA 위에 회색빛 베이스 모델을 얹고, 그 위에 다시 회색빛 스타일 LoRA를 올린 겁니다. 당연히 결과도 회색빛으로 나올 수밖에 없습니다 — 스택 안에는 색감을 밝게 밀어주는 요소가 하나도 없는데, 목표는 밝고 산뜻한 분위기였던 거죠.

Base · Otome V2

카드를 눌러 모델 보기 · 이미 회색빛 성향

+ momoko + Mio 캐릭터

세 레이어 모두 회색빛 방향

해결 — 진단 후 레이어링

진단 과정을 명확하게 따라가 봅시다:

1. 내가 원하는 건 무엇인가? → 더 밝고 산뜻한 Mio. 풍부한 색감과 가벼운 선화.
2. 현재 스택의 문제는 무엇인가? → 모든 레이어가 회색빛 성향이다. 어느 것도 색감을 밝게 밀어주지 않는다.
3. 먼저 베이스를 고쳐야 합니다.처음부터 색감이 더 풍부하고 밝은 모델을 선택하세요. 베이스 모델이 근본적으로 못하는 걸 LoRA에게 해결시키려 하지 마세요.
4. 그 다음에는 서로 보완되는 특성을 가진 LoRA를 추가합니다.예를 들어 가벼운 선화 + 공기감 있는 색감을 가진 coco-Illustrious-Noob AI-XL-Style v7 같은 LoRA입니다:

+ coco-Illustrious-Noob v7

카드를 눌러 모델 보기

= RESULT A

= RESULT B

원래 목표였던, 더 밝고 산뜻한 Mio 완성.

전체 시리즈 읽기