모델 vs LoRA 기초 | PixAI 마스터리, Part 1

CHAPTER 01

FOUNDATIONS

— PIXAI MASTERY —

1/5 SERIES

— 5부작 · 입문편 · PART 1 —

모델 vs LoRA
— 두 가지 핵심 구성 요소

PixAI의 모든 이미지는 모델에서 시작됩니다 — 그림을 그리는 화가이자, 이미 그림 그리는 법을 알고 있는 두뇌. 여기에 선택적으로 하나 이상의 LoRA를 추가할 수 있습니다 — 화가가 참고하여 결과를 특정 방향으로 유도하는 스케치북과 같은 존재.

▸ PixAI 열기

📚 PIXAI 이미지 생성 마스터리 · 5부작 시리즈

Part 1: 모델 vs LoRA 기초 ← 현재 위치

Part 2: PixAI 프롬프트 공식 · 입문편

Part 3: LoRA 스태킹 가이드 · 입문편

Part 4: AI 아트 구도 가이드 · 고급편

Part 5: 시네마틱 조명 & 심도 · 달인편

PixAI를 사용해보셨다면 두 단어를 어디서나 보셨을 것입니다 — 모델과 LoRA. 생성 패널, 커뮤니티 게시글, 튜토리얼 어디에나 등장합니다. 하지만 이 둘이 실제로 무엇인지 이해하기 전까지는 전체 시스템이 다소 불투명하게 느껴질 수 있습니다 — 이것저것 무작정 시도해보며, 어떤 조합은 놀라운 결과를 만들고 어떤 조합은 엉망이 되는 이유를 궁금해하게 됩니다.

이 글은 바로 그 부분을 설명하기 위해 작성되었습니다. 이 글을 끝까지 읽고 나면 모델이 무엇인지, LoRA가 무엇인지, 둘이 왜 다른지, 그리고 언제 하나만 사용하면 되고 언제 둘 다 필요한지를 이해하게 되실 것입니다. 이 개념만 이해해도 이후 시리즈인 프롬프트 작성, 스태킹, 구도, 조명 등을 훨씬 쉽게 따라갈 수 있습니다.

— PART ONE —

모델 — 화가

모델은 모든 AI 이미지의 기반입니다. 실제로 그림을 그리는 두뇌이며, 얼굴 구조, 천 위에 떨어지는 빛, 인체 비율, 애니 스타일과 실사 스타일의 차이 등을 이해하고 있는 존재입니다. PixAI에서 ‘이미지 생성’을 누르면, 실제로는 모델이 프롬프트를 해석하고 픽셀을 생성하고 있는 것입니다.

가장 단순하게 설명하면:

▸ MENTAL MODEL

모델은 ‘이미 그림 그리는 법을 배운 화가’입니다.

각 모델은 서로 다른 화가입니다. 각자 전문 분야와 미적 감각, 강점과 약점이 존재합니다:

모델이 결정하는 요소

전체적인 미적 범위 — 애니풍, 세미 리얼, 2.5D, 실사풍
인체 표현이 자연스러운지 왜곡되는지
빛, 그림자, 구도를 얼마나 잘 처리하는지
기본 색감 — 고채도, 바랜 느낌, 따뜻한 톤, 차가운 톤
전체적인 라인 표현 — 또렷함, 부드러움, 스케치풍

PIXAI 예시

Tsubaki.2 — 최신 플래그십 모델, 세밀한 디테일과 현대적인 애니 스타일
Tsubaki — 균형 잡힌 표현의 범용 애니 베이스
Otome — 부드럽고 저채도의 로맨틱 스타일
Haruka — 강한 하이라이트와 귀여운 얼굴 표현
Hoshino — 더 날카롭고 성숙한 분위기

여기서 중요한 점이 있습니다 — 한 번에 사용할 수 있는 모델은 단 하나뿐입니다. 모델은 실제 작업을 수행하는 유일한 두뇌로, 두 개의 모델을 겹쳐 쓰는 것이 아니라, 하나의 캔버스에 한 명의 화가를 선택하는 것입니다. 원하는 스타일과 맞지 않는다면 ‘두 번째 화가를 추가’하려 하지 말고, 다른 모델로 교체하거나 LoRA를 활용해 조정해야 합니다.

그리고 여기서 두 번째 요소가 등장합니다.

— PART TWO —

LoRA — 스케치북

LoRA(Low-Rank Adaptation)는 모델 위에 얹혀 특정 방향으로 결과를 유도하는 작은 전문 파일로, 모델을 대체하는 것이 아니라 수정하는 역할을 합니다. 기반 모델 없이 LoRA만으로는 아무것도 할 수 없습니다. 하지만 모델 위에 적용하면 결과를 특정 스타일, 캐릭터, 혹은 디테일 쪽으로 이동시킬 수 있습니다.

이미지로 비유하면:

▸ MENTAL MODEL

LoRA는 ‘화가가 참고하는 레퍼런스 스케치북’ 혹은 ‘스타일 필터’입니다.

화가(모델)는 이미 그림을 그릴 줄 압니다. 스케치북(LoRA)은 ‘이런 느낌으로 그려주세요’라고 방향을 제시합니다 — 특정 캐릭터 얼굴, 특정 의상 스타일, 더 부드러운 조명, 더 깔끔한 손 표현 등을 말입니다.

LoRA는 비교적 작은 파일이며 보통 수십 MB 정도입니다. 대체로 네 가지 역할 중 하나에 집중합니다:

JOB 01 · STYLE

비주얼 스타일 강화

‘한국 일러스트 스타일’ LoRA, ‘수채화’ LoRA, ‘지브리풍’ LoRA. LoRA는 생성 결과물을 해당 스타일 쪽으로 끌어당깁니다.

JOB 02 · CHARACTER

특정 캐릭터 고정

오리지널 캐릭터 LoRA, 이름 있는 애니메 캐릭터 LoRA. 30~100장의 참고 이미지로 트레이닝되어, 해당 캐릭터의 헤어스타일, 눈, 특징적인 디테일을 일관되게 재현합니다.

JOB 03 · DETAIL

디테일 보정 또는 강화

‘더 나은 손’, ‘더 디테일한 눈’, ‘깔끔한 선화’. 이는 기본 모델이 가진 약점 때문에 존재하며, 특화된 LoRA로 이를 보완할 수 있습니다.

JOB 04 · ELEMENT

특정 요소 추가

‘고양이 귀’, ‘스웨터 손목’, ‘메카닉 감성’. LoRA는 기존 모델이 알고 있는 표현 위에 새로운 모티프 하나를 추가로 가르칠 수 있습니다.

모델과 달리 LoRA는 여러 개를 동시에 사용할 수 있습니다. 이것이 바로 스태킹이며, 흥미로운 부분도 여기서 시작됩니다. 시리즈 Part 3에서는 스태킹을 집중적으로 다루지만, 우선은 기본 구조를 이해하는 것이 중요합니다.

— PART THREE —

나란히 비교하기

차이를 구체화하기 위해 중요한 모든 항목에서 모델과 LoRA를 비교해 보겠습니다:

항목

역할

모델:기본 화가

LoRA:전문 수정 요소

필수 여부

모델:예 — 모든 이미지에 필요

LoRA:아니오 — 선택 사항

동시 사용 수

모델:정확히 1개

LoRA:여러 개 가능 (스태킹)

파일 크기

모델:큼 — 보통 2~7GB

LoRA:작음 — 보통 50~200MB

강도 조절

모델:전체 사용 또는 교체

LoRA:0.1~1.5 정도로 조절 가능

필요한 시점

모델:항상

LoRA:모델만으로 부족할 때

— PART FOUR —

선택의 규칙

많은 분들이 어떤 LoRA를 써야 하는지 고민하지만, 사실 먼저 물어야 할 질문은 ‘정말 LoRA가 필요한가?’입니다. 초보자의 경우 솔직히 말하면 대부분은 아직 필요하지 않은 경우가 많습니다. 경험 법칙:

RULE 01

우선 모델만 사용해 보세요.

원하는 방향과 가까운 모델을 먼저 고른 뒤, LoRA 없이 몇 장 생성해 보세요. 생각보다 잘 고른 모델 하나만으로 원하는 결과의 80% 정도가 나오는 경우가 많습니다.

RULE 02

명확한 부족함이 있을 때만 LoRA를 추가하세요.

결과를 보고 ‘손이 이상하다’, ‘색감이 너무 흐리다’, ‘원한 캐릭터처럼 안 보인다’처럼 문제를 구체적으로 정의해 보세요. 그 문제 자체가 LoRA 선택 기준이 됩니다. 정의되지 않은 문제에 LoRA를 추가하면 노이즈만 늘어납니다.

RULE 03

모델의 근본적인 약점을 LoRA로 해결하려 하지 마세요.

기본 모델이 칙칙한 색감을 만든다면, 아무리 LoRA를 추가해도 완전히 해결되지는 않습니다. 먼저 더 화려한 색감의 모델을 선택해야 합니다. LoRA는 조정하는 도구이지, 재구축하는 도구가 아닙니다.

이 세 번째 규칙은 초보자분들이 가장 많이 실수하는 부분입니다. 처음 선택한 모델을 계속 유지한 채, LoRA를 계속 추가해 문제를 해결하려 하기 때문입니다. 하지만 모델이 방의 구조를 결정한다면, LoRA는 가구를 재배치하는 수준에 가깝습니다. 방 자체가 잘못되었다면 먼저 방을 바꿔야 합니다.

— PART FIVE —

함께 작동하기

모델을 선택한 뒤에는 LoRA로 미세 조정을 하게 됩니다. 실제로 좋은 조합이 어떻게 보이는지 구체적인 그림:

▸ EXAMPLE STACK
BASE   Tsubaki.2 → 화가
LoRA 1   스타일 LoRA × 0.7 → 전체 분위기 조정
LoRA 2   디테일 LoRA × 0.5 → 특정 약점 보완
PROMPT   무엇을 그릴지 설명
= 원하는 결과

레시피처럼 읽으면 됩니다 — 모델은 기반이 되는 화가이고, 각 LoRA는 화가가 참고하는 스케치북입니다. ‘이 스타일로 그려라’, ‘이 부분을 보완해라’ 같은 역할을 합니다. 강도 값(×0.7, ×0.5)은 화가가 해당 스케치북을 얼마나 강하게 따를지를 의미합니다 — 완벽하게 따르는 것이 아니라, 그 방향으로 살짝 기우는 것.

그리고 여기에 또 하나 중요한 요소가 있는데, 그것이 바로 프롬프트입니다. 프롬프트는 ‘무엇을’ 그릴지 설명하고, 모델 + LoRA는 ‘어떻게’ 그릴지를 결정합니다. 모든 PixAI 생성 패널에서 이 같은 형태를 볼 수 있습니다.

— FAQ —

자주 묻는 질문

모델 없이 LoRA만 단독으로 사용할 수 있나요?

아니요. LoRA 자체만으로는 아무것도 할 수 없습니다 — LoRA는 기반 모델을 수정하는 역할의 모듈이기 때문입니다. PixAI의 생성기에는 항상 모델이 선택되어 있으며, LoRA 슬롯은 선택 사항입니다. LoRA를 음식의 ‘양념’이라고 생각해 보세요 — 양념은 음식이 없으면 아무 의미가 없습니다.

모든 LoRA가 모든 모델에서 작동하나요?

아니요 — 그리고 이것이 초보자들이 가장 자주 하는 실수입니다. LoRA는 특정 아키텍처(SDXL, Pony, Illustrious, Flux 등)를 기준으로 트레이닝되며, 동일한 아키텍처 기반의 모델에서만 제대로 작동합니다. PixAI에서는 대부분의 모델 및 LoRA 카드에 아키텍처 정보가 표시되지만, 항상 그런 것은 아닙니다 — 유저 업로드 모델이나 직접 학습한 LoRA의 경우 비어 있는 경우도 있습니다. 아키텍처 표기가 없다면 설명, 예시 이미지, 댓글 등을 확인해보세요. LoRA를 적용했는데 아무 변화도 없는 것처럼 느껴진다면, 가장 먼저 의심해야 할 것은 아키텍처 불일치입니다.

LoRA는 작고 유연한데, 왜 여러 개를 잔뜩 쓰면 안 되나요?

서로 충돌하기 때문입니다. 각 LoRA는 결과물을 특정 방향으로 끌어당깁니다 — 그런데 여러 LoRA가 서로 다른 방향으로 동시에 작용하면 결과물이 흐릿하고 불안정하며, 이상하게 일관성 없는 모습이 되기 쉽습니다. 실제로는 2~3개 정도가 가장 안정적인 구간입니다. 그 이상을 계속 추가하고 있다면, 대부분은 잘못된 베이스 모델을 억지로 보완하려고 하는 상황에 가깝습니다. 시리즈 Part 3에서는 이러한 스태킹 전략을 더 깊게 다룹니다.

‘트리거 워드’란 무엇인가요? 꼭 필요한가요?

많은 LoRA는 제대로 활성화되기 위해 특정 키워드를 필요로 합니다 — 예를 들어 캐릭터 LoRA는 해당 캐릭터 이름이 필요할 수 있고, 스타일 LoRA는 korean illustration style 같은 태그를 요구할 수 있습니다. 필요한 트리거 워드는 LoRA 페이지에 보통 표시되어 있습니다. LoRA가 전혀 작동하지 않는 것처럼 보인다면, 아키텍처 불일치 다음으로 가장 흔한 원인은 바로 트리거 워드 누락입니다.

PixAI에서 좋은 모델과 LoRA는 어떻게 찾나요?

PixAI의 Market이 중앙 라이브러리 역할을 합니다 — 이름으로 검색하거나, 카테고리별 탐색, 인기순 정렬 등을 활용할 수 있습니다. 가장 빠르게 배우는 방법은 커뮤니티 피드를 둘러보는 것입니다 — 마음에 드는 이미지를 발견했다면, 제작자가 어떤 모델과 LoRA를 사용했는지 확인해보세요. 대부분의 공개 게시물에는 메타데이터가 표시됩니다. 그리고 자신만의 리스트를 만들어보세요 — ‘내가 신뢰하는 모델’, ‘어떤 역할을 하는지 이해하고 있는 LoRA’ 목록이 쌓이기 시작하면, 그때부터 진짜 감각이 생기기 시작합니다.