파인튜닝과 프롬프팅···AI를 맞춤화하는 두 가지 전략

서용운 계명대 글로벌 창업대학원 벤처창업학과 교수

지난주 우리는 RAG(검색 증강 생성) 기술을 통해 인공지능(AI)이 어떻게 최신 정보를 실시간으로 참고하며 답변의 정확도를 높이는지 살펴보았다. 

AI에게 회사 문서를 건네줬더니 정확도가 95%까지 오른다는 이야기, 기억할 것이다. 그렇다면 이런 궁금증이 생길 수 있다. “RAG처럼 문서를 떠먹여 주는 방법 말고, AI 자체를 바꿀 수는 없을까?” 있다. 그것이 바로 ‘파인튜닝(Fine-tuning)’이다.
 

오늘은 AI를 나에게 맞게 변형하는 두 가지 핵심 전략, 파인튜닝과 프롬프팅(Prompting)을 비교 분석한다. 이 두 가지를 언제, 어떻게 써야 하는지 AI 활용 수준이 달라질 것이다.

파인튜닝 기법과 프롬프팅 기법의 차이를 표현한 이미지. 파인튜닝은 AI(요리사)에게 요리법을 처음부터 공부하게 하는 것이고, 프롬프팅은 AI(요리사)에게 작성 레시피를 제공해 주는 방식을 말하는 것이다.

AI를 내 것으로 만드는 두 가지 길
 

요리 학원을 예로 들어보자. 당신은 훌륭한 프랑스 요리사를 고용했다. 그런데 한국 손님들이 많아 김치찌개, 된장국을 잘 만들어야 한다. 이때 방법은 두 가지다.
첫 번째는 요리사를 한식 학원에 수개월간 보내 한식 조리법을 아예 체득하게 만드는 방법이다. 이것이 ‘파인튜닝’이다. 두 번째는 요리사에게 그때그때 “오늘은 된장국 만들어줘, 재료는 이것이고, 맛은 구수하게”라고 상세히 지시하는 방법이다. 이것이 ‘프롬프팅’이다. 어느 쪽이 낫냐고? 상황에 따라 다르다.

파인튜닝(전문성)과 프롬프팅(세밀한 조정)을 함께 활용해애 효과적인 결과를 만들어 낼 수 있다. 

파인튜닝 - AI의 뇌 자체를 바꾼다
 

파인튜닝(Fine-tuning)이란 이미 학습을 마친 대형 언어 모델(LLM)에 특정 분야의 데이터를 추가로 학습시켜 그 분야에 특화된 전문가로 만드는 기술이다. 한마디로 AI의 성격과 지식 자체를 바꾸는 것을 말한다.
 

의료 분야를 예로 들자. 일반 생성형 AI에게 “이 CT 사진에서 폐암 초기 병변 찾아줘”라고 물으면 일반적인 의학 지식수준의 답을 한다. 하지만 수십만 건의 흉부 CT 판독 데이터로 파인튜닝 된 AI는 전문 방사선과 의사 수준으로 병변을 식별한다. AI의 ‘기본기’ 자체가 달라진 것이다.

파인튜닝의 가장 큰 강점은 반복 설명이 필요 없다는 점이다. 고객 응대 AI를 파인튜닝 하면 “우리 회사 말투로 정중하게 답해줘”라고 매번 지시하지 않아도, AI가 알아서 회사의 말투와 정중함을 유지한다. 마치 신입사원을 6개월간 교육해 회사 문화를 몸에 익힌 것과 같다.

그러나 파인튜닝에는 분명한 단점이 있다. 먼저 비용이 상당하다. 고품질 학습 데이터를 수천 혹은 수만 건 확보하고 전처리하는 과정에만 큰 금액이 소비될 수 있다. GPU 학습 비용도 만만치 않다. 또한 한 번 파인튜닝 한 AI는 그 분야에 최적화되는 대신 범용성이 떨어진다. 의료 전용으로 파인튜닝 한 AI에게 법률 계약서 검토를 시키면 오히려 엉뚱한 답이 나올 수 있다는 점이다.

프롬프팅 – AI에게 제대로 지시하는 기술

프롬프팅(Prompting) 이란 AI에게 입력하는 질문이나 지시문(프롬프트)을 정교하게 설계하여 원하는 결과를 만들어내는 기술이다. AI를 바꾸는 것이 아니라 AI와 ‘소통하는 방식’을 바꾸는 것이다.
같은 AI라도 어떻게 물어보느냐에 따라 결과가 큰 차이가 난다. “마케팅 기획서 써줘”와 “너는 10년 경력의 B2B 마케팅 전문가야. 중소 제조업체를 대상으로 한 6개월 디지털 마케팅 기획서를 작성해 줘. 예산은 2000만 원이고 목표는 신규 거래처 20개 확보야”라는 두 지시문의 결과물 품질은 비교할 수 없을 만큼 다르다는 것을 이미 독자들은 알 것이다.
 

효과적인 프롬프팅의 핵심 기법으로 현재 널리 활용되는 것이 몇 가지 있다. ‘역할 부여(Role Prompting)’는 AI에게 특정 전문가 페르소나를 부여하는 방식이다. “너는 20년 경력의 세무사야”라고 시작하면 AI는 세무사의 관점에서 답변을 구성한다. ‘사고 연쇄(Chain of Thought)’는 “단계별로 생각해 줘”라고 요청해 AI가 논리적 추론 과정을 밟게 만드는 기법이다. 복잡한 문제일수록 효과가 크다. ‘예시 제공(Few-shot Prompting)’은 원하는 결과물의 예시를 2~3개 먼저 보여주고 같은 형식으로 작성하게 하는 방식이다.
프롬프팅의 최대 강점은 즉시성과 유연성이라 할 수 있다. 추가 비용 없이 지금 당장 시도할 수 있고, 목적에 따라 매번 다르게 조정할 수 있다. 하지만 프롬트팅의 한계도 명확하다. 매번 길고 정교한 프롬프트를 작성해야 하는 번거로움이 있고, 동일한 AI 모델을 여러 사람이 다른 방식으로 활용하면 결과물의 일관성을 보장하기 어렵다. 지금까지 이야기한 파인튜닝과 프롬프팅의 비교 내용을 정리한 표를 확인해 보시기 바란다.

실제 활용 사례 - 이미 우리 곁에 있다

사례 1 : 금융사의 파인튜닝 챗봇
국내 한 대형 증권사는 10만 건의 투자 상담 대화 데이터를 활용해 GPT 기반 모델을 파인튜닝 했다. 결과는 놀라웠다. 일반 GPT는 “주식 투자는 원금 손실 위험이 있습니다”라는 교과서적 답변만 반복했지만, 파인튜닝 된 AI는 “현재 고객님의 포트폴리오 구성을 고려하면 채권 비중을 10% 높이는 것이 리스크관리에 유리합니다”처럼 맥락에 맞는 개인화 조언을 제공했다. 상담 만족도가 42% 상승했다.
 

사례 2: 스타트업의 영리한 프롬프팅 전략
반면 자금이 부족한 스타트업들은 파인튜닝 대신 프롬프팅을 극대화하는 전략을 택한다. 콘텐츠 마케팅 스타트업 A사는 회사 브랜드 가이드 라인, 타깃 고객 페르소나, 기존 인기 콘텐츠 예시를 프롬프트에 담아 매번 AI에게 전달한다. 결과적으로 일관된 브랜드 톤의 콘텐츠를 추가 비용 없이 대량으로 생산한다. 결과, 마케터 1명이 혼자서 월 200개 이상의 SNS 콘텐츠를 만들어낼 수 있게 되었다.

사례 3: 파인튜닝 + 프롬프팅의 결합
실제 현업에서는 두 기술을 함께 쓰는 사례가 늘고 있다. 삼성서울병원은 의료 기록 데이터로 AI를 파인튜닝(전문성 확보) 한 뒤, 의료진이 구체적 프롬프트로 진단 보조를 요청하는 복합 방식을 채택했다. 파인튜닝으로 의료 전문 언어와 임상 지식을 갖추고, 프롬프팅으로 각각의 경우에 맞게 세밀하게 조정하는 것이다.

나는 무엇을 선택해야 할까?
선택의 기준은 명확하다. 세 가지 질문을 스스로에게 던져보라고 권유한다.
 · AI를 하루에 수천 번 이상 반복사용 하는가? → 파인튜닝을 고려하라.
 · 특수 전문 언어(의료, 법률, 반도체 등)를 자유롭게 구사해야 하는가? → 파인튜닝이 효과적이다.
 · 다양한 업무에 유연하게 AI를 쓰고 싶고 비용이 부담스럽다면? → 프롬프팅 역량을 키워라.
현실적으로 중소기업이나 개인에게는 프롬프팅이 먼저다. 파인튜닝은 대기업이 수억 원의 예산을 투입해 특화 서비스를 만들 때 유효하다. 하지만 프롬프팅만 잘해도 웬만한 업무 효율은 3~5배 향상된다는 사실을 명심하자.

경계가 사라지고 있다 - 두 기술의 미래
흥미로운 점은 이 두 기술의 경계가 점점 희미해지고 있다는 것이다. OpenAI의 GPT-4 파인튜닝 API, Anthropic의 Claude 맞춤화 기능 등 대형 AI 회사들이 파인튜닝 비용을 대폭 낮추고 있다. 불과 2년 전만 해도 수억 원이 들던 파인튜닝이 이제 수백만 원 수준으로 내려왔다.
또한 ‘프롬프트 캐싱(Prompt Caching)’이라는 기술이 등장하면서, 자주 쓰는 긴 프롬프트를 저장해두고 재활용하는 것이 가능해졌다. 이는 파인튜닝의 일관성과 프롬프팅의 유연성을 동시에 얻는 방향으로 기술이 진화하고 있음을 의미한다.
2025년 이후 주목받고 있는 또 하나의 흐름은 ‘RLHF(인간 피드백 강화학습)’와 프롬프팅의 결합이다. AI 사용자가 좋은 응답에 피드백을 주면, AI가 스스로 학습해 점점 나은 결과를 내놓는 방식으로, 이는 파인튜닝과 프롬프팅의 장점을 모두 취한 차세대 AI 맞춤화 방법으로 부상하고 있다. 지면 관계상, 이 부분에 대한 사용 힌트는 다음 주에 소개하고자 한다. 
결국, 도구보다 전략이 먼저다.
파인튜닝이냐 프롬프팅이냐, 이 논쟁에서 중요한 것은 어느 기술이 더 우월한가가 아니다. 내가 해결하고자 하는 문제가 무엇인지, 나의 자원(시간, 예산, 데이터)들이 어느 정도인지를 정확히 파악하는 것이 먼저다.
RAG가 AI에게 ‘최신 자료를 건네주는 기술’이라면, 파인튜닝은 ‘AI의 뇌를 바꾸는 기술’이고, 프롬프팅은 ‘AI와 소통하는 기술’이다. 세 가지를 모두 이해하고 상황에 맞게 조합하는 사람이 AI 시대의 진짜 전문가가 될 것이다.
당신의 비즈니스에는 어떤 맞춤화 전략이 필요한가? 이 질문을 가슴에 품고 주변의 AI 활용 사례들을 다시 살펴보자. 분명 새롭게 보이는 것들이 있을 것이다. 다음 주에는 멀티모달 AI 시대 텍스트, 이미지, 음성을 넘나드는 기술이 산업 현장에서 어떻게 활용되는지 알아보자.
 

/서용운 계명대 글로벌 창업대학원 벤처창업학과 교수