이 글은 스타트업 C레벨 및 비즈니스 담당자의 이해를 돕기 위해 작성된 글이며, 기술적 용어 및 정의를 엄밀하게 따르지 않고 있음을 알립니다.
인공지능(AI)의 고도화를 통한 비즈니스의 변화는 이제 더 이상 미래의 허황된 꿈이 아니라 현실이 되었습니다. 그 중심에는 ChatGPT나 BARD와 같은 초거대 언어모델(Large Language Model; LLM)이 있는데요. ChatGPT와 BARD는 사용자의 자연어 지시에 따라 작업을 수행하는 데에 특화된 모델(Conversational Instruction-following Large Language Model)로, LLM 중에서도 창의적이고 소통 능력이 뛰어난 모델로 평가받고 있습니다. 이러한 모델을 활용한 비즈니스 사례들이 국내외에서 이어지고 있으며, 기업들의 눈길을 끌고 있습니다.
LLM은 기존의 비즈니스 모델뿐만 아니라 고객 가치 창출 방식 까지도 혁신하고 있습니다. 기업들은 대규모 데이터셋 없이도, 자연어 기반의 대화를 주고 받는 형태로, 다양한 업무의 효율성을 높일 수 있게 되었는데요. 이에 따라, 기존에는 AI 내재화에 집중하고 있지 않던 기업들도 쉽고 저렴하게 AI를 내재화할 수 있는 방법에 대해 고민하게 되었습니다. 이를 위해 LLM이 비즈니스 관점에서 실질적으로 가져온 변화는 무엇이며, 이를 활용하고자 하는 기업의 C레벨은 어떤 것들을 고려해야 하는지에 대한 기본적인 내용을 살펴보겠습니다.
LLM이 비즈니스에 가져온 변화
LLM의 등장으로 기업들은 더 이상 큰 돈과 시간을 들이지 않아도 쉽고 빠르게 선진적인 AI 기술을 비즈니스에 적용할 수 있게 되었습니다.
LLM 고도화 이전에 AI를 도입하고자 하는 기업들은 적어도 수천 개에서 많게는 수만 개의 정제된 데이터셋(Annotated dataset)을 구축해야 했으며, 이를 바탕으로 복잡한 알고리즘을 구현해야 했습니다. 모두 경험이 많은 AI 전문 인력의 지식과 노하우를 필요로 하는 업무이기에 기업들은 다수의 전문 인력을 채용하여 팀을 꾸리거나 구축형 AI를 제공할 수 있는 SI(System Integration) 서비스를 이용했습니다. 하지만 국내에는 상대적으로 경험과 역량이 풍부한 AI 인력이 부족하고, 구축형 AI는 유연한 관리와 활용이 제한적인 탓에 막대한 시간과 비용을 투자해도 원하는 효과를 달성하기가 어려웠습니다.
LLM의 패러다임이 변화한 덕에 이제는 기업들이 적절한 내외부 역량을 확보하기만 하면 큰 초기 비용과 시간 투자 없이도 AI를 활용한 비즈니스 혁신의 혜택을 누릴 수 있게 되었습니다.
1. 수억원에 달하는 초기 비용과 데이터셋 없이도 도입할 수 있게 된 AI
LLM은 이미 방대한 양의 데이터와 지식을 사전학습(Pre-training)한 상태로 제공되기 때문에, 개별 기업이나 사용자가 처음부터 모델을 학습시키는 데 드는 초기 비용과 시간을 크게 줄일 수 있습니다. 이처럼 대규모 데이터셋 기반으로 Pre-training되어 있는 AI 모델을 Foundation Model이라 부르기도 합니다.
특히 데이터셋을 마련하는 비용이 줄었는데요. 기존에는 도메인 특화된 AI 모델을 개발하기 위해서 최소 수천 개의 데이터셋이 필요했습니다. 하지만 LLM은 이미 다양한 주제와 분야에 대한 지식을 학습한 상태이므로, 사용자는 원하는 분야와 목적에 맞게 모델에게 몇가지 예시를 제공하는 방식인 “Few Shot Learning”이나 “Fine Tuning”을 활용할 수 있습니다.
💡 Example
과거에는 특정 가이드라인에 맞는 답변을 생성하기 위해 , 가이드라인에 따른 다양한 답변 유형을 반영하고 있는 대규모 데이터셋을 사용하여 모델을 학습시켜야만 일정 수준 이상의 성능을 달성할 수 있었습니다.
이 모델은 특정 가이드라인에 최적화되어 있기 때문에, 가이드라인이 변경되면 다시 정제된 데이터셋을 확보하고 모델을 학습(training)해야 했습니다.
그러나 이미 다양한 지식과 가이드라인에 대한 학습을 거친 Foundation Model의 등장으로 이제는 변경된 가이드라인을 준수하는 소량의 데이터셋만 있으면 큰 전환 비용 없이도 일정 수준의 성능을 가진 모델을 사용할 수 있습니다. 사용자는 가이드라인 변경에 따른 비용을 크게 줄이면서도 목적에 맞게 AI 모델을 활용할 수 있습니다.
이러한 변화는 기업들이 더 빠르고 저렴하게 AI를 활용하여 비용 절감, 비즈니스 확장, 경쟁력 강화 등 다양한 장점을 확보할 수 있는 기반을 제공합니다.
2. 자연어 대화를 통해 어려운 과제도 쉽게 구현 가능
LLM이 특히 놀라운 이유는 대화를 통해 더 정교한 명령 혹은 지시가 가능하기 때문입니다. ChatGPT, BARD와 같은 대화형 LLM은 대화 내용을 기억하여, 이전 대화의 문맥을 바탕으로 더 정확한 답변이나 결과를 제공할 수 있습니다.
대화형 LLM은 여러 차례 이어지는 대화(Multi-turn Conversation)을 전제로 하고 있습니다. AI 모델은 대화를 통해 사용자의 의도를 점차 이해하고, 그에 맞게 결과를 개선해 나갈 수 있습니다. 아래 그림에서와 같이 사용자가 원하는 결과에 점점 더 가까워지는 방향으로 대화를 진행합니다.
과거에는 한 번의 입력(Single-turn Input)을 통해 원하는 결과값을 바로 도출해야 했기 때문에 면밀한 설계가 필요했습니다. 특정 과제(예: 번역, 요약, 키워드 추출)를 수행하기 위해,
- 원하는 결과값에 대한 구체적인 태스크(Task)를 정의하고,
- 이를 구현하기 위한 데이터 셋과 알고리즘 설계가 잘 되어 있어야만
유의미한 모델 성능을 달성할 수 있었습니다.
하지만 자연어 기반의 Multi-turn이 가능해지면서 사용자는 개발에 대한 깊은 이해 없이도 여러 차례의 대화를 통해 얻고자 하는 결과를 명확하게 정의할 수 있게 되었고, 이를 통해 유의미한 결과값을 도출할 수 있게 되었습니다.
3. 기업 내 다양한 업무에 활용
아무리 뛰어난 기술일지라도 경제적 부가가치를 창출하기 위해서는, 기술이 비즈니스에 적용되었을 때 원활하고 유연하게 운영되어야 합니다. 글로벌 전략컨설팅 기업 맥킨지앤컴퍼니의 아티클에서는 AI 활용사례를 아래 도표와 같이 6가지 영역으로 분류하고 있습니다. 이러한 AI 활용 사례들은 마케팅, 영업, 고객응대, 제품관리, 인사관리 등 조직 내 다양한 업무를 효율적으로 처리할 수 있는 예시를 제공합니다.
마케팅 혹은 영업 카피 문구를 대신 작성해주는 것, 발빠른 고객 응대를 통해 업셀링 효과를 창출하는 것, 법률 문서를 검토하는 것, 대량의 문서 내에서 검색하는 것을 포함하여, 다양한 업무를 AI가 도와줄 수 있습니다.
이러한 활용 방식들은 우리 회사의 기존 업무 맥락을 이해하고 있을 때 가장 효과적으로 기능할 수 있습니다. 회사에 신입사원이 입사했을 때 기존 자료들과 맥락을 잘 숙지해야 이를 바탕으로 뛰어난 업무 성과를 발휘할 수 있는 것 처럼요. 예를 들어, SNS 마케팅에 활용할 카피 문구를 작성하는 경우, 기업의 비전과 미션, Value Proposition, 사업계획 등과 일치하는 메세지를 담고 있는 것이 중요합니다. 영업 메일, 법률 문서, 고객 응대 가이드라인 등도 마찬가지입니다.
이러한 이유로, 프롬프트(Prompt)를 활용하여 맥락을 제공하는 방법들이 시도되고 있습니다. 뿐만 아니라, LLM이 외부 문서(e.g. pdf, word, txt, html) 기반으로 정보를 불러올 수 있는 서비스들이 등장하고 있습니다. ChatGPT는 retriever plugin을 지원하며, 구글 PaLM 2는 Generative AI App Builder를 제공하겠다고 밝혔습니다.
LLM 도입을 고민하는 기업 경영진들의 과제
앞선 사례들을 바탕으로 회사 제품이나 서비스에 AI를 도입하는 대에 대한 많은 기대가 생길 수 있습니다. 그러나, 도입에 앞서서 CEO 뿐만 아니라 CTO, COO 등 경영진들이 미리 고민하고 대응해야 할 과제들이 있습니다.
1. LLM의 한계 알기
1-1. 나의 정보 그리고 최신 정보를 담고 있지 않아요
앞서 언급한 바와 같이 LLM 활용 예시들은 우리 회사 기존 맥락들을 이해하고 있을 때 가장 효과적으로 기능할 수 있습니다. 하지만, LLM은 사전학습이 이루어진 시점까지의 정보만을 담고 있기 때문에 최신 정보 혹은 범용적이지 않은 우리 회사 내 지식 정보를 담고 있지 않습니다.
따라서, 우리 회사가 가진 잠재 고객사의 최근 현황 정보 기반으로 영업 메일을 작성하려면 매번 프롬프트로 관련 정보를 입력해야 합니다. 하지만 입력 토큰 수에 제한이 있기 때문에 100 페이지짜리 내부 보고서와 같은 대량 문서 내용을 한 번에 처리하는 것은 어렵습니다.
1-2. 잘못된 정보를 생성할 수 있어요 (Hallucination)
ChatGPT의 ‘세종대왕 맥북 던짐 사건’과 같은 우스개 밈을 한 번쯤 보셨을 수 있겠는데요. LLM은 사전 학습된 대량의 데이터를 바탕으로 답변을 생성하기 때문에 **없는 정보나 잘못된 정보를 임의로 생성할 수도** 있습니다**.** 이러한 이유로 모델이 반환한 결과에 그럴싸하게 틀린 정보가 포함될 수 있습니다.
이러한 현상을 Hallucination이라고 하는데요. Hallucination은 모델이 사전학습된 데이터를 포함된 정보를 착각하거나 조합하여 생성한 결과로 인해, 사실로 입증되지 않은 정보를 제시하는 경우를 말합니다.
LLM은 외부의 지식을 참고하는 방식으로 학습되지 않았기 때문에 ChatGPT의 retriver plugin 등의 서비스를 활용해서 우리 회사의 문서(예: pdf, word, txt, html)를 기반으로 질의응답을 하고자 할 때에 Hallucination 문제가 특히 두드러집니다. 사용자가 요청하는 외부 지식에 대한 검색 결과가 없거나, 정확하게 답변하기 어려운 경우, 문서에 있는 내용을 바탕으로 대답하는 대신 LLM은 사전학습 과정에서 알게 된 지식을 섞어서 답변합니다. 답변이 틀리더라도 그럴싸한 답변을 만들어내기 때문에 사용자는 이미 문서에 존재하던 내용인지, 아니면 LLM이 임의로 생성한 것인지 구분하기 어렵습니다.
1-3. 필터링이 부족하거나 편향(systematic bias)이 있을 수 있어요
LLM 학습 과정에서 데이터셋에 포함된 부적절한 콘텐츠, 가짜 뉴스, 편향된 정보 등이 모델 결과에 영향을 줄 수 있습니다. 이로 인해 결과에는 부적절한 편향이나 오류가 포함될 수 있습니다. 예컨대, ‘발랄한 접수원’에 대한 설명을 요청하는 경우 추가적인 정보를 묻는 대신 접수원이 여성일 것이라 곧바로 가정합니다.
또한, Few-shot learning 및 Fine-tuning 우리 기업 내부 데이터에 고객 개인정보가 포함되어 있다면, 데이터 처리와 보호에 신중해야 합니다. 데이터를 충분히 익명화하거나 개인정보를 제거하는 전처리 과정을 거치지 않으면 생성된 결과에 개인정보가 노출될 수 있는 위험이 있습니다.
이러한 한계들은 기업의 내부 임직원이 아닌 외부 고객들을 대상으로 하는 챗봇 서비스에서 특히 더 리스크가 될 수 있습니다.
이는 SoftlyAI가 기업이 지정한 문서 기반으로만 정보를 검색(retrieval)하고, 정확하고 믿을 수 있는 답변을 생성하는 데 심혈을 기울이는 이유입니다. 사용자가 업로드한 대량의 문서 내에서 답변을 찾아 정보를 제공합니다. 또한, 어떤 문서를 기반으로 생성되었는지 투명하게 보여줍니다. 무엇보다 문서 내에 없는 답변에 대해서는 해당 내용이 없다고 명시하여 혼돈을 방지합니다. 모르는데 아는척 하는 것만큼 위험한 것도 없으니까요.
2. 비즈니스의 본질과 AI 간의 접점 고민하기
AI 도입을 고민하는 기업은 AI가 부가가치를 창출할 수 있는 사업 영역을 빠르게 파악하고, 관련 AI 기술이 어떻게 진화해나가는지 모니터링해야 합니다. 또한, 시행착오를 최소화하고 AI 도입의 효과를 극대화하기 위해서는 AI 리서처 및 엔지니어, 프로덕트 오너, 비즈니스 담당자, 제품 개발자, 법률 전문가 등 기업 내부에 상호보완적 역량과 특기를 가진 인력들이 합심하여 본질적인 질문들에 대해 탐구해봐야 합니다.
1. LLM은 우리의 산업 및 비즈니스에 어떤 이득을 가져올 수 있는가?
- 장단기적으로 어떠한 비즈니스 지표를 개선하는 것이 목표인가?
- 시간과 비용을 투자할만큼 비즈니스 기회가 존재하는 영역인가?
- 고객에게 어떤 가치를 제공하고자 하는가? 우리의 비전과 미션을 달성하는 데 도움이 되는가?
2. LLM은 우리의 산업 및 비즈니스에 어떤 리스크를 가져올 수 있는가?
- Ideal case 외 시나리오를 충분히 고민하고 실험하였는가?
- 섣부른 도입으로 고객 경험에 악영향을 미치거나 기업의 브랜딩을 해칠 위험은 없는가?
- AI 결과값은 확률적이라는 특성을 감안했을 때, AI의 결과가 틀렸을 경우 우리 비즈니스에 가져올 수 있는 리스크는 무엇이 있으며 얼마나 치명적인가?
3. 어떻게 LLM을 실무에 매끄럽게 적용할 것인가?
- 우리의 타겟 고객 페르소나를 고려했을 때 어떤 영역을 우선순위로 두고 AI를 적용할 것인가?
- 우리 기업 내 어느 부서/담당자가 AI 개발 방향성과 실행 방안에 대한 리더십을 가져갈 것인가?
- AI 전문성을 완전히 내재화 할 것인가 혹은 fit이 잘 맞는 LLM 기반 외부 솔루션을 활용하여 빠르게 도입을 시도할 것인가?
- 주어진 input을 고려했을 때 지향해야 하는 혹은 지양해야 하는 output의 샘플이 있는가?
많은 기술이 그렇듯 본질적 고민이 부족한 상태로 AI를 도입하게 되면, AI Hype를 활용하는 수준에 그치고 기업 비즈니스 본질에 맞는 장기적인 가치 창출이 어려울 수 있습니다. 그만큼 edge case까지도 함께 고려할 수 있는 전문성을 가진 파트너와의 협업하여 사업적, 기술적 고민들을 나누면서 내부적으로 노하우를 쌓아나가는 것이 중요합니다.
3. 빠르고 유연하게 적용하고 대응하기
AI를 비즈니스에 도입하기 위한 경제적, 기술적 진입장벽이 낮아졌다는 것은 우리 회사가 AI를 통해 경쟁 우위를 확보할 수 있다는 의미인 동시에 경쟁이 심화될 수 있다는 의미이기도 합니다. 그렇기 때문에 경쟁사들보다 한 발 자국 앞서서 빠르고 유연하게 LLM을 활용하여 실험해보고, 적용해보고, 발생하는 문제들에 대응해야 합니다.
무턱대고 AI의 이름을 붙인 부가 서비스를 하루 빨리 출시해야 한다는 의미가 아닙니다. 앞서 언급했듯, 비즈니스에 도입하기 전 유의해야 할 리스크들이 존재하기 때문입니다. 이를 위해, 구체적인 문제 정의를 통해 AI로 어떻게 고객 가치를 창출할 수 있는지, 어떤 비즈니스 지표를 개선할 것인지에 대한 합의와 계획이 필요합니다.
Eric Ries의 저명한 도서 “The Lean Startup”에서, 저자는 “The only way to win is to learn faster than anyone else.”라고 말합니다. AI 활용 방식을 빠르게 습득하고 자신의 비즈니스에 어떻게 적용해볼 수 있는지 테스트하고 배우는 기업들이 우위를 가지게 될 것입니다.
이를 위해, LLM 전문성을 가진 외부 기업의 AI 솔루션을 활용하게 되면, 적용 이터레이션(iteration)을 더 빠르고 유연하게 실행할 수 있습니다.
💡 Example
SoftlyAI가 파트너사 트로스트와 함께 리뷰 분석 솔루션을 개발할 당시, 첫 논의부터 API 구매 결정까지 약 40일이 소요되었습니다.
1차 실험 이후 트로스트의 피드백을 한 차례 반영하여 2차 실험 결과에서 훨씬 높은 만족도를 달성할 수 있었습니다. 과거 도메인 특화 모델 개발 방식에서 수개월이 걸리는 것과 비교하여 엄청 짧은 시간이지만 SoftlyAI는 제품 최적화를 통해 이 기간을 더 줄여나가고 있습니다.
SoftlyAI는 고객사와 함께 유연한 실험을 통해 비즈니스에 어떤 변화를 가져올 수 있을 연구하고, 새로운 사용 사례와 적용 방법에 따라 방식을 업데이트 해나갈 수 있는 파트너십을 지향하고 있습니다. 고객사의 비즈니스 본질과 목표를 고려하며 AI 도입에 반영할 수 있도록 AI 컨설팅 등의 서비스를 제공하며, 파트너사들과 함께 가치를 창출하고 있습니다.
SoftlyAI가 어떻게 가치를 창출하고 있는지 궁금하시다면, ‘SoftlyAI Use Case – AI를 활용해 고객 진입 장벽을 낮춘 트로스트 사례’를 참고해보세요.
또한, 우리 회사의 대규모 문서들 중 내가 질문한 내용에 대한 답변을 담고 있는 문서만, 내용만 똑똑하게 불러와주는 SoftlyAI Q&A 검색엔진을 활용하고 싶거나, 관련해서 궁금한 점이 있다면 언제든지 team@softly.ai로 문의주세요.
