이 글은 기업에서 AI를 도입할 때 시스템적으로 고려해야 할 사항들에 대해 다룹니다.
Open AI 에서 ChatGPT 를 출시하며 AI 기술에 대한 인식이 보편화되었습니다. 또한, 하루가 다르게 성능이 발전하는 모습을 보며 일반 소비자들의 기술 인식, 이해도가 높아지고 있고, 기업들에게 기대하는 AI 서비스의 수준도 높아지고 있습니다.
기업들에게 세가지 문제에 제기해 보겠습니다.
첫째, 고객들에게 어떤 AI 서비스를 제공할 것인가!
둘째, 어떻게 AI를 활용하여 업무를 개선시키고, 효율성을 개선할 것인가!
셋째, 그렇다면 AI 를 어떻게 도입할 것인가?
대부분 첫번째와 두번째 주제들은 사례도 많고 많이들 고민해 보셨을 것입니다.
하지만 실제 사업을 시작하면 AI 도입을 어떻게 할지가 가장 큰 고민으로 다가올 것입니다.
기업에서 AI를 적용함에 있어 다음의 사례를 고민해봐야 합니다.
은행을 예시로, 전통적인 은행과 토스와 카카오뱅크와 같은 핀테크 기업이 있습니다.
전통적인 은행이 AI를 도입한다면 기존의 시스템에 AI 를 붙이는 작업은 마치 내연 자동차에 엔진을 들어내고 전기 베터리와 전기 모터를 붙이는 것과 유사할 것입니다.
물론 작동은 하겠죠. 하지만 핀테크를 생각해 봅시다. 핀테크 기업은 후발 주자이지만 Digital에 기반해 은행입니다. 이들을 Native 기업이라고도 칭합니다.
이들 기업은 마치 자동차로 치자면 테슬라와 같습니다. 테슬라는 전기 모터와 베터리 뿐만 아니라 전기 자동차에 특화된 디자인과 설계가 함께하고 있습니다.
또한 전통적인 자동차 기업이 인력을 대체하기 위해 로봇을 도입했고 인력이 여전히 남아있지만, 테슬라는 로봇이 전부 제조할 수 있게 사람의 손이 최대한 들어가지 않게 설계하고 디자인 했습니다.
이것은 자동차의 효율성, 퍼포먼스도 다를 것이고, 기업의 운영 방식도 전혀 다를 것입니다.
같은 맥락에서 전통적인 은행에 AI를 적용하는 것은 시스템적으로 쉽지 않은 반면에 Native 핀테크 은행들은 디지털에 특화된 시스템 구조로 AI 도입이 보다 쉬울 것입니다.
대부분의 사람들은 ChatGPT를 사용할 때 질문을 하고 답변을 받는 형태로 AI를 활용합니다. 이를 좀 더 효과적으로 사용하려면, 원하는 답변을 정확하게 얻을 수 있도록 프롬프트를 조정하고 다듬는 방법을 익히게 됩니다.
한 단계 더 나아가면, 여러 AI 모듈을 결합하는 '랭체인' 같은 방식을 통해 자동화나 특정 업무에 특화된 AI 서비스를 구축할 수도 있습니다.
최근에 미국에서 유행한다는 ‘Make’는 이러한 랭체인 방식을 GUI 노코드 기반으로 활용할 수 있습니다.
예를 들어 나의 Gmail 수신 메일에서, 스팸이 아닌 업무 관련 메일들을 핵심내용을 요약해서 나의 구글 Sheet에 정리해 줄수도 있고, 온라인의 AI 관련 기사들을 수집하여 요약하고, 적합한 이미지를 생성하여 나만의 AI 뉴스래터를 만들어 팀원들 메일에 보낸다던가, 블로그에 글을 올리는 workflow를 구성하여 자동화 시스템을 만들수도 있습니다.
기업에서 AI를 도입함에 있어 1단계는 지식 챗봇으로 질의 응답에 특화된 생성형 AI를 활용하는 방안입니다.
좀 더 활용도를 높이기 위해 랭체인 방식으로 기업의 여러 시스템과 연동된 시스템 아키텍처를 구상한다고 하면 기존 레거시 시스템과의 충돌이 걱정될 수 있고, 물리적으로도 과제마다 GPU 서버를 별도로 운영할 때 들어가는 비용과 비효율성의 문제가 제기됩니다.
AI 도입, 즉시성보다 적시성을 고려하세요
그렇다면 전통적인 기업들은 AI 도입시 시스템 구조를 어떻게 구상해야 될지에 대해 한가지 제안을 드립니다.
이것은 마치 은행의 모바일 앱과 같을 것입니다. 은행들은 DX를 거치며 모바일에 집중한 시기가 있습니다. 모바일 앱은 하나의 채널이자 플랫폼 입니다.
초기의 뱅킹은 입출금과 같은 단순거래만 가능했습니다. 그 이후 비대면 신규가 가능해지고, 비대면 대출도 가능해지는 등 모바일 앱에 있는 카메라 모듈, 개인 인증 등의 모듈이 결합되어 하나의 채널, 플랫폼이 되었습니다. 모바일 앱이라는 시스템을 별도로 만들고 이것에 기존의 레거시 시스템과 연동한 것입니다.
마찬가지로, AI 시스템을 구축한다면 클라우드가 답이 될 것입니다.
클라우드상에 AI 플랫폼을 구성하고, 새롭게 나오는 AI 와 외부 기술들을 SaaS, PaaS 방식으로 연동하고, 기존의 레거시 시스템을 연동한다면, 우리 회사만의 Make가 될 것이고, 자유롭게 AI 과제들을 만들어 낼 수 있을 것입니다.
또한 기존 과제 중심의 AI 적용시 GPU 자원배분이 분산됐다면, 클라우드 AI 플랫폼을 구성시 GPU 자원을 집중시킬 수 있고, 여러 과제들 중 AI 가 수행해야 될 하나의 모듈 Task 만 고려하는 방식이 더 적합할 것입니다.
실제 금융권에서는 KB은행이 그룹 차원에서 계열사들의 공동 활용을 목적으로 AI 클라우드 사업을 100억원대 규모로 본사업을 진행하고 있습니다. SKT 또한 GPU 를 몇천대 규모로 확보한 GPU 클러스터를 구축하여 GPU 효율을 극대화 하였습니다.
기업들마다 환경과 목적이 다르기도 하고 시장의 변화가 하루가 다르게 바뀌고 있기 때문에 전략은 시시각각 변화할 수 있습니다.
KB의 경우도 본사업을 추진할 당시는 금융권 망분리 이슈로 외부 SOTA LLM 활용이 제안되어, 내부 sLLM 활용에 집중하여 GPU 를 확보에 집중했을 수 있습니다.
하지만 현재 시점으로 금융권 망분리 개선안이 2024년 8월에 공표되어, 혁신금융 신청을 통해 외부 SOTA LLM 을 활용할 수 있는 여건이 마련되었고, sLLM 과 외부 SOTA LLM 을 비교했을 때 원하는 과제 수행을 위해서는 외부 SOTA LLM 을 쓰는 비중이 높아질 수 밖에 없고, GPU 자원 비용 또한 큰 이슈이고 구축한 자원을 충분히 활용하지 못한다면 ROI 산정이 어려울 수 있습니다.
때문에 현시점으로는 외부 SOTA LLM 활용하는 방안이 더 나을 수도 있습니다. 하지만 기술의 발전으로 sLLM 의 성능이 SOTA LLM 수준으로 올라간다면 전략은 또 변화할 수 있습니다.
AI는 기술의 발전이 말도 안되게 이뤄지고 있기 때문에 시급성, 즉시성을 감안하기 보다는 적시성을 고려하여 추진하길 권고 드립니다.
기업의 모든 것을 AI로 하려고 하지 않아도 됩니다.
현재 시점으로 그렇게 하지도 못하고요. 때문에 현시점 AI를 활용할 범위와 과제들을 감안하여 PoC와 같은 많은 시험을 경험해야 합니다.
AGI 시대가 올 것입니다. 기술이 발전하며 적용할 수 있는 과제들의 수가 늘어나고 상상속에만 있던 서비스들을 실제로 구현할 수 있게 되고 있습니다.
앞서 말씀드렸듯이 현시점에서 모든 업무를 AI로 해결할 필요는 없습니다. 하지만 이제 모든 업무를 AI로 해결할 수 있는 시대가 올 것입니다. 이를 대비하기 위해 비전을 갖고 AI 사업의 로드맵을 구상해야 할 것입니다.
이를 위해 많은 시행착오, 시험, PoC, 테스트 들을 진행하고 경험하길 바랍니다. 그 과정을 통해 또다른 수많은 현안들을 맞이하게 될 것입니다.
AI를 대하는 우리의 자세
AI 는 인간을 대체할 것인가? or 인간을 지원할 것인가?
인간을 AI로 대체하는 것도 인간이 해야하고, AI가 인간을 지원한다면 결국엔 AI를 다룰 줄 아는 인간과 AI를 다를 줄 모르는 인간으로 나뉠 것 같습니다.
최근 유통업에 종사하는 지인이 일을 쉬게 되었습니다. 유통쪽은 MD 업무를 AI가 많이들 대체했다고 합니다.
한편으론, MD 업무를 수행하는 AI를 만드는 것도 인간의 경험지식이 들어갈 것입니다. BCG보고서에 따르면 Bionic AI Company 를 제안하였습니다.
보고서에 따르면 온라인 쇼핑몰과 보험사에서 인간의 역할을 AI로 대체했을 경우보다 인간이 AI를 활용하여 업무를 수행했을 때 실적이 더 높게 나오는 것으로 나오고 있습니다.
ChatGPT, make.com 등은 기존의 엑셀이나 PPT, 워드라고 생각하시면 좋을 것 같습니다.
AI가 나를 대체할지 위협을 느끼기 보단 AI 를 내 업무에 어떻게 활용할 것인가를 고민하며 보다 적극적으로 AI에 관심을 갖는다며, 본인의 삶의 효용성도 높아질 것입니다.
☕️ 이 글을 쓴 하나은행 시니어 개발 PM에게 비즈니스 자문 받아보시는 것 어떠세요?
기업의 AI 도입 , 생산성 향상, 개발 및 인력관리, 테크･PM 커리어 등등 어떤 얘기든 가능해요!
✍️ 방금 읽으신 리더 인사이트, 어떠셨나요?
이런 글을 쓰시면, 최대 20만원의 부수입을 벌 수 있어요! 👉 지원하러 가기
글만 쓸 수 있다면 부수입을 벌 수 있습니다.
부수입이 되는 콘텐츠를 구독해보세요!