샘 알트만과 따로 만나 1시간 동안 나눈 이야기

Private Session으로 진행된 Round Table Talks with OpenAI in Seoul 주요 내용을 공유합니다.

김종윤 | 2023년 06월 09일 | #Machine_Learning #Product/Biz

안녕하세요? 스캐터랩 김종윤입니다. 6월 9일 OpenAI CEO 샘 알트만과 주요 멤버의 방한으로 IT 업계가 떠들썩했습니다. OpenAI 팀은 하루동안 많은 일정을 소화했는데요, 개인적으로 가장 의미있었던 시간은 소수의 AI 기업과 함께한 Round Table Talks 시간이었습니다.

이 시간이 좋았던 이유는 1) AI로 프로덕트를 만들고 있는 사람들만 참석해서 밀도있는 대화를 나눌 수 있었다는 점, 2) 샘 알트만이나 그렉 브록만 뿐만 아니라 총 7명의 OpenAI 팀 멤버가 참석해서 실질적인 이야기를 공유했다는 점, 3) 대담을 참관하는 형태가 아니라 거의 대화하는 방식으로 빠르게 Q&A를 1시간 동안 진행했다는 점이었습니다. 세션 마지막에는 거의 손도 들지 않고 대화를 주고 받은 것 같아요. 통역 없이 영어로 대화를 나눈 점도 도움이 되었고요.

샘 알트만도 이 세션을 시작하면서 어느 곳을 방문하든 이런 시간을 제일 좋아한다고 말했습니다. OpenAI의 모델과 기술에 대한 이해를 바탕으로 여러 제품을 실험하고 있는 기업들의 생생한 피드백을 들을 수 있는 기회니까요. 그러면서 가능하면 부정적인 얘기를 많이 해달라고 했습니다. (이 말을 들으니 저희도 실제 기업과 고객의 목소리를 듣는 기회를 더 많이 가져야겠다는 생각이 들더라고요)

많은 사람이 참석한 세션은 아니었기 때문에 나왔던 이야기들이 궁금하신 분이 많을 것 같아서 세션의 내용을 간략하게 정리해서 공유합니다.

• 읽기 전에 염두에 둬야할 점
  • 저도 얘기를 주고 받으면서 간단히 메모한 내용을 기반으로 공유하는 거라서 내용이 단어 레벨 정확하지 않고, 오류가 있을 수 있다는 점을 미리 말씀드립니다. 전반적으로 이런 대화를 나눴다는 정도로 이해해주시면 좋겠습니다.
  • 제가 메모하지 못해서 빼먹은 내용도 있었고, 조금 민감하다 싶은 내용은 뺐습니다. 혹시 이 자리에 계셨던 분들이 코멘트를 주신다면 수정하도록 하겠습니다.
  • 질문한 사람과 답변한 사람을 명시하지는 않았습니다. 자유롭게 여려 명이 질문하는 형태였고, 답변도 샘 알트만이 주로 하는 게 아니라 그 질문에 가장 잘 답변할만한 사람이 답변하는 형태였습니다. 질문 순서도 실제와 약간 다를 수 있습니다.
  • 중간중간에 제 생각을 코멘트 형태로 간단히 남겼습니다. 그 부분은 제 의견이니 참고만 해주시면 되겠습니다.

Q. 현재 OpenAI 모델이 API를 액세스하는 형태로 제공되고 있는데, API를 사용하는 방식에 대해서 얼마나 통제하기를 원하는가? 예를 들어서 국방이나 무기에 활용될 수도 있을텐데.

A. 지금은 API가 어떤 영역에 활용되는지에 대해 어느 정도 통제를 하고 있다. 하지만 앞으로는 그러한 통제를 점점 줄여가고 싶다. 우리는 AI라는 엄청난 기술을 민주화하는 게 목적이다. 우리는 최고의 기술을 만들 뿐이지 이걸 어디에 어떤 방식으로 써야하는지 정하는 역할까지는 하고 싶지 않다.

Comment
이 질문 뿐만 아니라 여러 세션에서 OpenAI는 스스로 중립적인 플랫폼의 역할을 할 것이라는 걸 강조했습니다. 즉, 직접 제품을 만드는 회사가 아니라는 것이죠. 이는 OpenAI가 나아갈 방향(AGI와 플랫폼)을 분명히 하는 한편, OpenAI의 기술을 활용해서 비즈니스를 하려는 기업들이 ‘우리가 만들면 OpenAI가 우리 같은 제품 만드는 거 아냐?’라는 걱정을 할 필요가 없도록 하려는 것 같습니다. 샘 알트만은 ChatGPT가 OpenAI의 유일한 B2C 제품일 것이라는 얘기를 다른 곳에서 한 적이 있습니다.

Q. 고객사에서 GPT를 파인튜닝하려는 니즈가 크다. 하지만 지금은 파인튜닝을 제공하지 않고 있는데, 파인튜닝이 필요 없다고 생각하나?

A. 더 좋은 베이스 LLM을 만드는 것과 파인튜닝 하는 것 둘 다 필요하다고 생각한다. 파인튜닝 기능도 준비는 하고 있는데 현재 GPU가 부족하고 다른 더 중요한 기능 개발 때문에 밀리고 있다.

Comment
스캐터랩도 겪고 있는 문제입니다만, OpenAI도 GPU 부족 문제를 겪고 있습니다. 엔비디아의 급격한 매출 상승, OpenAI 같은 회사도 GPU 문제를 겪는다는 걸 고려해보면, 지금 AI로의 패러다임 변화가 얼마나 빠르고 거대하게 일어나고 있는지를 가늠해볼 수 있습니다.

Q. AI 시대에 스타트업의 Growth Playbook은 어떻게 바뀌었다고 생각하는가?

A. Domain-specific한 일을 해야한다. Disrupt 되지 않을 일을 하는 것이 중요하다. 더 좋은 LLM이 나왔을 때 바로 사라지는 경쟁력을 확보하는 것은 의미가 없다. 지속가능한 경쟁력을 찾아야한다. 결국 기술을 실제 도메인에 적용하는 과정에서 풀어야 수많은 어려운 문제를 고민하고 해결하는 것이 중요하다고 생각한다. 풀기 어려운 문제를 풀어야 한다.

Comment
AI는 거대한 패러다임의 변화입니다. 그런만큼 기존 비즈니스 환경의 급격한 변화를 몰고 오고 있습니다. 일반 기업들은 이 기술을 어떻게 하면 AI 기술을 자신의 비즈니스 환경에 빠르게 녹여서 경쟁력을 높여나갈 수 있을지(혹은 뒤쳐지지 않을 수 있을지) 고민해야 합니다. AI는 기존에 상상할 수 없었던 제품 경험을 가능하게 합니다. 반면, 스캐터랩 같은 AI 스타트업은 기존에 자신이 가지고 있는 경쟁력을 점검하고 어떻게 하면 장기적인 기술/제품 경쟁력을 가져갈 수 있을지 고민해야 합니다. 워낙 기술이 빠르게 변하고 있어서 난이도는 높지만, 동시에 엄청난 기회도 있는 상황입니다. AI 에이전트의 적용에 대한 고민이 있는 기업이라면 hello@scatterlab.co.kr로 메일주세요. 함께 고민해보시죠🙂

Q. LLM은 학습하면서 Emergent Ability가 생긴다. 코딩 데이터가 논리적 사고나 추론 능력을 강화시킨다는 말도 있는데, OpenAI도 그렇게 보고 있는가? 특정한 데이터가 AI 모델에 특정한 능력을 열어준다고(unlock) 생각하는가?

A. 그렇게 보고 있다. 논리적 사고가 많이 담겨 있는 데이터셋을 학습시키면 논리적 사고가 발현된다. 특정한 데이터셋이 특정한 능력을 연다고 생각한다. 그래서 어떤 데이터를 확보하고, 어떤 데이터를 어떤 비율로 섞어서 학습하는지가 모델 학습에 있어 중요하다.

Comment
LLM 학습 과정에서 생기는 Emergent Ability의 관점은 모델과 학습을 바라보는 관점을 많이 바꾸어놓았습니다. 이러한 현상 때문에 데이터를 둘러싼 경쟁이 더욱 치열해지고 있고요. 스캐터랩도 대량의 Social Interaction 데이터로 LLM에 소셜 능력을 발현시키고, 이 능력을 활용해서 뛰어난 AI 에이전트를 만들어가는 방향에 많은 투자를 하고 있습니다.

Q. 고객 센터에 GPT를 적용해보고 있다. 여기서 가장 문제가 되는 게 Hallucination이다. 이 문제가 해결 될 것인가?

A. Hallucination 문제가 남아있지만, 모델이 좋아질수록 이 문제도 빠르게 개선되고 있다. GPT-4도 이 문제가 훨씬 덜하며, Hallucination을 약화시킬 수 있는 여러 방법이 존재한다. 프롬프팅으로 개선할 수도 있고, 한 번 생성한 걸 다시 한 번 모델에게 검토시키는 것도 방법이다. 이 문제를 이미 의미있는 수준으로 푼 사례가 여럿 있다.

Comment
LLM으로 실제 제품을 만들다보면 여러 문제를 맞닥뜨리게 됩니다. 이런 문제를 각 도메인에서 의미있는 수준으로 해결하는 게 앞에서 언급했던 ‘풀기 어려운 문제’ 혹은 ‘지속가능한 경쟁력’ 중 하나일 거라고 생각합니다.

Q. 지금은 프롬프팅으로 LLM을 통제하는 게 쉽지 않은데, LLM을 더 쉽게 통제할 수 있는 방법에 대해 고민하고 있는가?

A. 최고의 모델은 사람이 무언가를 시키면 시키는대로 나오게 하는 모델이다. 사람들이 모델에 어떤 걸 시키는지를 보면서 더 잘 작동하는 모델을 만들어가고 있다. 앞으로 지속적으로 모델이 업데이트 될 예정이다.

Q. GPT를 가지고 비즈니스할 때 정책이 불투명한 점이 있다. 그래서 플랫폼 정책에 따라 비즈니스가 큰 타격을 입게되지는 않을지 걱정된다.

A. 아직 플랫폼 초기라서 어려운 부분이 있다. 앱스토어나 다른 플랫폼 초기에도 시행착오나 논란을 겪으면서 모두가 의지할 수 있는 정책을 완성할 수 있었다. 지금 앱스토어 정책 때문에 비즈니스 타격을 입는 경우가 많지 않은 것처럼 장기적으로 그렇게 될 수 있도록 노력할 것이다.

Q. 일부 기업에 모델에 대한 얼리 액세스를 부여하고 있는데, 경쟁을 하는 기업 입장에서 경쟁사가 얼리 액세스를 획득해서 훨씬 더 좋은 제품을 만들 경우 타격이 심각할 수 있다. 이 문제에 대해 어떻게 생각하는가?

A. 문제 의식에 공감한다. 앞으로 최대한 그런 경우가 없도록 노력할 것이고, 의지할 수 있는 플랫폼이 되도록 할 것이다. 지금은 현실적으로 GPU가 부족해서 얼리 액세스를 할 수밖에 없는 측면도 있다. 앞으로 개선될 것이라고 생각한다.

Q. 모델의 Inference 관련한 연구도 많이 하고 있는가?

A. 그렇다. Pruning, Quantization 등 Inference를 더 가볍고 효율적으로 하기 위해 노력을 많이 한다. GPU는 매우 파워풀한 칩인데 이를 어떻게 하면 더 효율적으로 활용하게 할지도 고민을 많이 하고 있다.

Q. 정확한 정보가 중요한 도메인에서 제품화 고민을 하고 있는데, 모델의 답변 신뢰도를 측정할 수 있는 방법이 있으면 좋을 것 같다.

A. LLM은 이미 자신의 답이 맞는지, 틀린지, 혹은 얼마나 맞는지에 대해서 꽤 정확한 감을 가지고 있다. 이런 능력이 RLHF 과정에서 감소되는 측면이 있다. 그래서 이런 걸 완화하고 신뢰도를 제공하기 위해 여러 실험을 진행 중이다. 동시에 프롬프팅이나 별도의 Classifier를 학습해서 답변의 적절성 여부를 확인하는 방법도 있다.

Q. 데이터는 기업의 중요한 자산으로서 많은 기업이 데이터가 외부로 반출되는 걸 반기지 않는다. 혹시 In-house나 On-premise 방식으로 모델을 제공할 계획도 있는가?

A. 자체 데이터로 파인튜닝을 하는 건 파워풀한 제품 구현 방법이다. Azure와의 파트너십을 통해서 데이터가 외부로 나가지 않고 자체 모델 학습과 활용에만 쓰이도록 구축이 가능해졌다. 하지만 자체 모델을 외부 데이터센터에서 활용하게 하는 방향으로는 고민을 안 하고 있다.

Comment
LLM 자체가 AI 기업의 핵심 경쟁력인 이상, On-premise 방식의 구축은 점점 더 어려워질 것입니다. 기술이 워낙 빠르게 발전하고, 모델의 지속적인 학습이 필요하다는 측면에서도 On-premise가 쉽지 않고요. AI의 패러다임에서 엔터프라이즈의 IT 인프라나 정책에 대한 변화가 많이 있을 것이라고 생각합니다. 물론, On-premise를 장점으로 내세우는 기업도 생기겠지만, 가장 앞선 LLM이 그런 방식으로 제공되지는 않지 않을까 싶기도 합니다.

Q. 스타트업이나 기업들이 왜 OpenAI의 모델을 써야 하는가? 기업이 각자 자신의 모델을 만들 수도 있는 것 아닌가?

A. 스타트업은 하나의 분명한 목표를 정하고 그걸 잘하는 게 중요하다. 그래서 그 하나가 무엇인지를 잘 정하고, 다른 일을 하지 말아야한다. 우리도 최고의 모델로 AGI에 다가가는 하나의 목표에만 집중하고 있다. 또한 지금 LLM으로 경쟁을 하려면 GPU를 많이 확보해야 하는데 그게 쉽지 않은 것도 큰 허들이다. 좋은 LLM을 학습하는 건 매우 어려운 일이다. 다른 기업이 쉽게 할 수 있는 일이라고 생각하지 않는다.

Q. API 비즈니스를 진지하게 생각하고 있는가? 외부 기업이 장기적으로 API를 기반으로 비즈니스를 해도 될만큼 확신이 있는가?

A. 그렇다. 우리가 플랫폼 기업이 될 것임은 확실하다. API 비즈니스를 핵심으로 보고 있다. 플러그인도 이제 출시했지만 앞으로 점점 나아질 것이라고 생각한다.

Q. GPT-4를 기반으로 연속된 대화를 하다보면 컨텍스트가 점점 늘어나서 비용이 매우 비싸진다. 이 문제에 대한 개선 계획이 있는가?

A. 크게 두 가지 방향으로 고민하고 있다. 첫번째는 가격 자체를 더 싸게 만드는 것이다. 특히 생성되는 토큰이 아닌 컨텍스트 토큰에 대해 비용을 낮춰가는 걸 고민하고 있다. 두번째는 API 구동 방식에 대한 고민이다. 지금은 모든 시스템 프롬프트와 대화 컨텍스트를 모두 API에 보내야 하는데 이걸 ChatGPT 처럼 마지막 대화만 보내면 되는 걸로 변경할 생각이다. 앞으로 이미지도 들어올텐데, 지금 방식으로는 이미지까지 감당할 수 없다.

Q. AI 제품을 만드는 입장에서 모두 같은 LLM을 사용한다면 어떻게 차별화를 할 수 있는가?

A. AI라고 해서 차별화나 경쟁력의 문제가 사라지거나 달라진다고 생각하지 않는다. 결국 계속 제품적인 혁신을 해야한다. 비즈니스를 이해하고, 고객을 이해하고 그들의 원하는 문제를 풀어줘야 한다. LLM을 쓴다고 이런 문제가 자동으로 해결되는 건 아니다. 일반적인 비즈니스 모트가 다 적용된다.

Comment
최근에 스캐터랩도 비슷한 고민을 하고 있습니다. LLM이 매우 중요한 건 사실이고 그렇기 때문에 스캐터랩도 자체 LLM에 많은 투자를 하고 있지만, LLM이 나온다고 모든 제품 문제가 사라지는 건 아닙니다. LLM과 제품 사이에는 해결해야 할 수많은 문제가 있습니다. 어떻게 하면 그런 문제를 기업들이 쉽게 풀 수 있도록 도울 수 있을까에 대해 많은 고민을 하고 있습니다.

Q. GPT-4의 성능은 매우 뛰어나지만 한국어는 너무 느리다. GPT-4를 가지고 한국어 제품을 만드는 게 거의 불가능한 것처럼 느껴진다. 이 문제가 앞으로 얼마나 개선될 것인가?

A. GPT-3.5가 속도가 빨라지고 가격이 싸졌던 것처럼, GPT-4도 그렇게 될 것이다. 빠른 시간 안에 10배의 개선을 하는 것을 목표로 하고 있다. 처음에 ChatGPT나 GPT-3.5, GPT-4를 학습했을 때 영어 사용자가 대부분일 거라고 생각했지만, 실제로 출시해보니 정반대였다. 그래서 다국어를 더 잘 지원하기 위해 노력을 많이 하고 있다. 한국에서 GPT를 더 많이 사용해주면 이 문제가 더 빠르게 개선될 것이다.

Comment
이건 제가 한 질문이었습니다. OpenAI 모델을 활용하는 비중이 영어보다 다른 언어가 훨씬 높다는 게 놀라웠고, 그런 만큼 다국어의 성능과 속도가 빠르게 개선될 것 같다는 인상을 받았습니다. 한국어에 대한 개선이 어느 정도일지는 모르겠지만요. 그렇게 되면 OpenAI 모델과 차별점이 없는 국내 기업의 LLM에 대한 고민도 더욱 깊어질 수밖에 없습니다.

Q. 기업이 파인튜닝 레벨의 데이터가 아닌 수천억 토큰 레벨의 데이터를 보유하고 있는 경우, GPT 같은 모델에 추가 학습하는 것과 자체적으로 10~30B 크기의 모델을 학습하는 것이 둘 다 가능한 옵션일 것 같다. 어떤 방법이 낫다고 생각하는가?

A. 이에 대한 정답은 아직 없다. 둘 다 가능한 방법이라고 생각한다. 아직 파인튜닝이 가능하지 않고, 수천억 토큰 레벨의 데이터를 추가 학습하는 건 비용적으로도 쉽지 않은 상황이다. 다만 앞으로 그런 유즈 케이스도 있을 거라고 생각해서, 대량의 추가 학습을 가능하게 하는 것도 고민하고 있다.

Comment
이것도 제가 한 질문이었습니다. 현장에서 밝히진 않았지만 정확히 스캐터랩의 포지션에 대한 질문이었는데요, 그렉 브록만이 자체 LLM도 가능한 옵션이라고 답을 해서 살짝 안심(?)이 되었습니다.

이 세션을 포함하여 이 날 있었던 여러 행사는 사람들이 얼마나 AI와 OpenAI에 높은 관심을 가지고 있는지 확인할 수 있는 자리였습니다. 이 날 2시에 있었던 Fireside Chat은 거의 1,000명이 넘는 사람들이 참관해서 콘서트를 방불케 할 정도였으니까요. 또한 샘 알트만은 이 날 오후에 윤석열 대통령을 만나기도 했습니다. ChatGPT가 출시된 게 11월 30일이니까 불과 6개월만에 일어난 일입니다. 6개월 전에 OpenAI가 한국에서 이런 지위를 누릴 것이라고 누가 생각할 수 있었을까요? 그만큼 모든 것이 빠르게 변하고 있는 패러다임 전환기입니다. 이런 시기가 늘 그렇듯 앞으로 몇 년간 새로운 큰 기업이 많이 등장할 것이고, 기존의 강자 중 일부는 역사의 뒤안길로 사라질 것입니다. 스캐터랩도 이 엄청난 기회를 의미있는 가치로 전환시키기 위해 많은 준비를 하고 있습니다. 앞으로 스캐터랩의 행보에도 많은 관심 부탁드립니다.

👉 ‘핑퐁 스튜디오’를 가장 먼저 사용해보세요