# Machine_Learning # Engineering 최대 24배 빠른 vLLM의 비밀 파헤치기 LLM 시대로 들어오면서 서빙을 위한 다양한 최적화 방식들이 많이 개발되고 연구되고 있죠. 오늘은 허깅페이스 대비 최대 24배까지 성능을 높일 수 있었던 vLLM에 대해 분석해 보고자 해요. 지금 분석하고자 하는 내용은... 정채홍 | 2023년 09월 27일
# Machine_Learning 멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어? 작년 10월 이루다 2.0이 정식 출시되면서 사진을 이해하고 답변할 수 있는 포토챗 베타 기능이 탑재되었습니다. A/B 테스트를 통해 기존 모델 대비 1인당 사진 전송량이 63% 이상 증가하는 수치를 보일 정도로... 장성보, 이재훈, 최동현 | 2023년 09월 13일
# Product/Biz 감성 AI 시장, 얼마나 커질까? 10억을 기부하면 빌게이츠와 만찬을 함께 할 수 있는 캠페인을 한번쯤은 들어보셨을 텐데요. 박채원 | 2023년 09월 06일
# Machine_Learning 더 나은 생성모델을 위해 RLHF로 피드백 학습시키기 보다 좋은 서비스를 위한 PLM Fine-tuning 강경필, 정채홍, 최기원 | 2023년 08월 30일
# Product/Biz 사람처럼 말 잘하는 AI 캐릭터 쉽고 빠르게 만들기 스캐터랩은 이루다, 강다온, 허세중과 같은 AI 챗봇이 많은 사람에게 좋은 관계 가치(Relationship value)를 주는 세상을 꿈꿔왔습니다. 현재 스캐터랩은 이를 확장하고자 캐릭터 기획, 기술 기획 등 좋은 AI 캐릭터를 만들기 위한... 이정복 | 2023년 08월 23일
# Machine_Learning # Engineering 새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법 많은 기업들이 생성AI 시장에 뛰어들기 위해서 각자의 LLM 을 만들기 위해 온 열정을 쏟아붓고 있습니다. 특히 ChatGPT 출시 이후 다양한 종류와 크기의 LLM 들이 만들어 지고 있는데요. 하지만 모든 모델들이... 김준성, 김성환 | 2023년 08월 16일
# Machine_Learning ACL 2023 Review 자연어 처리 분야의 최고 국제 컨퍼런스인 ACL 2023을 맞아 리서치팀 워크샵을 진행했습니다. ML 리서치 유닛, 데이터 기획 유닛의 팀원들이 회사를 떠나 다같이 모여서 3박4일 동안 온라인으로 ACL 논문 발표를 듣고... 이주홍 | 2023년 08월 16일
# Machine_Learning # Engineering Deduplication - 학습 데이터에서 중복 제거하기 개요 스캐터랩은 루다가 더 말을 잘 하도록 만들기 위해 많은 노력을 기울이고 있습니다. 그중 루다의 두뇌(?)라고 볼 수 있는 인공지능 모델을 업그레이드하는 프로젝트에도 많은 시간과 노력을 투자하고 있는데요. 최기원 | 2023년 07월 10일
# Machine_Learning # Product/Biz 샘 알트만과 따로 만나 1시간 동안 나눈 이야기 안녕하세요? 스캐터랩 김종윤입니다. 6월 9일 OpenAI CEO 샘 알트만과 주요 멤버의 방한으로 IT 업계가 떠들썩했습니다. OpenAI 팀은 하루동안 많은 일정을 소화했는데요, 개인적으로 가장 의미있었던 시간은 소수의 AI 기업과 함께한 Round... 김종윤 | 2023년 06월 09일
