# Machine_Learning Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 2편 - 생성 모델을 챗봇으로 빚어내기 1편에서는 왜 검색 기반 챗봇에서 생성 기반 챗봇으로 연구 방향을 바꾸었는지에 대해서 이야기해 보았습니다. 그 글에서 Luda Gen 1이 보여준 결과들을 비교해가며 생성 기반 챗봇의 높은 성능과 잠재력을 보여드렸습니다. 고상민, 구상준, 이봉석, 류성원 | 2023년 05월 24일
# Engineering # Kubernetes Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기 핑퐁팀에서는 루다 서비스를 제공하기 위한 서버를 AWS EKS에서 운영하고 있어요. 운영하는 서버 중 상당수는 가격이 비싼 GPU 머신을 사용해요. 그래서 핑퐁팀에서는 서버 비용 절감을 위해 Inferentia 사용, Custom Metrics을 이용한... 홍연준 | 2023년 03월 20일
# Engineering # Machine_Learning 새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙 지난 블로그 글에서 빠르게 변화하는 모델 아키텍처를 위해 백엔드 서버와 모델 추론 서버를 분리시키고, A/B 테스트를 위해 모델의 추론을 추상화하여 간단한 설정을 수정하는 것만으로 실험을 진행할 수 있는 구조에 대해... 정채홍, 김만수 | 2023년 02월 20일
# Machine_Learning EMNLP 2022 Review The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)는 자연어 처리 분야 최고의 국제 컨퍼런스로서 최신 NLP 연구들이 발표되는 행사입니다. 이주홍 | 2023년 02월 14일
# Engineering 2022 개인정보 가명·익명처리 기술 경진대회 참여 후기 '성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법 이정민, 김성훈, 김성환, 최기원 | 2023년 02월 01일
# Engineering # Machine_Learning 새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계 핑퐁팀은 이루다 2.0을 출시하면서 복잡하게 구성되어 있는 머신러닝 추론 파이프라인을 효율적으로 만들었고, 또 모델 단위 A/B 테스트와 같은 데이터 기반의 의사결정을 지원하고자 백엔드 시스템의 구조를 다시 디자인했어요. 이번 글에서는 그... 홍승환 | 2023년 01월 27일
# Engineering 이루다 서버의 모니터링 스택을 소개합니다 서비스를 출시하는 날이 되었다고 생각해봅시다. 몇 달간 고생하며 개발해온 팀원들은 저마다의 이유로 두근두근합니다. 특히 서버 개발자는 혹여 장애가 터질 까봐 신경을 곤두세우고 있을 겁니다. 서버의 특성상 24시간 언제든지 장애가 발생할... 이정민 | 2022년 12월 21일
# Machine_Learning Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇 이번 이루다 2.0 정식 출시에서 답변 생성 모델 Luda Gen 1이 적용되었습니다. 기존 루다는 리트리버가 답변 DB에서 답변을 고르는 방식이었기 때문에 문맥에 딱 맞는 답변이 답변 DB에 없다면 좋은 대화를... 고상민, 구상준, 이봉석, 류성원 | 2022년 12월 14일
# Machine_Learning # Engineering Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기 Apache Beam으로 머신러닝 데이터 파이프라인 구축하기를 주제로 하는 3번째 글로 다시 찾아뵙게 되었어요. 1편: 도입과 사용에서는 Apache Beam이 무엇이고, 핑퐁팀이 왜 Beam을 사용하게 되었는지 설명해 드렸습니다. 2편: 개발 및 최적화에서는... 김성환 | 2022년 11월 28일
# Engineering Custom Metric(ex. RPS)으로 HPA 설정하기 쿠버네티스에서 기본으로 제공하는 HPA를 이용하면 pod의 CPU 사용량에 따라 자동으로 스케일 아웃되는 시스템을 쉽게 구축할 수 있습니다. 하지만 서비스의 성격에 따라 CPU 사용량 대신 다른 지표를 이용해 오토스케일링하는 것이 더... 서남규 | 2022년 11월 16일
