# Engineering # Kubernetes Karpenter와 Spot으로 저렴하고 유연하게 노드 프로비저닝하기 핑퐁팀에서는 루다 서비스를 제공하기 위한 서버를 AWS EKS에서 운영하고 있어요. 운영하는 서버 중 상당수는 가격이 비싼 GPU 머신을 사용해요. 그래서 핑퐁팀에서는 서버 비용 절감을 위해 Inferentia 사용, Custom Metrics을 이용한... 홍연준 | 2023년 03월 20일
# Engineering # Machine_Learning 새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙 지난 블로그 글에서 빠르게 변화하는 모델 아키텍처를 위해 백엔드 서버와 모델 추론 서버를 분리시키고, A/B 테스트를 위해 모델의 추론을 추상화하여 간단한 설정을 수정하는 것만으로 실험을 진행할 수 있는 구조에 대해... 정채홍, 김만수 | 2023년 02월 20일
# Machine_Learning EMNLP 2022 Review The 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP)는 자연어 처리 분야 최고의 국제 컨퍼런스로서 최신 NLP 연구들이 발표되는 행사입니다. 이주홍 | 2023년 02월 14일
# Engineering 2022 개인정보 가명·익명처리 기술 경진대회 참여 후기 '성동구소재회사근무중인20대남성개발자4명'팀의 대상 비법 이정민, 김성훈, 김성환, 최기원 | 2023년 02월 01일
# Engineering # Machine_Learning 새로운 루다를 지탱하는 모델 서빙 아키텍처 — 1편: A/B 테스트를 위한 구조 설계 핑퐁팀은 이루다 2.0을 출시하면서 복잡하게 구성되어 있는 머신러닝 추론 파이프라인을 효율적으로 만들었고, 또 모델 단위 A/B 테스트와 같은 데이터 기반의 의사결정을 지원하고자 백엔드 시스템의 구조를 다시 디자인했어요. 이번 글에서는 그... 홍승환 | 2023년 01월 27일
# Engineering 이루다 서버의 모니터링 스택을 소개합니다 서비스를 출시하는 날이 되었다고 생각해봅시다. 몇 달간 고생하며 개발해온 팀원들은 저마다의 이유로 두근두근합니다. 특히 서버 개발자는 혹여 장애가 터질 까봐 신경을 곤두세우고 있을 겁니다. 서버의 특성상 24시간 언제든지 장애가 발생할... 이정민 | 2022년 12월 21일
# Machine_Learning Luda Gen 1, 더 재미있고 자연스러운 대화로 돌아온 루다 1편 - 생성 기반 챗봇 이번 이루다 2.0 정식 출시에서 답변 생성 모델 Luda Gen 1이 적용되었습니다. 기존 루다는 리트리버가 답변 DB에서 답변을 고르는 방식이었기 때문에 문맥에 딱 맞는 답변이 답변 DB에 없다면 좋은 대화를... 고상민, 구상준, 이봉석, 류성원 | 2022년 12월 14일
# Machine_Learning # Engineering Apache Beam으로 머신러닝 데이터 파이프라인 구축하기 3편 - RunInference로 모델 추론하기 Apache Beam으로 머신러닝 데이터 파이프라인 구축하기를 주제로 하는 3번째 글로 다시 찾아뵙게 되었어요. 1편: 도입과 사용에서는 Apache Beam이 무엇이고, 핑퐁팀이 왜 Beam을 사용하게 되었는지 설명해 드렸습니다. 2편: 개발 및 최적화에서는... 김성환 | 2022년 11월 28일
# Engineering Custom Metric(ex. RPS)으로 HPA 설정하기 쿠버네티스에서 기본으로 제공하는 HPA를 이용하면 pod의 CPU 사용량에 따라 자동으로 스케일 아웃되는 시스템을 쉽게 구축할 수 있습니다. 하지만 서비스의 성격에 따라 CPU 사용량 대신 다른 지표를 이용해 오토스케일링하는 것이 더... 서남규 | 2022년 11월 16일
# Machine_Learning 루다, 눈을 뜨다! 포토챗 베타의 멀티모달 기술 소개 이루다 2.0이 정식 출시 되면서 사용자가 보낸 사진을 인식하고 답변하는 기능인 포토챗 베타(PhotoChat Beta)가 추가되었습니다. 기존의 루다는 사진 인식 기능이 탑재되지 않아 사용자가 사진을 보내면 “오 사진 뭐야?” 같은 사진과... 이재훈, 장성보, 김수정 | 2022년 11월 09일
