반응형 전체 글15 프로덕션 ML 시스템의 특징(Model Decay) 모델의 성능이 언제까지나 유효한가? No "Past performance is no guarantee of future results." "No model lives forever, but the speed of decay varies." 실 사용사례에서는 데이터가 계속 달라지기 때문에 모델의 성능이 점점 떨어지는 현상을 발생시킨다. 모델의 quality를 판별하는 데에 사용하는 것은 Accuracy, Mean Error Rate, or some downstream business KPI such as click-through rate (꼭 F1 score 만 사용하는 것은 아님) 다양한 모델의 quality 판별을 통해서 검토를 한 결과 성능이 저하게 된다는 것을 "Model decay" 라고 한다. 2024. 2. 22. ML 서비스 개발 순서 Problem Definition -> Data Collection & Analysis -> ML Modeling -> Deployting in Production 좀더 세분화 하면 (https://www.evidentlyai.com/blog/machine-learning-monitoring-what-it-is-and-how-it-differs) 참고 Data Collection & Analysis == Data Preparation -> Feature Engineering Feature Engineering 이란? 머신 러닝 모델이 작동할 수 있도록 하는 Feature들을 만드는 과정으로, 데이터에 대한 도메인 지식을 사용하며 전처리 과정도 이에 포함된다. 대표적인 전처리 과정 1. 데이터 클리닝 & .. 2024. 2. 22. MLOps를 위한 기초관점 서비스 관점에서의 ML 실제 환경에서 적용되는 머신러닝은 1. 실제 환경에서 요청한 데이터를 활용 2. 학습이 되어있는 모델을 통해 추론(Inference) 3. 추론된 결과를 사용자에게 전달 연구용 ML (내가 기존에 하던 것) 프로덕션용 ML (내가 현재 하고 싶은 것) 새로운 알고리즘 개발 혹은 기존 모델 성능 향상이 목적 명확한 benchmark 데이터셋에 대해 평가 모델을 빨리 학습시키는 것이 중요 학술 논문 이나 보고서로 발표 다양한 요구사항이 존재 : 문제 정의 필요 운영 단계가 존재 데이터 변동성이 큼 신뢰성 / 공정성 / 해석 가능성 Latency (기용성) 개발 / 운영 환경 각각에서 Reproduce 가능해야 함. 관점의 차이가 존재 / 내가 원하는 건 프로덕션용 ML이 맞다. 2024. 2. 20. 이전 1 2 3 다음 반응형
