프로덕션 ML 시스템의 특징(Model Decay)

모델의 성능이 언제까지나 유효한가? No

"Past performance is no guarantee of future results."

"No model lives forever, but the speed of decay varies."

실 사용사례에서는 데이터가 계속 달라지기 때문에 모델의 성능이 점점 떨어지는 현상을 발생시킨다.

 

모델의 quality를 판별하는 데에 사용하는 것은 Accuracy, Mean Error Rate, or some downstream business KPI such as click-through rate (꼭 F1 score 만 사용하는 것은 아님)

시간에 따른 모델의 성능저하 그래프(https://www.evidentlyai.com/blog/machine-learning-monitoring-data-and-concept-drift)

 

다양한 모델의 quality 판별을 통해서 검토를 한 결과 성능이 저하게 된다는 것을 "Model decay" 라고 한다.