전체 글

RNN? 이전의 hidden state를 가지면서 이전 출력을 입력으로 사용가능하도록 하는 신경망(이전 시점을 고려) 관련 수식 1. hidden state : $$ a^{} = g_1\left(W_{aa}a ^{t-1} + W_{ax}x^{t}+b_a \right) $$ 2. output state : $$ y^{} = g_{2}\left ( W_{ya}a^{} + b_y \right )$$ RNN의 내부 장점(Advantages) 단점(Cons) 임의의 길이의 입력 처리 가능 입력 크기에 따라 모델 크기가 증가하지 않음 과거 정보를 활용하여 계산 가중치는 시간 축 상에서 공유 계산 속도가 느림 오래 전 정보에 대한 접근이 어려움 현재 상태에 대한 향후 입력을 고려할 수 없음 Loss function ..

그렇다면 이런 이유에는 어떤 것들이 있을까? 1. Data drift - feature drift, population, or covariate shift 데이터가 지속적으로 변경되고, 그에 따라 변수들의 분포가 의미있게 달라지게 된다.(과거 형태의 데이터에는 유효한 모델!) 연구용 ML에서는 같은 데이터(주로 benchmark)를 사용하기 때문에 문제가 되는 부분이 아니지만 프로덕션 ML에서는 중요한 부분이라고 생각된다. 2. Training-serving skew 학습한 데이터가 너무 깔끔해서(artificially constructed or cleaned data) 실제로 모델 사용 과정에서 받는 데이터셋(Production data)과 차이가 발생하는 경우 이럴 경우에는 주로 모델을 실제 데이터를..

모델의 성능이 언제까지나 유효한가? No "Past performance is no guarantee of future results." "No model lives forever, but the speed of decay varies." 실 사용사례에서는 데이터가 계속 달라지기 때문에 모델의 성능이 점점 떨어지는 현상을 발생시킨다. 모델의 quality를 판별하는 데에 사용하는 것은 Accuracy, Mean Error Rate, or some downstream business KPI such as click-through rate (꼭 F1 score 만 사용하는 것은 아님) 다양한 모델의 quality 판별을 통해서 검토를 한 결과 성능이 저하게 된다는 것을 "Model decay" 라고 한다.

Problem Definition -> Data Collection & Analysis -> ML Modeling -> Deployting in Production 좀더 세분화 하면 (https://www.evidentlyai.com/blog/machine-learning-monitoring-what-it-is-and-how-it-differs) 참고 Data Collection & Analysis == Data Preparation -> Feature Engineering Feature Engineering 이란? 머신 러닝 모델이 작동할 수 있도록 하는 Feature들을 만드는 과정으로, 데이터에 대한 도메인 지식을 사용하며 전처리 과정도 이에 포함된다. 대표적인 전처리 과정 1. 데이터 클리닝 & ..

서비스 관점에서의 ML 실제 환경에서 적용되는 머신러닝은 1. 실제 환경에서 요청한 데이터를 활용 2. 학습이 되어있는 모델을 통해 추론(Inference) 3. 추론된 결과를 사용자에게 전달 연구용 ML (내가 기존에 하던 것) 프로덕션용 ML (내가 현재 하고 싶은 것) 새로운 알고리즘 개발 혹은 기존 모델 성능 향상이 목적 명확한 benchmark 데이터셋에 대해 평가 모델을 빨리 학습시키는 것이 중요 학술 논문 이나 보고서로 발표 다양한 요구사항이 존재 : 문제 정의 필요 운영 단계가 존재 데이터 변동성이 큼 신뢰성 / 공정성 / 해석 가능성 Latency (기용성) 개발 / 운영 환경 각각에서 Reproduce 가능해야 함. 관점의 차이가 존재 / 내가 원하는 건 프로덕션용 ML이 맞다.