MLOps Level 1 : ML pipeline automation

ML Pipeline(Source code) 도입

Source Repository에 있는 모델을 활용하여 배포 과정 시작, 반드시 개발 환경을 포함하여 배포할 것(docker를 활용하는 부분일 것이라고 추측)

 

Automatic pipeline(Production 과정에서)

반응형

기존의 0 단계에서 지적되었던 데이터 관리 문제를 해결하기 위해 Feature store 도입

• Data source와 연동되어 데이터 자동 수집
• 수집된 데이터에 대한 형상관리 기능 추가
• 데이터 변환(엔지니어링 과정에서 처리도 가능) 가능 및 버전관리

ML metadata store : log 담당

• ML Pipeline 실행 기록
• 어떤 데이터를 활용하여 어떤 모델이 만들어져서 model registry에 어떻게 저장되었는 지 에 대한 기록
• etc.

Performance monitoring

• 모델 성능 모니터링
• 데이터 분포 모니터링

trigger : 특정 조건에 의해 파이프라인 재실행

 

<문제점>

다양한 파이프라인 생성에 대해서 고려하고 있지 않음.