"분명히 합시다. 여러분은 Borg 태스크 스케줄러를 사외 버전으로 만들고 싶다고 말하는 것이죠? Borg는 우리 회사는 경쟁력 우위를 위해서 무엇보다도 중요한 것 중 하나로 회사밖에서는 그 존재조차 알려지지 않은 것인데, 그것을 공개, 아니 그것도 오픈 소스로 하겠다는 것인가요?" Kubernetes는 2013년 여름 Urs Holzel의 방에서 이런 이야기 속에서 세상에 나오게 되었습니다. Urs는 기술 책임자이며 Google에서 가장 중요한 네트워크 혁신을 해낸 수석 아키텍트입니다. Craig McLuckie는 Urs에게 오픈 소스 컨테이너 관리 시스템 구축 아이디어를 설명했지만 쉽게 동의를 얻지 못했다고 생각했습니다. 왜 그렇게 생각했는지는 구글의 역사를 조금 거슬러 올라가야만 합니다.
기계 학습 및 딥 러닝 분야가 IT의 큰 기술 트렌드가 되면서 다양한 연구가 진행되고 확산되고 있습니다. 좋은 연구 성과들이 빛을 내면서 이제는 연구 성과를 사람들의 실생활에 적용하기 위한 많은 노력들이 진행 중입니다. The OverFlow에 따르면 기계 학습 프로젝트 87% 가1, Redapt에 따르면 90%의 기계학습 프로젝트가 최종 서비스까지 완성되지 않는다고 합니다.2 기계학습 개발과 서비스로 이어지는 흐름은 우선 데이터 사이언티스트가 데이터를 분석해서 나온 특징이나 모델의 결과를 서비스 제품에 올려, 온라인 예측이나 배치 예측을 가동하는 식으로 이어집니다. 이를 위해 데이터 분석 외에도 재현성, 출시된 모델 버전 관리, 데이터 버전 관리, 데이터 및 학습/예측 코드 및 모델 버전 구성 관리, 데이터 드리프트 모니터링 등, 모델 성과를 계속해서 고객에게 전달하기 위한 대응이 필요합니다.
MLOps는 Machine Learning Operations의 약자로, 데이터 전처리, 모델 개발, 배포, 운영 등을 포함한 기계 학습의 라이프 사이클을 관리하는 기술 및 도구를 말합니다. 기존 소프트웨어 개발 방법인 “DevOps” 개념에 “데이터”와 “훈련 모델”이 추가되었고, 전체를 아우르는 기계 학습의 라이프 사이클 관리가 더해집니다. MLOps의 기본 도구에는 DevOps의 CI(continuous integration)/CD(continuous delivery)에 CT(Continuous Training)가 추가되었습니다.