2021 오픈소스 컨트리뷰션 아카데미를 통해 래블업 인턴십에 지원할 수 있는 기회를 얻게 되었다.
Backend.AI 는 규모가 크고 어려워서 두 달이라는 시간이 짧게 느껴졌고 더 알아보고 싶다는 생각이 들었다. 부족한 점이 많아서 "내가 할 수 있는 일이 있을까?"라는 걱정이 들었지만, 실무를 경험해볼 좋은 기회라 생각하여 지원하게 되었다. 프로젝트에 참여하는 동안 멘토님들에게 많이 배웠고, 다 좋은 분들이었기 때문에 같이 일해보고 싶기도 했다.
기계 학습 및 딥 러닝 분야가 IT의 큰 기술 트렌드가 되면서 다양한 연구가 진행되고 확산되고 있습니다. 좋은 연구 성과들이 빛을 내면서 이제는 연구 성과를 사람들의 실생활에 적용하기 위한 많은 노력들이 진행 중입니다. The OverFlow에 따르면 기계 학습 프로젝트 87% 가1, Redapt에 따르면 90%의 기계학습 프로젝트가 최종 서비스까지 완성되지 않는다고 합니다.2 기계학습 개발과 서비스로 이어지는 흐름은 우선 데이터 사이언티스트가 데이터를 분석해서 나온 특징이나 모델의 결과를 서비스 제품에 올려, 온라인 예측이나 배치 예측을 가동하는 식으로 이어집니다. 이를 위해 데이터 분석 외에도 재현성, 출시된 모델 버전 관리, 데이터 버전 관리, 데이터 및 학습/예측 코드 및 모델 버전 구성 관리, 데이터 드리프트 모니터링 등, 모델 성과를 계속해서 고객에게 전달하기 위한 대응이 필요합니다.
MLOps는 Machine Learning Operations의 약자로, 데이터 전처리, 모델 개발, 배포, 운영 등을 포함한 기계 학습의 라이프 사이클을 관리하는 기술 및 도구를 말합니다. 기존 소프트웨어 개발 방법인 “DevOps” 개념에 “데이터”와 “훈련 모델”이 추가되었고, 전체를 아우르는 기계 학습의 라이프 사이클 관리가 더해집니다. MLOps의 기본 도구에는 DevOps의 CI(continuous integration)/CD(continuous delivery)에 CT(Continuous Training)가 추가되었습니다.
Backend.AI에서는 컨테이너를 활용하여 사용자별로 격리된 연산 환경(연산 세션)을 제공하고 있습니다. 일반적으로, 컨테이너의 파일시스템은 읽기만 가능한 계층과 쓰기 가능한 계층(writable container layer)으로 구분되어 있고, 컨테이너 사용자가 생성한 파일은 모두 쓰기 가능한 계층에 저장됩니다. 하지만, 쓰기 가능한 계층에 생성된 파일은 컨테이너가 삭제되면 함께 사라지는 문제가 있습니다. 이 문제는 컨테이너 생성 시 호스트 파일시스템의 특정 디렉터리를 마운트하고, 마운트 된 디렉터리에 데이터를 저장함으로써 해결할 수 있습니다. 외부에서 마운트된 디렉터리는 컨테이너의 수명 주기와 상관없이 독립적으로 존재하기 때문입니다.
Backend.AI 에서도 "스토리지 폴더" 또는 "데이터 폴더"라 불리는 마운트 폴더를 관리할 수 있는 기능을 제공하고 있습니다. 컨테이너 및 Backend.AI에서 외부 마운트 폴더를 관리하는 방식에 관해서는 Backend.AI의 자동마운트 폴더 기능 활용하기에서 보다 자세하게 다룬 바가 있습니다.