2023년을 맞이하여 Backend.AI의 첫 major 릴리즈인 23.03.0 버전이 발표되었습니다. 일부 기능은 후속 업데이트로 지속해서 선보일 예정입니다.
특히 이번 업데이트에서는:
- 새로운 연산 세션 유형으로 '추론(inference)' 서비스를 지원합니다.
- 새로운 스토리지 폴더 유형으로 '모델(model)' 관리를 지원합니다.
- 사용자 및 프로젝트 단위의 스토리지 용량 관리를 지원합니다.
- FastTrack의 파이프라인 버전 관리 및 UI가 크게 개선되었습니다.
Backend.AI Core & UI (23.03)
- 모델 관리 및 추론 세션 관리 기능을 추가하였습니다.
- 보다 고도화된 추론 엔드포인트 관리 및 네트워크 라우팅 계층은 후속 업데이트로 추가될 예정입니다.
- 코드베이스가 Python 3.11 기반으로 업데이트되었습니다.
- 프론트엔드에 React 구성요소들을 도입하고 Relay를 활용하여 보다 빠르고 반응성 높은 UI를 소개할 수 있는 기반을 준비하였습니다.
- 설치 환경으로 Ubuntu 22.04부터 기본으로 사용하는 cgroup v2를 정식 지원합니다.
- 사용자 및 프로젝트 단위의 스토리지 용량 관리를 위해 vfolder 구조를 v3로 업데이트하였습니다.
- 커널과 세션을 이제 별도의 데이터베이스 테이블로 다루고, 상태 전이 추적 과정이 전반적으로 더 적은 데이터베이스 부하로 작동하도록 개선하였습니다.
- 세션 실행 시 에이전트가 이미지 다운로드하는 과정의 진행상황을 표시하도록 개선하였습니다.
- CUDA 11.7 이상 환경에서 컨테이너별 GPU 사용량 표시를 개선하였습니다.
- 각 리소스그룹 내에서 사용자 및 프로젝트별로 스케줄링 우선순위(priority)를 지정할 수 있습니다.
- 사용자 계정 보호를 위해 일회용 비밀번호(TOTP) 기반 2FA (이중인증, two-factor authentication) 로그인을 지원합니다.
- 사용자가 직접 SSH keypair를 등록해 세션 접속이 가능하도록 지원합니다.
- Graphcore IPU 와 Rebellions ATOM 장치에 대응하는 사용자 인터페이스를 지원합니다.
Backend.AI Forklift (23.03)
- Dockerfile 템플릿 및 고급 편집 기능을 추가하였습니다.
- 추론용 컨테이너 이미지 작성을 지원합니다.
- Harbor 레지스트리와 연동할 수 있도록 이미지 관리 기능을 확장하였습니다.
Backend.AI FastTrack (23.03)
- FastTrack UI 상에서 스토리지 폴더 내용을 바로 확인할 수 있습니다.
- Core와의 세션 상태 동기화 방식을 이벤트 기반으로 개선하였습니다.
- 파이프라인 스케줄의 최대 반복 횟수를 설정할 수 있습니다.
- Task 실행에 실패할 경우 파이프라인 job이 대기하지 않고 자동으로 취소됩니다.
- 파이프라인 버전 관리가 추가되었습니다. 파이프라인의 형상 이력을 추적할 수 있으며, 특정 시점의 내용을 불러와 이어서 작업을 진행할 수 있습니다.
- 코드 에디터를 통해 YAML 형태의 파이프라인을 직접 수정할 수 있습니다.
개발 및 연구 프레임워크 지원
- TensorFlow 2.12, PyTorch 1.13 지원
- NGC (NVIDIA GPU Cloud) TensorFlow 22.12 (tf2), NGC PyTorch 22.12, NGC Triton 22.08 지원
- Google Colab과 동일한 라이브러리 및 패키지들을 제공하는 python-ff:23.01 이미지 추가
위에 나열한 것 외에도 많은 버그 수정과 내부적인 개선 사항들이 포함되어 있습니다.
앞으로도 더 많은 기능이 찾아올 예정입니다!