"backend.ai" 태그로 연결된 37개 게시물개의 게시물이 있습니다.

초거대 AI 모델들이 시장에 홍수처럼 쏟아지면서 모델을 개발하는 것 뿐만 아니라 어떻게 사용자에게 "잘", "효율적으로" 제공할 것이냐에 대한 고민이 늘어가고 있습니다. 거대 언어 모델 (Large Language Model, LLM) 이전의 AI 모델의 컴퓨팅 역량은 추론보다는 학습에 집중되었습니다. 학습이 완료된 모델으로 추론을 시도하기 위한 하드웨어 요구사항이 모델을 학습하는 데에 필요한 컴퓨팅 파워보다 월등히 작았기 때문입니다. 모델의 배포자는 실 사용자의 엔드 디바이스 (가령 스마트폰과 같은) 의 NPU 만으로도 추론을 위한 충분한 성능을 확보할 수 있었습니다. 그러나 LLM이 나타나며 상황이 역전되었습니다.

2023년을 맞이하여 Backend.AI의 첫 major 릴리즈인 23.03.0 버전이 발표되었습니다. 일부 기능은 후속 업데이트로 지속해서 선보일 예정입니다.

특히 이번 업데이트에서는:

• 새로운 연산 세션 유형으로 '추론(inference)' 서비스를 지원합니다.
• 새로운 스토리지 폴더 유형으로 '모델(model)' 관리를 지원합니다.
• 사용자 및 프로젝트 단위의 스토리지 용량 관리를 지원합니다.
• FastTrack의 파이프라인 버전 관리 및 UI가 크게 개선되었습니다.

지난 9월 Backend.AI 22.09 정식 릴리즈 이후 추가적인 기능 개선 및 버그 수정 사항들이 업데이트되었습니다.

특히 이번 업데이트에서는:

• 대규모 언어 모델의 분산처리 과정이 훨씬 간단해졌습니다.
• 스토리지 볼륨 단위로 보다 상세한 폴더 작업 권한을 설정할 수 있게 되었습니다.
• 초고속 GPU-스토리지 입출력 기능인 GPUDirect Storage를 세계 최초로 컨테이너 기반 클러스터 환경에서 지원합니다!