알리바바그룹의 디지털 기술 및 인텔리전스의 중추 알리바바 클라우드가 오늘 70억 개의 파라미터를 갖춘 대규모 언어 모델(LLM) Qwen-7B와 Qwen-7B-Chat을 오픈소스로 공개했다. 본 LLM은 인공지능(AI) 모델 커뮤니티 모델스코프(ModelScope)와 협력 AI 플랫폼 허깅페이스(HuggingFace)를 통해 첫선을 보였다.
지난 4월 초, 알리바바 클라우드는 70억 개 이상의 파라미터를 포함한 다양한 모델 사이즈를 제공하며 중국어와 영어 모두 인간이 생산하는 것에 준하는 높은 수준의 콘텐츠를 생성할 수 있는 독자적인 첨단 LLM 통이치엔원(Tongyi Qianwen)을 공개한 바 있다. 이번에 공개된 오픈소스는 사전 학습된 70억 개의 파라미터 모델인 Qwen-7B와 회화적으로 세밀하게 조정된 버전인 Qwen-7B-Chat을 포함하고 있다.
AI 기술의 민주화를 위한 노력의 일환으로, 알리바바 클라우드는 전 세계 학계와 연구기관, 영리단체들이 모델의 코드와 가중치, 문서에 무료로 접근할 수 있도록 개방할 예정이다. 월간 활성 이용자(MAU) 수가 1억 명 이하인 기업들은 이 모델을 상업적 용도로 무상 사용할 수 있으며, 1억 명 이상의 사용자를 보유한 프로그램들의 경우 알리바바 클라우드에 라이선스를 요청할 수 있다.
Qwen-7B는 2조 개 이상의 토큰에 대해 사전 학습되었으며, 이는 중국어, 영어, 기타 다국어 자료, 코드, 수학 등 일반 및 전문 분야를 포괄한다. 또한 8K에 달하는 컨텍스트 길이를 갖추고 있다. 또한 Qwen-7B-챗 모델은 학습 과정에서 인간의 지시사항에 맞추어 조정되었다. Qwen-7B와 Qwen-7B-챗 모델은 클라우드와 온프레미스 인프라 모두에서 배포될 수 있으며, 이를 통해 사용자들은 모델을 세밀하게 조정할 수 있고 효과적·경제적으로 자체적인 고품질 생성형 모델을 구축할 수 있다.
사전 학습된 Qwen-7B 모델은 MMLU(Massive Multi-task Language Understanding, 대규모 다중작업 언어 이해) 벤치마크에서 56.7점의 괄목할 만한 성과를 거두며 유사하거나 일부 더 큰 규모의 여타 주요 사전학습 오픈소스 모델들의 성능을 능가하였다. 이 벤치마크는 초등 수학, 컴퓨터 과학, 법률 등을 포함한 57가지의 다양한 과업을 수행하는 텍스트 모델의 다중 작업 정확도를 평가한다. 또한, Qwen-7B는 기초 모델을 위한 종합적인 중국어 평가 테스트인 C-이벌(C-Eval)에서 동등한 파라미터를 가진 모델 중 가장 높은 점수를 기록하기도 했다. 이 모델은 인문학, 사회과학, STEM(과학, 기술, 공학, 수학), 기타 분야를 포함한 총 52개 주제를 다루고 있으며, Qwen-7B는 GSM8K와 휴먼이벌(HumanEval)과 같은 수학 및 코드 생성의 벤치마크에서도 우수한 성능을 보여주었다.
알리바바 클라우드는 지난 7월 개발자와 중소기업의 창의적 이미지 표현을 지원하는 AI 이미지 생성기 통이 완샹(Tongyi Wanxiang)을 공개했다. 또한 모델스코프의 다양한 AI 모델을 활용해 언어, 시각, 음성 영역에서 복잡하고 전문화된 AI 작업을 수행하는 데 활용할 수 있는 다용도 프레임워크 모델스코프GPT(ModelScopeGPT)를 선뵈기도 했다. 알리바바 클라우드가 지난해 출시한 모델스코프는 20개의 선도적 AI 연구기관들이 제공한 1,000개 이상의 AI 모델을 보유한 오픈소스 AI 모델 커뮤니티다.
Qwen-7B와 Qwen-7B-챗에 대한 보다 구체적인 정보는 모델스코프, 허깅페이스, 깃허브(GitHub) 공식 홈페이지에서 확인할 수 있다.
|
