AI 인프라와 클라우드, 산업별 솔루션을 제공하는 AI 풀스택 기업 ㈜엘리스그룹(대표 김재원)이 한국어 교육용 데이터셋 2종을 글로벌 오픈소스 플랫폼 ‘허깅페이스(Hugging Face)’에 공개했다. 엘리스그룹은 한국어 AI 모델 학습에 적합한 고품질 데이터를 연구자, 개발자, 기업이 폭넓게 활용할 수 있도록 제공해 국내외 AI 연구·개발 활성화를 지원할 계획이다.
이번에 공개된 데이터셋은 거대 언어 모델(LLM)의 한국어 성능을 학술∙교육 도메인에서 강화하기 위해 설계된 ‘한국어 파인웹 교육 데이터셋 데모(Korean FineWeb-Edu Demo)’와 ‘한국어 웹 텍스트 교육 데이터셋(Korean-webtext-edu)’ 2종으로 구성됐다.
‘한국어 파인웹 교육 데이터셋 데모’는 영문 교육용 웹 텍스트 코퍼스(Corpus, 말뭉치)인 FineWeb-Edu를 한국어로 번역한 데이터셋 ‘korean-translated-fineweb-edu-dedup’의 5%를 샘플 형태로 구성한 데모다. 학술·교육 도메인의 한국어 LLM 학습에 활용할 수 있도록 설계했으며, 대규모 학습에 앞서 데이터 특성과 활용 가능성을 검증하는 용도로 제공된다.
데모의 원본인 ‘korean-translated-fineweb-edu-dedup’은 약 1,900억(190B) 토큰 규모의 대형 텍스트 데이터셋으로 수천만 페이지 분량에 해당한다. 다국어 데이터를 함께 활용할 경우 파운데이션 모델 학습에 활용 가능한 수준의 규모다. 이번에 공개한 ‘한국어 파인웹 교육 데이터셋 데모’는 이 중 5% 분량의 샘플이지만 오픈소스로 공개된 한국어 고품질 데이터셋 중에서는 대규모 수준에 해당한다.
함께 공개된 ‘한국어 웹 텍스트 교육 데이터셋’은 대규모 한국어 웹 텍스트에서 교육적 가치 점수를 통과한 콘텐츠만 선별해 구축한 것으로, 사실성·문맥 일관성·교육 적합성을 평가해 한국어 AI 모델 학습에 활용할 수 있도록 구성했다.
이번 데이터셋 공개는 엘리스그룹이 AI 인프라, 모델 학습, 교육·산업 현장 적용까지 축적해 온 경험을 바탕으로 이뤄졌다. 엘리스그룹은 이번 데이터셋 공개를 통해 한국어 AI 연구 환경의 진입 장벽을 낮추는 한편, 교육·연구·공공 영역에서 한국어 AI 모델 활용을 지원할 계획이다. 또한, AI 인프라·클라우드·데이터 엔지니어링 역량과 연계해 한국어 특화 AI 서비스와 솔루션 개발을 가속화한다는 전략이다.
|
