기업용 솔루션 공급 및 IT 서비스 컨설팅 전문기업인 펜타시스템은 지난 2월 Weights & Biases(이하 W&B) 파트너십을 체결하고, AI 데이터 분석분야로 빅데이터 사업 영역을 확대한다는 일환으로 대형언어모델(Large Language Model, 이하 LLM) 평가를 위한 백서를 발간된다.

Weights & Biases(이하 W&B) 가 LLM 성능평가 결과의 랭킹을 공개하는 '호랑이(Horangi) 한국어 LLM 리더보드', ‘네즈미(Nejumi) 일본어 리더보드’를 개발 및 운영해 온 경험과 글로벌 LLM 전문 엔지니어의 지식을 바탕으로 작성된 이 백서는 50 페이지 분량으로 LLM 평가의 모범 사례를 제시하고, 더 나은 모델 개발 및 선택을 촉진하여 생성형 AI의 미래 구축을 위한 기반을 마련하는 것을 목표로 한다.

LLM 평가에 대한 전반적인 관점을 제공하고, 현재의 과제를 요약하며, 생성형 AI 평가의 모범 사례와 발전된 평가를 위한 로드맵을 제시한다. 또한, 백서는 다양한 한국어 자연어 처리 태스크를 위한 벤치마크 데이터셋을 소개하고, 이를 활용한 LLM 성능 평가 방안을 상세히 다룬다.

이를 통해 평가 과정의 객관성과 투명성 확보 방안, 그리고 W&B 플랫폼을 통한 LLM 평가 사례를 소개하여 국내 연구자들과 엔지니어들에게 실질적인 도움을 제공할 것으로 기대된다. 백서는 오는  5월 1일부터 3일까지 서울 강남구 삼성동 코엑스에서 단일 인공지능 행사로 아시아 최대 규모로 개최되는 ‘제7회 국제 인공지능 대전(AI EXPO KOREA 2024)’에서 사전 공개될 예정이며, 행사 기간 중 펜타시스템 부스를 방문하면 백서 요약본을 받아볼 수 있다.

펜타시스템과 W&B는 백서 발간을 기념하여 AI Expo 2024 외에도 국내 인공지능 연구자 및 개발자들과의 소통의 장을 마련할 계획이다. 펜타시스템 블루엑스 사업부 조기웅 부사장은 "한국어 LLM이 빠르게 발전하고 있으나, 모델 간 성능 비교를 위한 표준화된 평가 방법이 부족한 실정이다." 라고 밝혔고, W&B APJ 총괄 지사장 아키라 시바타(Akira Shibata)는 "이번 백서를 통해 LLM 평가의 기준을 제시하고, 기업의 LLM 기술 발전에 기여하고자 한다."라고 발간 소감을 밝혔다.

Weights & Biases사는 국내외 1000개 이상의 기업 및 연구기관에서 80만명 이상의 기계학습 개발자에게 신뢰받는 AI 개발의 새로운 베스트 프랙티스로 자리매김하고 있으며, 전 세계적으로 OpenAI, NVIDIA, Stability AI, BMW Group, Toyota, AstraZeneca 등 다양한 산업군에서 활용되고 있다.

출처 : 인공지능신문(https://www.aitimes.kr)