sLLM 기반의 인공지능

sLLM 기반의 인공지능

 

챗GPT와 비교하여 매게변수가 훨씬 작은 sLLM 기반의 인공지능에 대하여 적어보도록 하겠습니다. 챗GPT와 같은 LLM모델의 인공지능은 적게는 수백만달러에서 많게는 수천억달러에 달하는 비용이 발생합니다. 많은 공간과 대규모의 컴퓨팅 비용이 필요하고, 연구인력도 대단히 많이 필요하기 때문입니다. 또한, 인공지능 학습에 필요한 시간도 많이 걸립니다. 이에 반하여, 적은 비용과 시간을 들이고도 효율적으로 활용할 수 있는 소규모 대형언어모델인 sLLM 기반 인공지능이 속속 발표되고 있습니다.

 

1. sLLM

sLLM은 머신러닝 매개변수(parameter)를 줄여 비용을 아끼고 미세조정(fine-tuning)을 통해 정확도를 높이는 '맞춤형 LLM'이라는 의미를 가지고 있습니다. 가장 큰 장점은 결국 작은 용량에 따른 머신러닝 소요 시간과 비용 절감입니다. '챗GPT'가 전 세계적인 관심사로 떠오르면서 인공지능(AI)을 도입하려는 기업들 사이에서 대세로 자리를 잡을 것으로 보입니다. 매개변수의 경우 오픈AI의 'GPT-3.0'와 'GPT-3.5(챗GPT)'는 1,750억개, 구글의 'PaLM'은 5,400억개에 달하지만, sLLM은 60억~70억개에 불과합니다. 때문에 슈퍼컴퓨터를 사용하지 않아도 머신러닝이 가능해지며 비용과 시간이 대폭 줄일 수 있습니다.

 

2. 데이터브릭스의 '돌리'

데이터브릭스의 '돌리'는 서버1대로 학습에 3시간이 들었으며, 비용은 고작 100달러 미만에 불과했습니다. 특정 분야에서는 미세조정과 고품질의 데이터학습을 통해 기존 LLM과 맞먹는 성능을 보여주는 것도 장점입니다. 데이터브릭스 CEO인 알렉 고드시에 의하면 챗GPT는 세상 모든 정보로 훈련하지만, 모든 회사가 세상의 모든 정보를 필요로 하지는 않으며, 챗GPT는 회사의 비공개 정보로 데이터를 학습한 적이 없어서 sLLM은 상대적으로 특정 분야에 한정하지만 깊이 있는 데이터를 학습할 수 있다는 점을 강조했습니다.

 

3. 메타의 '라마'

sLLM의 등장은 메타가 2023년 3월 24일 내놓은 LLM '라마'로부터 촉발되었습니다. 기본형인 66B(매개변수 650억개)를 비롯해 다양한 크기의 버전을 내놓았습니다. 메타는 라틴어와 키릴 문자 기반 언어에 초점을 맞춰 화자가 많은 20개 언어를 택해 '라마'를 학습시켰습니다. '라마'는 파라미터 사이즈에 따라 70억개, 130억개, 330억개, 650억개의 네 가지 모델로 제공됩니다. 파라미터 70억개와 130억개 모델은 토큰 1조개, 330억개와 650억개 모델은 토큰 1조4,000억개가 훈련에 사용됐습니다. 이중 가장 작은 모델인 7B 버전은 매개변수가 70억개(7B 버전)에 불과하며 sLLM 모델에 적합니다.

메타는 매개변수를 키우기보다 LLM 훈련에 사용하는 토큰(텍스트 데이터 단위)의 양을 늘려, 품질을 높였다고 설명했습니다. 이후 일부 개발자들이 노트북이나 심지어 휴대폰에서도 작동되는 라마 응용 버전을 내놓기도 했습니다. 스탠포드대학교 연구진도 라마 7B를 기반으로 한 sLLM '알파카'를 공개했습니다. 비용은 600달러에 불과하다고 밝혔습니다. AI 칩 기업 세레브라스는 다양한 패키지의 sLLM 모델을 선보였습니다.

 

4. 갓잇AI의 '엘마'

2023년 3월 30일(현지시간) 갓잇AI는 sLLM 모델인 '엘마'를 출시했습니다.

이 모델은 클라우드 방식이 아니라 온프레미스(사내구축형) 형태로 구축되며, 머신러닝 괴정에서 기업 데이터가 외부에 공개되는 것을 꺼리는 기업에 최적화된 것으로 발표하였습니다.

'엘마' 벤치마크 테스트 결과. 모델명과 매개변수의 추정치, 환각률, 미세 조정 후 환각률 순 (사진=갓잇 AI)

글쓰기 전문 생성 AI 기업인 라이터는 "각 회사에 맞는 형식과 작업 방식에 맞춰 LLM을 맞춤화하는 것에 집중하고 있다"며 "오픈소스 또는 기존 LLM과 같은 것을 바탕으로 회사 데이터를 미세조정, LLM의 다양성보다 더 안전한 환경에 집중하겠다"고 하였습니다. 결국, sLLM은 '기업 전용 LLM'로 변할 것이라고 생각합니다. 시스코 수석부사장(지투 파텔)은 "모든 회사는 다른 기업에서 복제할 수 없는 '사용자 지정 데이터셋'을 가지게 될 것이고, 이를 기반으로 특정한 AI 모델을 가지게 될 것"이라고 설명하고 있습니다. 기업 내부정보의 보안과 성과향상을 위한 인공지능을 도입하고자 하는 기업은 결국 sLLM으로 귀결될 것이라 생각합니다.