튜닙 참고

• 카카오의 AI 전문 자회사 카카오브레인 출신의 NLP 엔지니어들이 설립한 회사이고, GPT-3를 이용해서 자연어처리(NLP) 산업에서 주목받고 있는 기업입니다.
• 자연어처리 기술 기업으로 네이버 D2SF등으로부터 초기 투자를 받았고, 현재 카카오톡 채널에서 ‘DearMate 코코’, ‘DearMate 마스’로 친구추가하면 누구든 이용할 수 있는 챗봇이 있습니다.
• 개인적으로 관심이 있어서 현재 2번째 베타테스트를 하고 있는데, 가끔 원하는 답을 얘기해주지 못할 때도 있지만 전체적으로 상당히 대화가 괜찮은 것 같습니다.
• 영어의 자연어처리는 매우 놀라울 정도로 대화가 자연스러운 반면 한국어는 아직 데이터를 쌓아나가고 있는 단계이지만 데이터가 쌓이는 만큼 개선되는 속도가 빠른 것 같습니다.

하이퍼클로바를 활용한 AI개발 검토

NAVER CLOUD PLATFORM

• 네이버의 초대규모 AI로 코드없이 AI를 개발할 수 있는 도구로 하이퍼클로바는 GPT-3보다 한국어 데이터를 6500배 이상 학습했다고 합니다.

  • 이를 위해 네이버는 560B 토큰(token·말뭉치)의 한국어 대용량 데이터를 구축했다. 한국어 위키피디아의 2900배, 뉴스 50년치, 블로그 9년치에 달하는 규모다. 학습에는 300B 토큰을 사용했다. 이 같은 초거대 AI를 개발하기 위해 네이버는 지난해 10월 700페타플롭(PF) 성능 슈퍼컴퓨터를 도입한 바 있다.
  • 하이퍼클로바는 네이버가 가진 ‘자료’에 뿌리를 두고 있다. 뉴스부터 블로그·지식인·카페·웹문서가 대상이었다.
  • 국립국어원의 ‘모두의 말뭉치’처럼 신뢰할 수 있는 출처에서 공유하는 자료들은 고품질로 분류해 데이터에 추가했다.
  • 또, 전문지식을 더해 정보 다양성을 확보했고 문서 내용이 유사하면 중복 제거를 진행했다. 문서 내용·구조를 하나의 문서로 재구조화해 유의미한 흐름으로 구성되도록 손봤다.
  • 문서 내용에 더해 메타정보도 추가했다. 정보성·신뢰성 있고 이용자들이 즐겨 찾는 공식사이트·출처 등은 상위 품질에 포함되도록 설계했다.
  • 이 가운데서도 정보가치와 유용성에 따라 데이터를 선별하는 작업 등을 진행했다. 이 같은 ‘골라내기’ 작업으로 최종적으로는 1.96테라바이트(TB)의 데이터셋을 구축했다.

  네이버 초거대 AI '하이퍼클로바', 뭐가 다를까

• 이용 안내

  • CLOVA Studio 이용 요금은 이용 엔진, 용도에 따라 상이하며, 이용 토큰수에 따라 과금됩니다.

  • 플레이그라운드(프롬프트, 테스트앱, 서비스앱), 익스플로러(도구)

    엔진	기준	요금
    LK-B	토큰	0.0025원
    LE-C	토큰	0.015원
    LK-C	토큰	0.015원
    LK-D	토큰	0.040원

  • 튜닝(학습)

    엔진	기준	요금
    LK-B	토큰	0.02원
    LK-C	토큰	0.03원
    LK-D	토큰	0.04원

  • 튜닝(테스트앱, 서비스앱)

    엔진	기준	요금
    LK-B	토큰	0.0075원
    LK-C	토큰	0.045원
    LK-D	토큰	0.12원

직접 개발

• 직접 개발한다면 AI 연구단체 오픈AI의 언어모델인 GPT-3에 기반으로 개발을 해야하고 데이터를 계속 수집하고 넣어줘야 하는 장기적인 플랜이 필요할 것 같습니다.

  OpenAI API

• 2021년 5월 17일 소개된 NVIDIA의 자연어처리 모델훈련을 위한 프레임워크 Megatron

  https://blogs.nvidia.co.kr/2021/05/17/scaling-language-model-training-to-a-trillion-parameters-using-megatron/

• 2022년 10월 12일 소개된 NVIDIA Triton

  • 한가지 예로 어느 소규모 의료 업체에서는 이를 이용해 약처방을 다시 제공받고 싶어하는 환자들의 요청을 분석

  'AI 에스페란토' 대규모 언어 모델의 지평을 넓히는 NVIDIA Triton | NVIDIA Blog

• 자연어처리 모델 학습을 위한 하드웨어 구성 참고