모델 개요

Llama 3.3 70B Instruct는 Meta의 70B 오픈소스 지시 수행 모델입니다. 검증된 아키텍처 기반으로 개선된 지시 수행 능력을 갖추었으며, 4비트 양자화 시 약 40GB VRAM에서 로컬 실행이 가능합니다.

주요 특징

• 강력한 범용성: 코딩, 추론, 창작, 대화 모두 균형 잡힌 성능
• 로컬 실행: 4bit 양자화 시 A100 1장 또는 RTX 3090 2장으로 실행
• 라이선스: 월 활성 사용자 7억 이하 상업적 이용 가능
• 128K 컨텍스트: 긴 문서 및 코드 처리 지원

언제 이 모델을 써야 하나

오픈소스 로컬 배포가 필요하면서 높은 성능을 원할 때 최적입니다. 의료·금융 환경, 인터넷 없는 환경, API 비용 절감이 필요한 고볼륨 서비스에 탁월합니다.

한국어 성능

방대한 다국어 훈련 덕분에 한국어 성능이 양호합니다. 기술 번역, 코드 설명, Q&A에서 충분한 품질을 보입니다.

장단점

장점: 강력한 오픈소스, 로컬 실행, 상업적 이용, 균형 잡힌 성능
단점: 최신 MoE 대비 비용 비효율, 멀티모달 미지원, 한국어 창작 약함