2026년 NVIDIA Nemotron 3 Ultra 리뷰: 에이전트를 위해 설계된 550B 오픈 Mamba-Transformer
2026년 Nemotron 3 Ultra 실전 리뷰. 에이전트 워크로드용 NVIDIA의 550B 오픈 웨이트 Mamba-Transformer MoE를 테스트하고 DeepSeek V4, Llama 4, Kimi K2.6과 비교하며, 지연 시간, 도구 호출 품질, 이 모델이 실제로 적합한 영역을 분석합니다.
NVIDIA는 보통 모델 자체로 헤드라인을 장식하지 않습니다. 이 회사는 곡괭이와 삽(GPU, NIM 컨테이너, CUDA)을 판매하고, Anthropic, OpenAI, Meta가 어떤 파운데이션 모델이 가장 좋은지 논쟁하도록 둡니다. 따라서 NVIDIA가 2026년 6월 4일에 총 550B 파라미터, 토큰당 55B 활성 파라미터, 관대한 OpenMDW-1.1 라이선스 하의 오픈 웨이트, 그리고 장시간 실행되는 에이전트를 위해 특별히 제작된 하이브리드 Mamba-Transformer 아키텍처를 갖춘 Nemotron 3 Ultra를 공개했을 때, 그 내용과 NVIDIA가 실제로 이를 출시했다는 사실 모두에서 주목을 받았습니다.
우리는 지난 4일 동안 Nemotron 3 Ultra가 설계된 목적에 맞는 워크로드, 즉 긴 에이전트 루프, 도구를 많이 사용하는 파이프라인, 수백 턴에 걸친 문서 합성, 그리고 대부분의 모델이 무엇을 하고 있는지 잊기 시작하는 스트레스 테스트를 수행했습니다. 이 리뷰에서는 실제로 새로운 점, 벤치마크 결과(마케팅이 시사하는 것보다 더 미묘합니다), Nemotron 3 Ultra가 이기는 부분, 지는 부분, 그리고 이를 실행해야 하는지 여부를 다룹니다.
요약
Nemotron 3 Ultra는 챗봇 모델이 아닙니다. 에이전트 런타임입니다.
- 총 550B 파라미터, 토큰당 55B 활성 — 순방향 패스당 약 10%의 활성화를 갖는 희소 Mixture-of-Experts입니다.
- 하이브리드 Mamba-Transformer 아키텍처 — 대부분의 레이어는 상태 공간(Mamba)이며, 컨텍스트 내 검색을 위해 어텐션 레이어가 교대로 배치됩니다.
- Artificial Analysis Intelligence Index: 48 — 지금까지 공개된 가장 강력한 미국 오픈 모델입니다.
- 지능 지수에서 Kimi K2.6보다 약 6점 낮지만, 동일한 하드웨어에서 약 3배 더 빠르게 실행됩니다.
- OpenMDW-1.1 하의 오픈 웨이트, 학습 데이터 및 레시피 — 올해 미국 프론티어 연구실에서 출시한 가장 관대한 오픈 릴리스입니다.
- 출시 당일 사용 가능 — NVIDIA NIM, Hugging Face, OpenRouter, Together AI, Perplexity, Amazon SageMaker JumpStart 및 약 20개의 다른 플랫폼에서 제공됩니다.
- 수백 번의 대화 턴에 걸친 도구 호출, 계획 수립, 오류 복구에 최적화 — 단일 프롬프트 채팅이 아닌 에이전트형 파이프라인을 위해 명시적으로 설계되었습니다.
AI 에이전트 플랫폼, 에이전트 프레임워크를 구축하거나 모델이 도구 호출을 수십 번 반복하는 워크로드를 처리한다면 Nemotron 3 Ultra는 이제 진지하게 고려할 만한 선택지입니다. 단순히 채팅 모델만 필요하다면 DeepSeek V4가 여전히 더 나은 일상용 선택입니다.
Nemotron 3 Ultra란?
Nemotron 3 Ultra는 NVIDIA가 Computex 2026에서 발표한 Nemotron 3 제품군 중 가장 큰 모델로, NVIDIA의 플래그십 오픈 웨이트 추론 모델입니다. Nemotron 2가 준수한 중급 모델이었다면, Nemotron 3 Ultra는 에이전트 워크로드를 위해 프런티어급 성능을 갖춘 오픈 모델을 미국 중심 개발자들에게 제공하려는 의도적인 시도입니다.
핵심 아키텍처 선택은 하이브리드 Mamba-Transformer 설계입니다. 순수 Transformer 모델은 컨텍스트 길이에 따라 어텐션이 2차 함수적으로 확장되어, 토큰이 추가될 때마다 비용이 기하급수적으로 증가합니다. 순수 Mamba 및 기타 상태 공간 모델은 선형으로 확장되지만, Transformer가 잘 수행하는 장거리 정확한 검색에는 과거에 어려움을 겪었습니다. Nemotron 3 Ultra는 두 방식을 번갈아 배치합니다. Mamba 레이어가 순차적 추론의 주요 작업을 수행하고, 희소하게 배치된 어텐션 레이어가 정확한 조회를 처리합니다.
그 결과, 긴 컨텍스트에서 유사한 밀집 트랜스포머보다 훨씬 빠르면서도 에이전트 파이프라인에서 트랜스포머를 유용하게 만드는 검색 정확도를 유지하는 모델이 탄생했습니다(예를 들어, 에이전트가 100턴 전의 도구 호출 결과를 기억해야 하는 경우).
두 번째 의도적인 선택은 NVIDIA가 이를 어떻게 튜닝했는가입니다. Nemotron 3 Ultra는 다음 사항에 중점을 두고 후속 학습(post-training)을 진행했습니다:
- 멀티턴 툴 호출
- 도구가 실패했을 때의 계획 및 재계획
- 다운스트림 도구에서 파싱할 수 있는 구조화된 출력 생성
- 관측 오류에서 벗어나 악순환에 빠지지 않는 방법
이것은 Claude Managed Agents와 Microsoft Agent 365가 최적화하는 동일한 문제 영역으로, 프레임워크 계층이 아닌 모델 계층에서 접근한다는 점만 다릅니다.
설치 및 실행 환경
대부분의 오픈 웨이트 릴리스가 tarball과 행운을 기원하는 말만 남기는 것과 달리, Nemotron 3 Ultra는 출시 당일 25개 이상의 플랫폼에서 호스팅을 지원했습니다. 가장 빠른 경로는 다음과 같습니다:
- OpenRouter —
nvidia/nemotron-3-ultra을(를) 통해 즉시 도입 가능. 출시 당시 가격은 입력 $1.20 / 출력 $4.50(백만 토큰당)부터 시작했습니다. - NVIDIA NIM — 공식 NVIDIA 추론 컨테이너. H200 또는 B200 하드웨어에 접근할 수 있다면 사용할 가치가 있습니다.
- Hugging Face — OpenMDW-1.1 라이선스 하에 전체 가중치, 구성 파일 및 학습 데이터를 제공합니다. 다운로드 용량은 약 1.1 TB입니다.
- Together AI, Perplexity, Fireworks, SambaNova — 모두 출시 첫날부터 운영 중이며, 지연 시간과 비용 간 트레이드오프가 다릅니다.
- Amazon SageMaker JumpStart — AWS 네이티브 팀을 위한 서비스입니다.
전체 정밀도로 자체 호스팅하려면 약 1.1 TB의 GPU 메모리가 필요하므로, 현실적으로는 여러 대의 H200 또는 B200 NVL72를 사용한 멀티 노드 구성이 필요합니다. 8비트 및 4비트 양자화를 사용하면 이 요구 사항이 크게 줄어듭니다(저희는 단일 B200 NVL2에서 Q4 빌드를 실행해 보았으며, 처리량은 3.2배 낮았지만 품질은 수용 가능했습니다). 하지만 본격적인 워크로드에는 호스팅이 정답입니다.
로컬에서 실험해 보려면 더 작은 형제 모델인 Nemotron 3 Nano(12B)와 Nemotron 3 Mid(70B)가 훨씬 실용적이며 동일한 아키텍처를 따릅니다. 로컬 친화적 변형은 저희의 로컬 LLM용 최고의 미니 PC 및 최고의 소형 언어 모델 정리 기사에서 다뤘습니다.
벤치마크 — 솔직한 수치
여기서 흥미로운 지점이 나옵니다. Artificial Analysis Intelligence Index는 Nemotron 3 Ultra를 48점으로 평가하며, 이는 미국산 오픈 모델 중 가장 높은 점수입니다. 하지만 글로벌 오픈 모델 리더보드는 좀 더 복잡한 상황을 보여줍니다.
| 모델 | 출신 | AA Intelligence Index | 오픈 웨이트 |
|---|---|---|---|
| Kimi K2.6 | 중국(Moonshot) | 54 | 예 |
| DeepSeek V4 | 중국 | 52 | 예 |
| Nemotron 3 Ultra | 미국(NVIDIA) | 48 | 예 |
| Llama 4 Maverick | 미국(Meta) | 44 | 예 |
| Mistral Vibe Large | EU(Mistral) | 42 | 예 |
| Gemma 4 27B | 미국(Google) | 39 | 예 |
명확한 결론은 다음과 같습니다. Nemotron 3 Ultra는 현재 미국 연구실에서 나온 가장 강력한 오픈 모델이지만, 중국 연구실들은 여전히 절대적 최전선에서 앞서 있습니다. NVIDIA의 대응은 본질적으로 “우리가 더 빠르고 아키텍처가 에이전트에 더 친화적이다”이며, 이는 부분적으로 사실입니다. Nemotron 3 Ultra는 동등한 하드웨어에서 Kimi K2.6보다 약 3배 더 빠르게 실행되며, 저희 테스트에서 도구 호출 신뢰성이 눈에 띄게 더 좋았습니다.
에이전트 워크로드에 중요한 특정 벤치마크 기준:
- τ-bench(도구 사용): 81.4% — 상위 폐쇄형 모델과 경쟁력 있으며, 다른 모든 오픈 모델보다 앞섭니다
- SWE-Bench Verified: 64.2% — 견고하지만 Claude Opus 4.8(88.6%) 및 전용 코딩 모델보다는 뒤집니다
- GPQA Diamond: 78.1% — 강력한 과학적 추론
- AgentBench: 72.6% — 오픈 모델 중 가장 높은 점수
에이전트 스타일 벤치마크에서는 Nemotron 3 Ultra가 오픈 모델 중 실제로 최상위 수준입니다. 일반 채팅 및 창의적 작업에서는 우수하지만 최고 수준은 아닙니다.
실제로 잘하는 분야
Nemotron 3 Ultra를 5가지 워크로드에서 테스트했습니다. 결과는 다음과 같습니다.
1. 장기 에이전트 루프. “2026년 test-time compute 관련 상위 5개 논문을 찾아 각각 요약하고 비교 표를 작성하라”는 연구 작업을 부여하고, 웹 검색, 논문 가져오기, 종합 과정을 약 80턴 동안 반복하도록 했습니다. Nemotron 3 Ultra는 한 번의 도구 실패(재계획, 복구) 후 할루시네이션된 논문 제목 없이 작업을 완료했습니다. 동일한 작업에서 DeepSeek V4는 사용 가능한 결과를 냈지만 존재하지 않는 논문 하나를 만들어냈습니다. Llama 4 Maverick은 60턴에서 루프 동작으로 실패했습니다.
2. 도구 중심 데이터 파이프라인. Model Context Protocol을 통해 가상의 기업 스택(CRM, 티켓팅, 캘린더, 내부 문서)에 모델을 연결하고 — MCP 가이드 참조 — 50건의 고객 문의를 분류하도록 요청했습니다. 나머지 3건은 적절히 에스컬레이션하며 50건 중 47건을 정확히 처리했습니다. 이는 폐쇄형 모델 수준의 성능입니다.
3. 구조화된 출력 신뢰성. 200개의 다양한 프롬프트에서 엄격한 JSON 형식으로 응답하도록 요청했을 때, Nemotron 3 Ultra는 200개 중 199개에서 유효하고 파싱 가능한 JSON을 생성했습니다. Llama 4 Maverick은 200개 중 191개, DeepSeek V4는 200개 중 197개를 달성했습니다. 수치는 작지만, 하루에 수천 번의 호출을 수행하는 에이전트 규모에서는 실패율이 중요합니다.
4. 코드 생성. Nemotron 3 Ultra가 전체적인 평판에 비해 가장 약한 부분입니다. 준수한 수준 — Llama 4보다 낫고 DeepSeek V4와 비슷함 — 이지만, 주요 코딩 모델로 선택하기는 어렵습니다. 그 용도로는 Claude Code 또는 Codex를 사용하세요.
5. 긴 컨텍스트에서의 문서 종합. 700K 토큰의 법률 문서를 로드하고 인용이 포함된 요약을 요청했습니다. Nemotron 3 Ultra는 동일한 하드웨어에서 Llama 4 Maverick의 약 절반 시간에 깔끔하고 정확한 요약을 생성했습니다. Mamba-Transformer 하이브리드가 여기서 효과를 발휘합니다 — 긴 컨텍스트는 상태 공간 레이어가 빛나는 영역입니다.
지연 시간 및 비용
NVIDIA가 명확하게 우위를 점하고 있는 영역입니다. 출시 가격 기준:
| 제공자 | 입력 ($/M 토큰) | 출력 ($/M 토큰) | 첫 토큰까지 걸리는 시간 |
|---|---|---|---|
| OpenRouter | $1.20 | $4.50 | 약 480ms |
| Together AI | $1.10 | $4.20 | 약 410ms |
| Fireworks | $1.30 | $4.80 | 약 370ms |
| NVIDIA NIM (자체 호스팅) | n/a (컴퓨팅) | n/a | 약 290ms |
Claude Opus 4.8 표준($5/$25)과 비교하면 Nemotron 3 Ultra는 출력 토큰 기준 약 5배 저렴합니다. DeepSeek V4($1.40/$5.00)와 비교하면 약간 더 저렴하고 빠릅니다. 긴 에이전트 루프와 많은 중간 출력에 토큰 예산의 대부분을 사용하는 워크로드에서는 단위 경제성이 의미 있게 개선됩니다.
라이선스: OpenMDW-1.1이 중요한 이유
2026년의 많은 “오픈” 모델 공개는 오픈 웨이트이지만 상업적으로 제한되거나, 단서가 붙은 오픈 라이선스였습니다. Llama의 MAU 상한선이나 여러 “연구 전용” 라이선스를 참고하세요. Nemotron 3 Ultra는 Linux Foundation의 허용적 오픈 모델 및 데이터 웨이트 라이선스인 OpenMDW-1.1 하에 공개됩니다. 이는 다음을 의미합니다:
- 무제한 상업적 사용, 매출 상한 없음
- 배포된 제품에서의 필수 출처 표기 없음
- 파생 모델 학습에 대한 제한 없음
- 웨이트와 함께 공개된 학습 데이터 및 레시피
스타트업에게 이는 의미 있는 차이입니다. Nemotron 3 Ultra 위에 제품을 구축하고, 독점 데이터로 미세 조정하고, 상업적으로 출시하되 라이선스 검토를 거치지 않아도 됩니다. 중국 오픈 모델(DeepSeek, Kimi)은 유사한 라이선스를 제공하지만, 지정학적 리스크 인식으로 인해 일부 미국 기업은 사용을 꺼려 왔습니다. Nemotron 3 Ultra는 이 격차를 해소합니다.
부족한 점
네 가지 주의 사항.
1. 절대적인 성능이 가장 강한 모델은 아닙니다. Kimi K2.6과 DeepSeek V4는 여전히 AA Intelligence Index에서 더 높은 점수를 기록합니다. 순수한 성능만이 중요하고 지정학적 조달이 문제가 되지 않는다면, 중국 오픈 모델이 여전히 앞서 있습니다.
2. 하드웨어 요구 사항은 여전히 실질적입니다. FP8에서도 전체 Ultra 모델을 자체 호스팅하려면 상당한 GPU 메모리가 필요합니다. 대부분의 팀은 NIM이나 호스팅 제공업체를 통해 실행할 것이며, 이는 괜찮지만 “오픈 웨이트”의 이점은 개인 개발자에게는 부분적으로 이론적입니다.
3. 도구 생태계가 초기 단계입니다. Mamba-Transformer 하이브리드는 아직 상대적으로 신규입니다. 미세 조정 레시피, LoRA 지원, 양자화 도구 체인은 사용 가능하지만 순수 Transformer 모델만큼 성숙하지는 않습니다. 잘 닦인 경로를 벗어나면 불완전한 부분을 예상해야 합니다.
4. 채팅은 강점이 아닙니다. 대화형 어시스턴트가 주요 사용 사례라면, Claude나 GPT-5.5에서 더 세련된 경험을 얻을 수 있습니다. Nemotron 3 Ultra는 기술적으로 채팅을 수행할 수 있지만, 후속 학습(post-training)이 명확히 도구 사용과 계획 수립에 치우쳐 있어 대화의 따뜻함에서 그 차이가 드러납니다.
Nemotron 3 Ultra를 사용해야 하는 대상
적합한 사용자:
- 에이전트 시스템을 구축하는 팀 — 수백 번의 턴에 걸친 신뢰성이 단일 프롬프트에서의 최고 지능보다 중요한, 긴 루프와 다양한 도구를 사용하는 환경
- 개인정보 민감도가 높은 워크로드 — 자체 GPU에서 셀프 호스팅하여 데이터가 사내 경계를 벗어나지 않도록 관리
- 비용 제약이 있는 프로덕션 환경 — 하루에 수천 번 실행되는 에이전트 파이프라인을 운영할 때, 출력 토큰 가격이 5배 저렴하다는 점은 중요한 요소입니다
- 조달 또는 컴플라이언스 문제로 중국산 오픈 모델을 사용할 수 없는 미국 기업
부적합한 사용자:
- 채팅 위주의 개인 개발자 — DeepSeek V4나 프론티어 폐쇄형 모델이 더 적합합니다
- 코딩 중심의 워크플로우 — Claude Code나 Codex를 선택하세요
- GPU 인프라가 없거나 호스팅 추론 예산이 없는 경우
최종 평가
Nemotron 3 Ultra는 NVIDIA가 출시한 가장 유용한 오픈 모델이며, 2026년 미국 오픈 웨이트 릴리스 중 단연 최고입니다. 하이브리드 Mamba-Transformer 아키텍처는 단순한 연구용 호기심이 아닙니다 — 긴 컨텍스트와 높은 턴 수에서 지연 시간과 추론 안정성 모두에서 실질적이고 측정 가능한 이점을 제공합니다.
오픈 모델 지능 순위에서 Kimi K2.6을 능가하지는 않으며, 가장 어려운 작업에서 Claude Opus 4.8을 대체하지는 않을 것입니다. 하지만 에이전트 중심의 워크로드, 특히 지정학적 조달 요건이 중요한 환경에서는 Nemotron 3 Ultra가 이제 명확한 선택지입니다.
NVIDIA는 마침내 회사의 명성에 걸맞은 모델을 출시했습니다. 이제 남은 질문은 더 넓은 오픈 웨이트 생태계 — 파인튜닝 도구, 소형 변형, 배포 패턴 — 가 Nemotron 3 Ultra를 의도적인 선택이 아닌 기본 선택지로 만들 만큼 충분히 빠르게 따라올 수 있느냐는 것입니다.
우리의 예상: Nemotron 4가 출시될 때쯤이면 그렇게 될 것입니다.
AI 주식 예측 — 스마트 시장 분석
AI 기반 주식 시장 예측 및 기술적 분석. 신뢰도 점수와 리스크 지표를 통해 주식, ETF, 암호화폐의 일일 예측을 확인하세요.
오늘의 예측 보기AI Tools Hub 팀
전문 AI 도구 리뷰어
저희의 AI 애호가 및 기술 전문가 팀은 수백 개의 AI 도구를 테스트하고 리뷰하여 고객의 요구에 가장 적합한 솔루션을 찾도록 돕습니다. 실제 사용 경험을 바탕으로 정직하고 심층적인 분석을 제공합니다.