Zoeken op website

Hoe open-gewicht Nemotron 3-modellen op een GPU Droplet uit te voeren

Inleiding

NVIDIA heeft de nieuwste toevoegingen aan hun Nemotron-modellenfamilie aangekondigd, Nemotron 3. Er worden drie afzonderlijke modellen in de Nemotron 3-familie uitgebracht, waaronder Nano, Super en Ultra, die respectievelijk 30, 49 en 253 miljard parameters hebben, met een contextlengte van maximaal 1 miljoen tokens. Nano werd in december 2025 uitgebracht en Super en Ultra staan gepland voor uitgave later in 2026. Ze worden uitgebracht onder de open modellicentie van NVIDIA, waardoor ze beschikbaar zijn voor commercieel gebruik en aanpassing, met volledige eigendom en controle over de gegenereerde outputs. Zowel de gewichten als de trainingsdata zijn open en beschikbaar op Hugging Face. Deze tutorial bespreekt deze modellen en hoe je de momenteel beschikbare Nano kunt implementeren op een Linux-Console.net GPU Droplet.

Belangrijkste punten

  • NVIDIA heeft Nemotron 3 aangekondigd, een nieuwe toevoeging aan hun Nemotron-modellenlijn. Nemotron 3 bestaat uit drie nieuwe modellen: Nano (30B), Super (49B) en Ultra (253B).
  • Vanaf januari 2026 is het kleinste model, Nano, momenteel het enige dat beschikbaar is voor gebruik. Super en Ultra staan gepland voor release later in 2026.
  • Alle modellen zijn open-weight, wat open toegang voor commercieel gebruik en modificatie mogelijk maakt. De architecturen van de modellen maken gebruik van nieuwe efficiëntieverbeteringen om de doorvoer van het model te verhogen.

Modeloverzichten

De Nemotron 3-modellen maken gebruik van een Mixture of Experts hybride Mamba-Transformer-architectuur die bedoeld is om de snelheid van token generatie te verhogen, ook wel bekend als throughput. Dit betekent dat de modellen minder lagen van self-attention hebben en in plaats daarvan Mamba-2 (state space model) lagen en Mixture-of-Experts (MoE) lagen gebruiken die minder rekenintensief en sneller zijn, vooral voor langere invoerreeksen. Hierdoor kunnen de Nemotron 3-modellen langere teksten sneller verwerken terwijl ze minder geheugen en middelen gebruiken. Sommige aandachtlagen worden waar nodig toegevoegd om de nauwkeurigheid zo hoog mogelijk te houden.

NVIDIA beschrijft elk van de drie modellen als geoptimaliseerd voor verschillende platforms. Nano biedt kostenefficiëntie voor gerichte agenttaken zonder nauwkeurigheid op te offeren. Super biedt hoge nauwkeurigheid voor multi-agentredenering. Ultra maximaliseert de nauwkeurigheid van redenering.

Nano is de kleinste van de drie en is qua prestaties vergelijkbaar met Qwen3-30B en GPT-OSS-20B. Het is de enige van de drie die beschikbaar is vanaf januari 2026.

Nano kan zowel voor redeneertaken als voor niet-redenears taken worden gebruikt, met de optie om de redeneercapaciteiten uit te schakelen via een vlag in de chattemplate. Antwoorden zullen minder nauwkeurig zijn als redeneren in de configuratie is uitgeschakeld.

Nano is een hybride Mixture-of-Experts (MoE) architectuur die bestaat uit 23 Mamba-2- en MoE-lagen en zes attentielagen, waarbij elke MoE-laag 128 experts plus één gedeelde expert bevat. Vijf experts worden per token geactiveerd, waardoor 3,5 miljard van de in totaal 30 miljard parameters actief zijn.

Super en Ultra gebruiken beide LatentMoE en Multi-Token Prediction (MTP) lagen die de snelheid van tekstgeneratie verder verhogen. MTP is het vermogen om meerdere tokens tegelijk te voorspellen in een enkele forward-pass in plaats van slechts één token te voorspellen. LatentMoE is een nieuwe benadering voor het toewijzen van experts die de grootte van de invoergegevens die elke expert moet verwerken comprimeert om de hoeveelheid berekeningen per token te verminderen. Ze gebruiken deze efficiëntiewinst om het aantal experts dat voor elk token kan worden gebruikt te verhogen.

In NVIDIA's whitepaper over de release beschrijven ze Super als geoptimaliseerd voor workloads zoals IT-ticketautomatisering, waarbij samenwerkende agents grote hoeveelheden werk afhandelen. Ultra is de optie om te gebruiken wanneer nauwkeurigheid en redeneervaardigheden van het grootste belang zijn.

Stap 1 — Een GPU-droplet maken

Om de Nemotron 3 Nano op een Linux-Console.net GPU Droplet te implementeren, meld u eerst aan bij uw Linux-Console.net-account en maak een GPU Droplet aan.

Kies AI/ML-Ready als je image en selecteer een NVIDIA H100. Voeg een SSH-sleutel toe of selecteer er een, en maak de Linux-Console.net Droplet aan.

Stap 2 — Verbinden met je GPU-droplet

Zodra de Linux-Console.net Droplet is aangemaakt, maak je via SSH (Secure Shell) verbinding met je serverinstantie. Ga naar je opdrachtregel en voer de volgende opdracht in, waarbij je de gemarkeerde your_server_ip vervangt door het publieke IPv4-adres van je instantie. Je kunt het IP-adres vinden in de sectie Connection Details van je GPU Instantie Dashboard.

ssh root@your_server_ip

Je kunt een bericht krijgen waarin staat:

The authenticity of host 'your_server_ip (your_server_ip)' can't be established.....Are you sure you want to continue connecting (yes/no/[fingerprint])?

Als je dat doet, kun je yes typen en op ENTER drukken.

Stap 3 — Python en vLLM installeren

Controleer vervolgens of je nog steeds in de Linux-instantie bent en installeer Python.

sudo apt install python3 python3-pip

Het kan u melden dat er extra ruimte zal worden gebruikt en vragen of u wilt doorgaan. Als dat het geval is, typ Y en druk op ENTER.

Als je een bericht krijgt van 'Daemons gebruiken verouderde bibliotheken' waarin wordt gevraagd welke services je wilt herstarten, kun je op ENTER drukken.

Installeer vLLM nadat Python is geïnstalleerd.

pip install vllm

Dit pakket kan even duren om te installeren. Nadat de installatie is voltooid, download je de aangepaste parser van Hugging Face.

wget https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/resolve/main/nano_v3_reasoning_parser.py

De aangepaste parser interpreteert de redeneer- en tool-aanroepopmaak van Nemotron-3 Nano v3, zodat vLLM correct antwoorden kan geven en tool-aanroepen kan routeren.

Stap 4 — Het serveren van het Nemotron-model

Geef precies aan welk model je wilt gebruiken door het ID van het model van Hugging Face te gebruiken.

vllm serve --model nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 \
 --max-num-seqs 8 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --port 8000 \
  --trust-remote-code \
  --reasoning-parser-plugin nano_v3_reasoning_parser.py \
  --reasoning-parser nano_v3

Het max-num-seqs is het maximale aantal uitvoeringen dat gelijktijdig kan worden verwerkt. In dit voorbeeld kunnen er maximaal acht enkelvoudige uitvoeringsverzoeken tegelijkertijd worden verwerkt.

De tensor-parallel-size is het aantal GPU's waarop je het model verspreidt via tensorparallelisme. Eén staat gelijk aan een enkele GPU. De max-model-len is het maximale aantal tokens per verzoek. trust-remote-code is nodig voor Nemotron’s aangepaste chattemplate en verwerkingslogica.

Ten slotte laden en selecteren de parameters reasoning-parser-plugin en reasoning-parser de aangepaste redeneparser.

Zodra het model is geladen en beschikbaar is gesteld op je instantie met vLLM, kun je inferentie-aanroepen doen naar het eindpunt met Python, lokaal of vanaf een andere server. Maak een Python-bestand genaamd example_vllm_request.py en voer de volgende code uit. Vervang your_server_ip door het IP-adres van je GPU Droplet.

import requests

url = "http://your_server_ip:8000/v1/completions"
data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000
}

response = requests.post(url, json=data)
message = response.json()['choices'][0]['message']['content']
print(message)

U zult een uitvoer zien die vergelijkbaar is met het volgende:

The capital of France is **Paris**.

Als je het hele response.json()-object afdrukt, kun je de redeneertokens bekijken. Als je het wilt uitvoeren met redenatie uitgeschakeld, kun je een chat_template_kwargs-parameter toevoegen aan het bovenstaande gegevensobject.

data = {
    "model": "nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16",
    "messages": [{"role": "user", "content": "What is the capital of France?"}],
    "max_tokens": 1000,
    "chat_template_kwargs": {"enable_thinking": False},
}

Veelgestelde vragen

Wat zijn de hardwarevereisten en het benodigde GPU-geheugen om Nemotron 3 Nano lokaal te draaien?

Nemotron 3 Nano kan draaien op GPU's met minimaal 60 GB VRAM in BF16-precisie, zoals een A100 80 GB of H100. Een gekwantiseerde versie kan het mogelijk maken om op GPU's met minder geheugen te draaien.

Kan ik Nemotron 3 Nano afstemmen op mijn eigen gegevens en wat zijn de licentiegevolgen?

Ja, Nemotron 3-modellen worden uitgebracht onder de open modelllicentie van NVIDIA, die commercieel gebruik, aanpassing en verfijning toestaat. U behoudt volledig eigendom van alle gegenereerde outputs en kunt het model fijn afstemmen op aangepaste datasets voor uw specifieke gebruikssituaties.

Wat is het verschil tussen de Mixture-of-Experts (MoE) architectuur en traditionele transformermodellen wat betreft de kosten van inferentie?

De MoE-architectuur activeert slechts vijf van de 128 experts per token (3,5B van 30B parameters), waardoor inferentie veel efficiënter is dan bij traditionele dichte modellen.

Heeft NVIDIA in het verleden andere LLM's uitgebracht?

Ja, NVIDIA heeft een groot aantal open modellen en datasets uitgebracht, waaronder andere Nemotron-modelversies, Megatron, ASR-modellen en meer.

Conclusie

De Nemotron 3-familie is een relatief effectief en efficiënt open model met snelle inferentie en nauwkeurige resultaten. De kleinste versie, Nano, is momenteel beschikbaar vanaf januari 2026, en de andere twee grotere versies zullen in de komende maanden beschikbaar komen.

In deze tutorial heb je Nemotron 3 Nano geïmplementeerd op een Linux-Console.net GPU Droplet. Vervolgens kun je een workflow bouwen die het gebruikt voor elke gegevensgevoelige toepassing die een hoog niveau van privacy en controle vereist.

Bedankt dat je samen met de Linux-Console.net-community hebt geleerd.