Neues OpenAI Model mit bester Leistung auf NVIDIA RTX GPUs
NVIDIA hat heute die Zusammenarbeit mit OpenAI bekannt gegeben, um die neue gpt-oss-Familie offener Modelle auf den Markt zu bringen. Damit kann hochmoderne AI, die bisher nur in Cloud-Rechenzentren möglich war, mit unglaublicher Geschwindigkeit auf RTX-betriebenen PCs und Workstations laufen.
Die Markteinführung läutet eine neue Generation schneller und intelligenter AI auf Geräten ein, die durch die Leistung der GeForce RTX GPUs und PRO GPUs noch leistungsfähiger wird. Es sind zwei neue Varianten verfügbar, die das gesamte Ökosystem bedienen:
- Das gpt-oss-20b Modell ist für die Spitzenleistung auf NVIDIA RTX AI PCs mit mindestens 16 GB VRAM optimiert und liefert bis zu 250 Token pro Sekunde auf einer RTX 5090 GPU.
- Das größere gpt-oss-120b Modell wird auf professionellen Workstations unterstützt, die durch NVIDIA RTX PRO-GPUs beschleunigt werden.
Die Modelle wurden auf NVIDIA H100 GPUs trainiert und sind die ersten, die MXFP4-Präzision auf NVIDIA RTX unterstützen. Diese Technik erhöht die Modellqualität und -genauigkeit ohne zusätzliche Leistungskosten im Vergleich zu früheren Methoden. Beide Modelle unterstützen bis zu 131.072 Kontextlängen und gehören damit zu den längsten verfügbaren Modellen für lokale Inferenz. Sie basieren auf einer flexiblen Mixture-of-Experts (MoE)-Architektur mit Chain-of-Thought-Funktionen und Unterstützung für das Befolgen von Anweisungen und die Verwendung von Tools.
Im RTX AI Garage-Blog teilt NVIDIA, wie AI-Enthusiasten und -Entwickler mit den neuen OpenAI-Modellen auf NVIDIA RTX-GPUs loslegen können:
- Ollama App: Der einfachste Weg, die Modelle zu testen, ist die neue Ollama-App. Ihre Benutzeroberfläche enthält eine sofort einsatzbereite Unterstützung für die gpt-oss-Modelle, die vollständig für RTX-GPUs optimiert ist.
- Llama.cpp: NVIDIA arbeitet mit der Open-Source-Community zusammen, um die Leistung von RTX-GPUs zu optimieren. Zu den jüngsten Beiträgen gehören CUDA Graphs, um Overhead zu reduzieren. Entwickler können über das Llama.cpp GitHub Repository loslegen.
- Microsoft AI Foundry: Windows-Entwickler können über Microsoft AI Foundry Local (in der öffentlichen Preview) auf die Modelle zugreifen.
NVIDIA-Gründer und CEO Jensen Huang betonte die Bedeutung dieser Einführung:
„OpenAI hat der Welt gezeigt, was auf NVIDIA AI aufgebaut werden kann - und jetzt treiben sie die Innovation in Open-Source-Software voran“, so Jensen Huang, Gründer und CEO von NVIDIA. „Die gpt-oss-Modelle ermöglichen es Entwicklern auf der ganzen Welt, auf dieser hochmodernen Open-Source-Grundlage aufzubauen und die technologische Führungsposition der USA im Bereich AI zu stärken - und das alles auf der weltweit größten AI-Recheninfrastruktur.“
Im Blogbeitrag zur RTX AI Garage gibt es weitere Informationen zum Einsatz der neuen Modelle von OpenAI mit RTX. Weitere Informationen über die Zusammenarbeit zwischen NVIDIA und OpenAI gibt es im NVIDIA-Unternehmensblog.
