NVIDIA vereinfacht AI-angetriebene MetaHuman-Implementierung mit neuen ACE-Plugins und Microservices
das Unreal Fest Seattle 2024 ist gestartet und NVIDIA kündigte die Veröffentlichung von neuen On-Device-Plugins für NVIDIA ACE in der Unreal Engine 5 an. Damit werden die Erstellung und der Einsatz von AI-gesteuerten MetaHuman-Charakteren auf Windows-PCs vereinfacht. Den vollständigen Blog-Beitrag gibt es hier zum Nachlesen.
Die wichtigsten Highlights:
Neue Unreal Engine 5 ACE Plugins:
- Audio2Face-3D Plugin: Ermöglicht AI-gesteuerte Lippensynchronisation und Gesichtsanimation direkt in der Unreal Engine 5.
- Nemotron-Mini 4B Instruct Plugin: Ermöglicht die Generierung von Dialogen mit interaktiven Charakteren.
- Retrieval Augmented Generation (RAG) Plugin: Liefert kontextbezogene Informationen, um die Interaktionen zwischen den Charakteren zu verbessern.
Audio2Face-3D Plugin für Autodesk Maya:
- Ermöglicht hochwertige, audiogesteuerte Gesichtsanimationen in Maya.
- Enthält den Quellcode zur Anpassung und Integration in andere Tools zur Erstellung digitaler Inhalte.
- Optimiert den Workflow zwischen Maya und Unreal Engine 5.
Unreal Engine 5 Renderer Microservice mit Pixel Streaming:
- Verwendet die Unreal Pixel Streaming-Technologie von Epic.
- Unterstützt ab sofort den NVIDIA ACE Animation Graph Microservice und Linux OS im Early Access.
- Ermöglicht es Entwicklern, MetaHuman-Charaktere mit hoher Wiedergabetreue über Web Real-Time Communication (WebRTC) auf alle Endgeräte zu übertragen.
Vorzüge für Entwickler:
- Vereinfacht die Integration von AI-gesteuerten digitalen Personen in Spiele und Applikationen.
- Optimierte Microservices für geringe Latenzen und minimalen Speicherbedarf auf Windows-PCs.
- Verbessert die Skalierbarkeit für die Cloud-basierte Implementierung von digitalen Menschen.
- Bietet anpassbare Tools und Quellcode für individuelle Bedürfnisse bei der Entwicklung.
Entwickler können einen frühzeitigen Zugang beantragen, um den Unreal Engine 5 Renderer Microservice mit Unterstützung für Animation Graph Microservice und Linux OS herunterzuladen. Das Maya ACE-Plugin steht auf GitHub zum Download bereit.
