Die Nvidia RTX Broadcast Engine, bringt den virtuellen Greenscreen in OBS und anderen Streaming-Tools. Die neue Broadcast Engine könnte das nächste große Ding im Streaming Bereich werden und unter anderem vielleicht auch der Grund, warum Nvidia auf die neue AMD Konkurrenz recht gelassen reagiert.

Mit der Broadcast Engine wird es möglich sein Face-Tracking-, virtuelle Greenscreen- und Stlye-Transfer-Filter zur Verfügung zu stellen und das ohne die ganzen üblichen Studio-Setup kosten. Gerade für kleinere Streamer, die sich noch nicht das Mega Setup leisten können, könnte das die Chance für gute Qualität sein.

Diejenigen unter euch, die meine Twitch-Streams oft verfolgen, sollten bereits meine Meinung dazu kennen, denn ich bin weiterhin der Meinung, dass die Qualität im Stream Bereich immer weiter ansteigt und man heute eigentlich nur noch eine Chance hat sich eine ordentliche Community aufzubauen, wenn man diese Qualität auch bietet.

Da könnte die Nvidia RTX Broadcast Engine mit dem RTX Greenscreen schon einen Sprung nach vorne bedeuten. So braucht man eben keinen normalen Greenscreen und keine zig Studioleuchten, um den Greenscreen richtig auszuleuchten, damit man eben keine Ränder sieht.

Auf der TwitchCon 2019 in San Diego, stellte OBS bereits eine erste Beta Version vor und viele waren sich einig, dass diese Funktion der absolute Hammer sei. Zwar zeigten sich noch einige schwächen, jedoch ist der Release auch erst Mitte kommenden Jahres angedacht (einen direkten Termin nannte man nicht).

Die SDK-Funktionen umfassen:

  • Face Tracking : AI-basierte Technologie, die menschliche Gesichter in Bildern und Video-Feeds erkennt. Er bestimmt die Position des Gesichts und legt die Größe mithilfe eines Begrenzungsrahmens fest. Es wird auf Tensorkernen beschleunigt.
  • Face Landmark Tracking : AI-basierte Technologie, die die Gesichtsmerkmale und Gesichtskonturen einer Person (einschließlich Gesichtsform, Lippen, Augen und Augenlider) anhand von 68 Schlüsselpunkten identifiziert. Es zeichnet 3 Freiheitsgrade der Kopfhaltung und Gesichtsverformung aufgrund von Kopfbewegungen und Gesichtsausdrücken auf. Es wird auf Tensorkernen beschleunigt.
  • Face Mesh : GPU-beschleunigte Optimierung mithilfe eines 3D-verwandlungsfähigen Modells zur Erstellung einer 3D-Netzdarstellung eines menschlichen Gesichts mit bis zu 3000 Scheitelpunkten und 6 Freiheitsgraden in Echtzeit.
  • RTX-Greenscreen : RTX-Greenscreen ermöglicht das Entfernen eines Webcam-Feeds im Hintergrund in Echtzeit, sodass nur Ihr Gesicht und Ihr Körper in Ihrem Livestream angezeigt werden. Es verwendet KI, um das Talent vom Hintergrund zu trennen, sodass Sie die Vorteile eines physischen Greenscreens nutzen können, ohne ihn mühsam installieren zu müssen.
  • RTX-Stilfilter : RTX-Stilfilter verwenden AI, um das Erscheinungsbild Ihres Webcam-Feeds basierend auf dem Stil eines anderen Bildes zu verbessern. Stellen Sie sich vor, Sie gestalten Ihren Webcam-Feed im Look von Van Goghs Sternennacht.