Twitch AI Streams
Eine Reihe vollständig autonomer, 24/7-KI-gestützter Twitch-Livestreams, die zusammen über 200.000 Follower gewannen und internationale Medienberichterstattung von NBC News, Vice, Kotaku, PC Gamer, The Wrap und Quartz erhielten. Mehrere Streams gingen viral und wurden zu den meistgesehenen KI-generierten Inhalten auf Twitch zu dieser Zeit.
Die Streams
Meine Beiträge
- Persönlichkeits-Prompt-Engineering — Charakterprompts für etwa ein Drittel der Streamer-Personas geschrieben, inkl. Anweisungen und Beispieldialogen, die den Ton, das Vokabular und die Eigenheiten jeder KI prägten
- Stimmenklonen — Charakterstimmen mit ElevenLabs in der frühen Projektphase geklont, bevor das Team zu Play.ht migrierte
- Moderationsinfrastruktur — Die Moderationsarbeit von A bis Z geleitet, ein Team von ~5 Moderatoren mit 24/7-Abdeckung koordiniert, um alles zu erfassen, was die KI sagte, das zur Sperrung der Kanäle führen könnte. Im Laufe der Zeit ein automatisiertes Flagging-System aufgebaut, das die manuelle Arbeit schrittweise übernahm — grenzwertige Ausgaben für schnelle menschliche Überprüfung hervorhob — bis die Pipeline zuverlässig genug war, ohne ständige Aufsicht zu laufen
Medienberichterstattung
Technische Architektur
- Textgenerierung — OpenAI GPT-3 (frühe Streams) und GPT-4 (spätere Streams), mit benutzerdefiniertem Prompt-Engineering und charakterspezifischen Persönlichkeitsdatensätzen zur Erfassung der Stimme und Eigenheiten jeder Persona
- Sprachsynthese — Play.ht für KI-Text-zu-Sprache kombiniert mit benutzerdefinierter Audioverarbeitung zur Anpassung der Charakterstimmen
- Visuelle Generierung — Loop-Videomaterial jedes Charakters mit Echtzeit-Lippensynchronisation, die durch die Audioausgabe angetrieben wird, aufgebaut auf Open-Source-Komponenten
- Chat-Integration — Automatisiertes Lesen des Twitch-Chats, Fragenfiltration und Moderation zur Auswahl geeigneter Zuschauerfragen und deren Weiterleitung an die richtige KI-Persona
- Erinnerungssystem — Benutzerdefinierte Kurz- und Langzeit-Gedächtnismodule, die es KI-Personas ermöglichten, sich einzelne Zuschauer zu merken und vergangene Interaktionen Wochen später zu referenzieren — ein wichtiges Alleinstellungsmerkmal gegenüber anderen KI-Streams zu dieser Zeit
Die gesamte Pipeline lief autonom 24/7, mit menschlichen Moderatoren, die primär für Inhaltssicherheit bereitstanden, nicht für die Inhaltsgenerierung.
Reflexionen
Dieses Projekt entstand kurz nachdem ChatGPT herauskam. Eine der Motivationen war, den Menschen die Gefahren aufzuzeigen, was mit dieser Technologie möglich ist. Der Trump-vs.-Biden-Stream war beispielsweise eine offensichtliche Parodie mit übermäßigem Schimpfwortgebrauch, mit dem Ziel zu zeigen, was mit der Technologie möglich ist, während deutlich gemacht wird, dass es nicht real ist. Viele waren unterhalten, sahen aber das Missbrauchspotenzial der Technologie für Desinformation, während einige es tatsächlich für echt hielten, obwohl wir uns bemüht hatten, es zu einer offensichtlichen Parodie zu machen.