Wie wir ein Soundboard mit der ElevenLabs SFX API entwickelt haben

Stellen Sie sich ein Soundboard vor, das unbegrenzt viele Sounds auf Abruf generieren kann. Genau das haben wir bei ElevenLabs gebaut – das ist SB1, unser unendliches Soundboard. Auf den ersten Blick sieht es aus wie ein typisches Raster aus Pads, die Sie per Klick oder Tastenkürzel auslösen. Im Hintergrund arbeitet unser Text-zu-Soundeffekte-KI-Audiomodell.

Um es zu nutzen, beschreiben Sie einfach einen beliebigen Sound, und SB1 generiert ihn. Es gibt auch einige vordefinierte Standardsounds, aber auch diese lassen sich ersetzen.

Von der Idee zum Prototyp

Wir starteten mit einer einfachen Frage: Was wäre, wenn Sie eine Beschreibung wie „sanfte, atmosphärische Waldgeräusche“ oder „dramatisches Publikumsgelächter“ eingeben und direkt einen einsatzbereiten Soundeffekt erhalten könnten?

Traditionelle Soundboards basieren auf statischen MP3-Bibliotheken, die man mühsam online suchen muss. Selbst wenn man einen passenden Sound findet, entspricht er oft nicht genau den eigenen Vorstellungen. Mit generativer KI ist das kein Problem mehr. Es gibt keine Begrenzungen.

Bevor wir mit dem Code begonnen haben, haben wir Lovable genutzt, um eine einfache Prototyp-Version von SB1 zu erstellen. Noch nicht mit der API verbunden, konnten wir so mit Design und Button-Positionen experimentieren, bevor unser Team die finale UI und den Code umgesetzt hat.

Wir wollten dynamische Inhalte – beliebige Sounds, direkt generiert. Das Herzstück unserer Lösung ist die ElevenLabs SFX API. Die API läuft über einen einzigen Endpoint:

Sie senden ein JSON-Objekt mit Ihrem Prompt, der gewünschten Anzahl an Varianten (Standard: vier) und Ihrem API-Key im Authorization-Header.

Die Antwort enthält ein Array mit URLs zu generierten WAV-Dateien. Diese können Sie streamen, herunterladen und einzelnen Pads zuweisen. Auch Looping ist möglich. Nutzen Sie beschreibende Prompts für mehr Details.

Eine Beispielanfrage sieht so aus:

Sie erhalten ein Array mit vier URLs zurück. Die API ist so konzipiert, dass sie für jeden Anwendungsfall skaliert – von spontanen Soundboards bis zur Massenproduktion für Spiele-Assets.

Das SB1-Interface entwickeln

Mit der API im Hintergrund haben wir das Frontend gebaut. SB1 ist eine Web-App auf Basis von React und Tailwind CSS. Jedes Pad hat zwei Modi:

1. Preset: lädt aus einem gespeicherten Set von Sound-URLs
2. Custom: vom Nutzer über die SFX API generiert

Klicken Sie im Custom-Modus auf ein leeres Pad, erscheint ein Eingabefeld. Sie geben Ihre Beschreibung ein, klicken auf Generieren, und die API liefert vier Optionen. Sie hören sich die Sounds direkt an, wählen Ihren Favoriten, und das Pad wird sofort aktualisiert. Mit Tastenkombinationen können Sie Pads auch live auslösen.

Wir haben auch Looping-Steuerungen integriert. Drücken Sie einfach die Loop-Taste, wählen Sie den gewünschten Sound, und er läuft, bis Sie ihn stoppen. Damit eignet sich SB1 nicht nur für Gags – denken Sie an Drum Machines oder Ambient-Atmosphären – sondern auch für Podcasts, Livestreams und geführte Meditationen.

Beispiele in der Anwendung

Ambient-Soundscape

• Leichter Regen: "leichter Regen, der auf Blätter tropft"

• Starker Regen: "starker Regen auf einem Blechdach"

• Meereswellen: sanfte Wellen, die an den Strand rollen

Wir haben jeden Sound erzeugt, indem wir Prompts wie „leichter Regen, der auf Blätter tropft“ oder „sanfte Wellen, die an den Strand rollen“ eingegeben haben. Anschließend haben wir die Pads auf Loop gestellt – ideal als Hintergrund für Konzentration oder Meditation.

Drum Machine

• 808 Kick: "satter 808-Kick mit viel Bass"

• Snare: "knackiger Snare-Schlag"

• Offene Hi-Hat: "offene Hi-Hat, die ausklingt"

Sie brauchen keine Audiosamples aus einer Drum-Library. Beschreiben Sie einfach „satter 808-Kick mit viel Bass“ oder „knackiger Snare-Schlag“, und die API liefert vier Varianten. Wir haben sie für eine Live-Demo auf die Tasten A, S und D gelegt.

Wenn Sie das Modell wirklich ausreizen möchten, können Sie damit auch kurze Sprachschnipsel im Stil einer Figur erzeugen. Geben Sie einfach die Figur an und setzen Sie den Text in Klammern.

• Hyped-up DJ: Hyped-up DJ sagt: "Let’s get the party started"

• Ork auf Mission: Ork mit rauer Stimme sagt: "Dieser Raum ist überfüllt"

• Sirenen-Gesang: Geheimnisvolle Frauenstimme singt: "Zeit, nach Hause zu gehen, die Party ist vorbei"

Eigene Presets

Sie können eigene Presets speichern und benennen – zum Beispiel „Livestream FX“ mit Gasp, Lachen und Applaus. Nach dem Erstellen Ihres Boards klicken Sie auf Teilen, um einen Link zu kopieren oder direkt in sozialen Medien zu posten. Jeder mit dem Link kann Ihre SB1-Konfiguration laden und Ihre Sounds abspielen.

Entwickler-Insights

• Stateless-Generierung: Jeder API-Call ist unabhängig. Sie müssen keine Trainingspipelines verwalten oder große Sample-Bibliotheken speichern – cachen Sie einfach die verwendeten URLs in Ihrer UI.
• Geringe Latenz: Die Generierung dauert in der Regel weniger als zwei Sekunden – das fühlt sich beim Testen sofort an.
• Skalierbar: Sie können Hunderte Sounds parallel generieren und in Ihrem eigenen CDN für hohe Zugriffszahlen speichern.
• Flexible Formate: WAV für höchste Qualität, MP3 für kleinere Dateien.

Um selbst zu starten, sehen Sie sich unsere Dokumentation an. Dort finden Sie Codebeispiele in JavaScript, Python und cURL, die zeigen, wie Sie die SFX API in Ihre Projekte integrieren.

Wie geht es weiter?

SB1 ist nur eine Demo dessen, was unser Soundeffekt-Modell leisten kann. Wir arbeiten an Plugins für OBS und digitale Audiotools, damit Sie neue Sounds direkt in Ihrer Streaming- oder Produktionssoftware generieren können. Außerdem optimieren wir das Modell für Musik-Prompts – etwa für exotische Percussion oder Synthesizer-Sounds.

Wenn Sie etwas Interessantes bauen, möchten wir es sehen. Markieren Sie uns in sozialen Medien oder teilen Sie Ihren Preset-Link. Egal ob Streamer, Podcaster, Spieleentwickler oder einfach Sound-Enthusiast – mit SB1 und der SFX API haben Sie unbegrenzte kreative Möglichkeiten.

Testen Sie es jetzt kostenlos – keine MP3-Bibliothek nötig.