De spraakmodus van ChatGPT kan uw stem simuleren zonder dat u daarom wordt gevraagd.

OpenAI heeft onlangs de System Card voor hun GPT-4o-model uitgebracht, kort nadat de geavanceerde spraakmodus voor ChatGPT-4o in alfaversie beschikbaar werd gesteld aan een klein aantal ChatGPT Plus-gebruikers.

Voordat het model eerder in mei werd vrijgegeven (zonder de geavanceerde spraakmodus), maakte OpenAI gebruik van een team van externe red teamers om de risico’s van de modellen in kaart te brengen (zoals gebruikelijk is bij AI-modellen) en publiceerde de bevindingen in de System Card.

Een van de risico’s die OpenAI identificeerde, is ongeautoriseerde stemgeneratie. Terwijl hij met de read teamer sprak, kloonde GPT-4o zijn stem en begon te spreken met een geluid dat leek op de stem van de red teamer, zonder dat de gebruiker zelfs maar een dergelijk verzoek deed. In de audioclip die OpenAI deelde, is GPT-4o te horen terwijl hij NO! roept en vervolgens de output voortzet met een stem die lijkt op die van de red teamer.

OpenAI heeft maatregelen getroffen om dat te voorkomen door alleen bepaalde vooraf goedgekeurde stemmen toe te staan voor GPT-4o. Alle stemuitvoer die door ChatGPT-4o wordt geproduceerd, wordt vergeleken met het stemmonster in het systeembericht als de basisstem.

En om het risico verder te minimaliseren, wordt het model geïnstrueerd om het gesprek te beëindigen als onbedoelde stemgeneratie wordt gedetecteerd. Hun stemuitvoerclassificator heeft een precisie van 0,96 in het Engels en 0,95 in niet-Engels (wat de reden is dat ChatGPT-4o zich kan overgeven aan overdreven weigering van stemverzoeken in niet-Engelstalige gesprekken).

Maar de bevindingen van de System Card laten wel de complexiteit zien die gepaard gaat met het maken van AI-chatbots die iemands stem kunnen simuleren met slechts een korte sample en zonder dat er uitgebreide training nodig is voor die sample. Stemklonen kan worden gebruikt om iemand te imiteren en fraude te plegen. OpenAI heeft ontdekt dat het risico van niet-geautoriseerde stemgeneratie minimaal is.

Zelfs als je de risico’s van imitatie en fraude buiten beschouwing laat vanwege de veiligheidsmaatregelen die zijn getroffen, zou het nog steeds behoorlijk zenuwslopend zijn als je met een machine praat en de machine uit het niets terug begint te praten in jouw stem. Een bepaalde Data Scientist op X noemde het “de plot voor het volgende seizoen van Black Mirror” en het voelt zeker zo. Een andere gebruiker op X beweert dat het hen is overkomen in ChatGPT-4o alpha, maar of het waar is of niet, is niet bekend.

Toch is er een mogelijkheid dat het de volgende keer dat je met ChatGPT-4o praat, gebeurt. En dit is een PSA: raak niet in paniek als het gebeurt, of raak niet te veel in paniek.

OpenAI heeft ook maatregelen genomen om ervoor te zorgen dat GPT-4o weigert om personen te identificeren en auteursrechtelijk beschermde inhoud te genereren. Dit zijn andere risico’s die tijdens de beoordeling zijn ontdekt.

Onder de andere risico’s die het bedrijf met het model ontdekte, plaatste het de meeste ervan in de lage categorie. Deze omvatten cybersecurity, biologische bedreigingen en modelautonomie. Voor overtuiging vond het bedrijf echter dat het risico gemiddeld was: het betekent dat sommige schrijfvoorbeelden die door GPT-4o werden geproduceerd, overtuigender bleken te zijn dan door mensen geschreven tekst bij het beïnvloeden van de mening van mensen.