Un groupe de travail multiétatique se prépare également à d’éventuels litiges civils contre l’entreprise, et la Federal Communications Commission a ordonné à Lingo Telecom de cesser d’autoriser le trafic d’appels automatisés illégaux, après qu’un consortium industriel a découvert que l’entreprise basée au Texas transportait les appels sur son réseau.
Formella a déclaré que ces actions visaient à signifier que le New Hampshire et d’autres États prendraient des mesures s’ils découvraient que l’IA avait été utilisée pour interférer dans les élections.
« N’essayez pas, » dit-il. « Si vous le faites, nous travaillerons ensemble pour enquêter, nous travaillerons avec des partenaires à travers le pays pour vous retrouver et nous prendrons toutes les mesures coercitives à notre disposition en vertu de la loi. Les conséquences de vos actes seront graves.
Le New Hampshire a assigné à comparaître Life Corp., Lingo Telecom et d’autres personnes et entités susceptibles d’avoir été impliquées dans les appels, a déclaré Formella.
Life Corp., son propriétaire Walter Monk et Lingo Telecom n’ont pas immédiatement répondu aux demandes de commentaires.
Cette annonce laisse présager un nouveau défi pour les régulateurs étatiques, alors que les outils d’IA de plus en plus avancés créent de nouvelles opportunités d’ingérence dans les élections. à travers le monde en créant de faux enregistrements audio, photos et même vidéos de candidats, brouiller les eaux de la réalité.
Les appels automatisés constituaient un premier test d’une mosaïque de forces de l’ordre étatiques et fédérales, qui s’appuient largement sur les lois électorales et de protection des consommateurs adoptées avant que les outils d’IA générative ne soient largement accessibles au public.
L’enquête criminelle a été annoncée plus de deux semaines après que les informations faisant état des appels ont fait surface, soulignant le défi pour les autorités étatiques et fédérales d’agir rapidement en réponse à une éventuelle ingérence électorale.
“Lorsque les enjeux sont aussi élevés, nous n’avons ni heures ni semaines”, a déclaré Hany Farid, professeur à l’Université de Californie à Berkeley qui étudie la propagande numérique et la désinformation. “La réalité est que le mal sera fait.”
Fin janvier, entre 5 000 et 20 000 personnes ont reçu des appels téléphoniques générés par l’IA se faisant passer pour Biden et leur disant de ne pas voter aux primaires de l’État. L’appel disait aux électeurs : « Il est important que vous gardiez votre vote pour les élections de novembre. » On ne sait toujours pas combien de personnes n’auraient pas voté suite à ces appels, a déclaré Formella.
Un jour après que les appels ont fait surface, le bureau de Formella a annoncé qu’il enquêterait sur l’affaire. “Ces messages semblent être une tentative illégale de perturber les élections primaires présidentielles du New Hampshire et de supprimer les électeurs du New Hampshire”, a-t-il déclaré dans un communiqué. déclaration. “Les électeurs du New Hampshire devraient ignorer complètement le contenu de ce message.”
La campagne Biden-Harris 2024 a félicité le procureur général pour « avoir agi rapidement en tant qu’exemple puissant contre de nouveaux efforts visant à perturber les élections démocratiques », a déclaré la directrice de campagne Julie Chavez Rodriguez dans un communiqué.
La FCC a déjà enquêté sur Lingo et Life Corp. Depuis 2021, un groupe industriel de télécommunications a découvert que Lingo transportait 61 appels présumés illégaux provenant de l’étranger. Il y a plus de vingt ans, la FCC a émis une citation à l’encontre de Life Corp. pour avoir diffusé des publicités préenregistrées illégales sur des lignes téléphoniques résidentielles.
Formella n’a pas fourni d’informations sur le logiciel de la société qui a été utilisé pour créer l’appel automatisé de Biden généré par l’IA.
Farid a déclaré que l’enregistrement sonore avait probablement été créé par le logiciel de la société de clonage vocal d’IA ElevenLabs, selon une analyse qu’il a réalisée avec des chercheurs de l’Université de Floride.
ElevenLabs, qui a récemment été évalué à 1,1 milliard de dollars et a levé 80 millions de dollars lors d’un cycle de financement codirigé par la société de capital-risque Andreessen Horowitz, permet à quiconque de s’inscrire à un outil payant qui lui permet de cloner une voix à partir d’un échantillon de voix préexistant.
ElevenLabs a été critiqué par les experts en IA pour ne pas avoir mis en place suffisamment de garde-fous pour garantir qu’il ne soit pas utilisé par des escrocs cherchant à escroquer les électeurs, les personnes âgées et autres.
La société a suspendu le compte qui a créé le deepfake de Biden robocall, les reportages montrent.
“Nous nous engageons à prévenir l’utilisation abusive des outils d’IA audio et prenons très au sérieux tout incident d’utilisation abusive”, a déclaré Mati Staniszewski, PDG d’ElevenLabs. “Bien que nous ne puissions pas commenter des incidents spécifiques, nous prendrons les mesures appropriées lorsque des cas seront signalés ou détectés et mettrons en place des mécanismes pour aider les autorités ou les parties concernées à prendre des mesures pour y remédier.”
L’incident des appels automatisés est également l’un des nombreux épisodes qui soulignent la nécessité de meilleures politiques au sein des entreprises technologiques pour garantir que leurs services d’IA ne soient pas utilisés pour fausser les élections, ont déclaré les experts en IA.
Fin janvier, le créateur de ChatGPT, OpenAI, a interdit à un développeur d’utiliser ses outils après que celui-ci ait construit un robot imitant le candidat démocrate à la présidentielle, Dean Phillips. La campagne de Phillips avait soutenu le bot, mais après Le Washington Post a rapporté à ce sujet, OpenAI a estimé avoir enfreint les règles interdisant l’utilisation de sa technologie pour des campagnes.
Les experts ont déclaré que les entreprises technologiques disposent d’outils pour réglementer le contenu généré par l’IA, tels que le filigrane audio pour créer une empreinte numérique ou la mise en place de garde-fous qui ne permettent pas aux gens de cloner des voix pour dire certaines choses. Les entreprises peuvent également rejoindre une coalition destinée à empêcher la diffusion d’informations trompeuses en ligne en élaborant des normes techniques établissant l’origine du contenu médiatique, ont indiqué les experts.
Mais Farid a déclaré qu’il était peu probable que de nombreuses entreprises technologiques mettent en œuvre des mesures de protection dans un avenir proche, quelles que soient les menaces que leurs outils font peser sur la démocratie.
« Nous avons 20 ans d’histoire pour nous expliquer que les entreprises technologiques ne veulent pas de garde-fous sur leurs technologies », a-t-il déclaré. “C’est mauvais pour les affaires.”