Agent vocal IA : comment ça marche, expliqué à un artisan

Les trois étapes d’un appel

La CNIL résume le travail d’un assistant vocal : il va « d’abord traduire le flux de parole en mots avant d’extraire le sens de la requête, puis définir l’action ou la réponse à apporter ». Ensuite, « une phrase de réponse est synthétisée puis jouée ». Un agent vocal qui décroche un téléphone suit le même chemin.

1. La voix devient du texte. C’est la reconnaissance de la parole : le logiciel écoute votre client et écrit ce qu’il dit. Selon le livre blanc de la CNIL (2020), de très nombreux systèmes le font désormais « de bout en bout », grâce aux progrès de l’apprentissage profond.
2. Le texte est compris, et une réponse est choisie. C’est le rôle du modèle de langage, que la CNIL définit comme un modèle statistique de la langue qui « peut par exemple prédire le mot suivant dans une séquence de mots ». Il rédige sa réponse à partir de ce que le client vient de dire et des consignes que l’entreprise lui a données.
3. Le texte redevient une voix. C’est la synthèse vocale : la réponse écrite est lue au client par une voix fabriquée par le logiciel.

Ce cycle se répète à chaque réplique. Comme le modèle de langage ne travaille que sur le texte transcrit, une phrase mal entendue à la première étape fausse la réponse.

Ce qu’un agent vocal sait faire au téléphone

La Commission européenne cite les assistants vocaux parmi les systèmes qui dialoguent avec le public, au service client ou pour les réclamations par exemple. Au téléphone, un agent vocal sait :

• comprendre une demande dite avec les mots du client, sans menu à touches ;
• poser des questions et noter les réponses (le livre blanc de la CNIL parle de « stratégies de dialogue ») ;
• donner les informations qu’on lui a confiées, comme vos horaires ou votre zone d’intervention ;
• agir dans un logiciel auquel il est relié : inscrire une demande, consulter un agenda.

Notre conseil : pour un dépannage, faites-lui demander le nom, l’adresse d’intervention, un numéro où rappeler, la panne avec les mots du client et son degré d’urgence, puis ajustez la liste à votre métier.

Ce qu’il fait mal, ou ne doit pas faire seul

Il peut mal entendre. Pour la CNIL, « les différents timbres de voix, types d’élocution, accents, langages, etc. peuvent introduire des sources d’erreurs spécifiques à la reconnaissance vocale ». Le bruit aussi : l’équipe Multispeech d’Inria travaille sur la parole entendue avec « réverbération, bruit, locuteurs parlant en même temps », le cas d’un client qui appelle depuis la rue. Aucun taux d’erreur n’est cité ici : ceux qui sont publiés viennent de bancs de recherche, pas d’appels de dépannage.

Il peut se tromper avec aplomb. La CNIL rappelle que « les modèles génératifs ne sont pas des bases de connaissance » et qu’ils peuvent produire des résultats inexacts qui paraissent plausibles : les hallucinations. Notre conseil : ne lui faites annoncer ni prix, ni délai, ni diagnostic que vous ne lui avez pas écrits, et faites-lui relire au client l’adresse et le numéro notés.

Il ne doit pas décider seul de ce qui compte pour le client. Selon la CNIL, une conversation avec un agent conversationnel « sans intervention humaine ne peut conduire à elle seule à des décisions importantes pour la personne concernée », comme « l’application de tarifs plus élevés » (article 22 du RGPD).

Il ne doit pas reconnaître les gens à leur voix sans leur accord. Cette biométrie vocale touche des données sensibles, que la CNIL ne permet de traiter dans ce cadre que « sur la base du consentement explicite de la personne concernée ».

Dire à l’appelant qu’il parle à une IA

C’est l’article 50 du règlement (UE) 2024/1689 sur l’intelligence artificielle. Son paragraphe 1 : « Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir directement avec des personnes physiques soient conçus et développés de manière que les personnes physiques concernées soient informées qu’elles interagissent avec un système d’IA », sauf si c’est évident pour une personne normalement attentive. Le paragraphe 5 exige que l’information soit donnée « de manière claire et reconnaissable au plus tard au moment de la première interaction ».

Depuis quand ? L’article 113 rend le règlement « applicable à partir du 2 août 2026 », avec des exceptions qui ne visent pas le chapitre IV, où se trouve l’article 50 ; la Commission le confirme. Le règlement (UE) 2026/1744 du 8 juillet 2026 (« omnibus numérique sur l’IA ») n’a pas touché aux paragraphes 1 et 5 : son seul délai sur l’article 50, jusqu’au 2 décembre 2026, vise le marquage des contenus générés (paragraphe 2) par des systèmes déjà sur le marché.

Comment ? Les lignes directrices de la Commission du 20 juillet 2026, lues dans leur version anglaise, demandent au téléphone une phrase dite au début de l’appel, du type « This is an AI-powered assistant » (« ceci est un assistant qui fonctionne avec l’IA »), et selon le cas des rappels dans les appels longs. Ne suffisent pas, employés seuls :

• un bip ou un autre signal sonore ;
• une mention dans les conditions générales, sur un site ou dans une documentation ;
• un mot vague comme « assistant ».

L’exception d’évidence est étroite : il faut qu’il ne reste presque aucun doute, et elle ne vaut pas quand le système peut être joint par le grand public ou par des consommateurs parmi lesquels figurent des personnes vulnérables, âgées ou peu familières de l’IA. Le ton de la voix, robotique ou humaine, compte aussi.

Qui en répond ? Le paragraphe 1 vise le fournisseur, qui met le système sur le marché ou en service « sous son propre nom ou sa propre marque » (article 3) ; les lignes directrices citent l’entreprise qui propose ainsi une application d’IA à des professionnels qui l’utilisent telle quelle. L’artisan correspond plutôt au « déployeur », qui utilise le système « sous sa propre autorité », et à qui l’article 50 confie d’autres devoirs dans des cas précis (reconnaissance des émotions, hypertrucages).

Pour un manquement à l’article 50, l’amende peut atteindre 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu ; pour une PME, c’est le plus faible des deux (article 99). Notre conseil : appelez votre propre numéro et écoutez ce que l’agent dit en décrochant.

L’enregistrement de l’appel et les données du client

Un agent vocal doit entendre l’appel pour le transcrire ; garder ensuite l’enregistrement est une autre décision, qui demande un but et une durée. Au 15 octobre 2026, nous n’avons pas trouvé de fiche de la CNIL consacrée aux agents vocaux. Deux fiches traitent des appels enregistrés pour d’autres usages : la formation et l’évaluation des salariés (2009, marquée « obsolète » par la CNIL) et la preuve d’un contrat conclu par téléphone (2022). On y retrouve ces règles :

• une mention orale en début d’appel (l’enregistrement, son but, le droit de s’y opposer), puis un renvoi vers un site ou des mentions légales ;
• un droit d’opposition connu « avant la fin de la conversation téléphonique » (fiche de 2009) ;
• un accès aux enregistrements pour la personne enregistrée, au titre de l’article 15 du RGPD (fiche de 2022) ;
• une écoute réservée aux personnes habilitées, avec une trace de qui consulte quoi, et quand.

Pour ces deux usages, la CNIL refuse l’enregistrement systématique de tous les appels, sans dire comment ce principe s’applique à un agent qui doit entendre chaque appel. Les durées de conservation diffèrent aussi : six mois au plus pour la formation et l’évaluation (2009), la prescription, cinq ans en droit commun, pour la preuve d’un contrat (2022), et « la durée nécessaire pour atteindre la finalité du traitement » pour un agent conversationnel (2021). Aucune ne vise un agent vocal, et nous ne tranchons pas.

Deux précautions encore. La CNIL recommande d’interrompre ou de supprimer l’enregistrement quand le client dicte ses données bancaires : ne faites pas dicter de numéro de carte. Pour les données sensibles (la santé, par exemple), elle conseille aux agents conversationnels d’inviter les personnes à ne pas en donner et de purger ces données.

Questions fréquentes

À lire aussi

• Assistant vocal IA, agent vocal, standard IA : ce que recouvre chaque mot pour un artisan
• Répondeur IA : ce qui change quand une IA répond au téléphone à votre place
• Standard téléphonique IA : les points à vérifier avant de signer
• Standard téléphonique IA : comparatif des prix selon vos appels

Sources

• Règlement (UE) 2024/1689 sur l’intelligence artificielle (EUR-Lex)
• Règlement (UE) 2026/1744, omnibus numérique sur l’IA (EUR-Lex)
• Commission européenne, lignes directrices sur l’article 50 (20 juillet 2026)
• Commission européenne, questions et réponses sur l’article 50
• CNIL, le fonctionnement des assistants vocaux en 5 étapes
• CNIL, livre blanc « À votre écoute » sur les assistants vocaux
• CNIL, glossaire : modèle de langage
• CNIL, glossaire : IA agentique
• CNIL, questions-réponses sur l’utilisation d’un système d’IA générative
• CNIL, chatbots : les conseils pour respecter les droits des personnes
• CNIL, l’enregistrement des conversations téléphoniques pour prouver un contrat
• CNIL, l’écoute et l’enregistrement des appels sur le lieu de travail
• Inria, équipe Multispeech : la reconnaissance de la parole dans le bruit