Reconnaissance vocale C# - Est-ce bien ce que l'utilisateur a dit ?

Question

J'ai besoin d'écrire une application qui utilise un moteur de reconnaissance vocale - soit celui intégré dans vista, soit un moteur tiers - qui peut afficher un mot ou une phrase, et reconnaître quand l'utilisateur le lit (ou une approximation de celui-ci). Je dois également pouvoir passer rapidement d'une langue à l'autre, sans changer la langue du système d'exploitation.

Les utilisateurs se serviront du système pendant de très courtes périodes. L'application doit fonctionner sans qu'il soit nécessaire d'entraîner au préalable le moteur de reconnaissance à la voix des utilisateurs.

Il serait également fantastique que cela fonctionne sur Windows XP ou sur les versions inférieures de Windows Vista.

En option, le système doit être capable de lire à l'utilisateur les informations affichées à l'écran, dans la langue choisie par l'utilisateur. Je peux contourner cette spécification en utilisant des voix off préenregistrées, mais la méthode préférée serait d'utiliser un moteur de synthèse vocale.

Quelqu'un peut-il me recommander quelque chose ?

Answer 1

Une question similaire a été posée il y a quelque temps sur Joel on Software. Vous pouvez utiliser l'outil Reconnaissance vocale pour le faire... avec quelques limitations. Ajoutez System.Speech (qui devrait se trouver dans le GAC) à votre projet. Voici un exemple de code pour une application WinForms :

public partial class Form1 : Form
{
  SpeechRecognizer rec = new SpeechRecognizer();

  public Form1()
  {
    InitializeComponent();
    rec.SpeechRecognized += rec_SpeechRecognized;
  }

  void rec_SpeechRecognized(object sender, SpeechRecognizedEventArgs e)
  {
    lblLetter.Text = e.Result.Text;
  }

  void Form1_Load(object sender, EventArgs e)
  {
    var c = new Choices();
    for (var i = 0; i <= 100; i++)
      c.Add(i.ToString());
    var gb = new GrammarBuilder(c);
    var g = new Grammar(gb);
    rec.LoadGrammar(g);
    rec.Enabled = true;
  }

Il reconnaît les nombres de 1 à 100 et affiche le nombre obtenu sur le formulaire. Vous aurez besoin d'un formulaire avec une étiquette appelée lblLetter.

System.Speech ne fonctionne qu'avec une liste prédéfinie de mots ou de phrases ; ce n'est pas exactement NaturallySpeaking, que ce soit en termes de polyvalence ou de qualité de reconnaissance. Mais vous n'avez pas besoin de l'entraîner à la voix de l'utilisateur, et si vous n'avez que quelques mots différents que l'utilisateur peut dire, il fonctionne raisonnablement bien. Et c'est gratuit ! (si vous avez Visual Studio)

Il ne fonctionnera pas bien si vous utilisez des phrases très courtes ; j'ai créé un programme pour que mon enfant dise les lettres de l'alphabet et les voie à l'écran, mais il ne fonctionne pas très bien car de nombreuses lettres se ressemblent (surtout dans la bouche d'un enfant de quatre ans).

Pour ce qui est des options plus souples, il y a NaturallySpeaking, déjà mentionné, qui dispose d'un kit de développement logiciel (SDK). Mais il faut contacter le service commercial pour y avoir accès, et aucun prix n'est indiqué, ce qui donne l'impression d'un "Combien ça coûte ? Et bien, combien avez-vous ?". Il ne semble pas y avoir d'option "télécharger et jouer avec" :(

Quant à la synthèse vocale, System.Speech.Synthesis fait ceci. C'est même plus facile que la reconnaissance vocale. J'ai écrit un petit programme qui me permet de taper, d'appuyer sur Entrée et de lire le texte à haute voix. Mon fils de quatre ans est fasciné par ce programme :) ("Papa, je veux parler à da wobot.")

Answer 2

[Note : j'étais le responsable du développement de l'API de reconnaissance vocale gérée dans .NET 3.0].

System.Speech fait partie de .NET 3.0, il est donc disponible sur Vista et XP. Dans Vista, vous avez l'avantage supplémentaire d'avoir un moteur de reconnaissance vocale préinstallé par le système d'exploitation. Sous XP, vous avez le choix entre : utiliser le SDK SAPI 5.1 avec un moteur très ancien (mais qui peut fonctionner assez bien pour votre scénario de commande et de contrôle), installer Office 2003 qui installe une version plus récente du moteur de reconnaissance. Il existe également quelques moteurs de reconnaissance vocale compatibles avec SAPI 5.

Si vous devez changer de langue, vous devrez utiliser la classe System.Speech.Recognition.SpeechRecognitionEngine qui vous permet de choisir le moteur SR pour la langue que vous devez prendre en charge. Notez que les moteurs sont définis par un ensemble de langues qu'ils prennent en charge (ils peuvent utiliser le même binaire, en échangeant seulement des fichiers de données pour prendre en charge des langues supplémentaires).

Commentez si vous avez besoin d'en savoir plus.

Philipp

Answer 3

Avant cela, ajoutez la référence "Discours".

J'ai constaté que l'exemple de code posté par Kyralessa le 22 octobre ne fonctionnait pas pour moi, mais qu'une version légèrement révisée fonctionnait. Lorsque vous ajoutez des chaînes de caractères dans l'objet Choix, utilisez des mots anglais en texte intégral et non des chiffres. Il semble que le moteur de reconnaissance vocale de MS ne puisse pas reconnaître les chiffres en eux-mêmes.

J'ai indiqué ces modifications en ajoutant quelques commentaires à l'exemple précédent.

public partial class Form1 : Form
{
  SpeechRecognizer rec = new SpeechRecognizer();

  public Form1()
  {
    InitializeComponent();
    rec.SpeechRecognized += rec_SpeechRecognized;
  }

  void rec_SpeechRecognized(object sender, SpeechRecognizedEventArgs e)
  {
    lblLetter.Text = e.Result.Text;
  }

  void Form1_Load(object sender, EventArgs e)
  {
    var c = new Choices();

    // Doens't work must use English words to add to Choices and
    // populate grammar.
    //
    //for (var i = 0; i <= 100; i++)
    //  c.Add(i.ToString());

    c.Add("one");
    c.Add("two");
    c.Add("three");
    c.Add("four");
    // etc...

    var gb = new GrammarBuilder(c);
    var g = new Grammar(gb);
    rec.LoadGrammar(g);
    rec.Enabled = true;
  }

Answer 4

Si c'est le moteur qui vous intéresse, j'ai trouvé (attention, je ne fais qu'énumérer, je n'ai essayé aucun d'entre eux) :

Moteur Lumenvox

vous disposez également de la SAPI SDK de Microsoft lui-même, je ne l'ai essayé que pour la synthèse vocale, mais selon sa définition :

Le SDK comprend également des moteurs de synthèse vocale (TTS) distribuables gratuitement (en anglais américain et en chinois simplifié). et les moteurs de reconnaissance vocale (SR) (en anglais américain, chinois simplifié et japonais).

Answer 5

Sachez que vous n'obtiendrez pas de bons résultats si vous n'avez pas d'abord besoin d'une formation. La reconnaissance vocale est une application statistique de la phonétique, un domaine qui ne cache pas qu'il y a tellement de variations dans le signal que c'est presque un miracle que quelqu'un puisse comprendre ce que dit quelqu'un d'autre. Un moteur de reconnaissance vocale standard tendra très probablement vers un accent anglais plus général, mais échouera lamentablement pour tout ce qui est légèrement différent.

C'est pourquoi la formation est si importante. Nous pouvons facilement obtenir de bons résultats en procédant à un surajustement, surtout si nous réduisons l'espace du problème. Mais créer une solution d'apprentissage automatique extensible ? C'est là que le bât blesse.

Ceci étant dit, pensez à Sphinx-4. Il s'agit d'une solution standard écrite en Java, disponible à l'adresse suivante http://cmusphinx.sourceforge.net/sphinx4/