Partage
  • Partager sur Facebook
  • Partager sur Twitter

[IA] Entrainer un réseau avec un seul type

Intelligence artificielle

Anonyme
    15 octobre 2018 à 4:02:15

    Salut

    Je suis nouveau en ce qui concerne les IA. Python aussi, mais étant donné que la plupart des ressources sont en python, j'ai trouvé plus pertinent de publier ici.

    En fait, j'ai un jeu de données et j'aimerais entrainer un réseau pour reconnaitre un seul type de documents...

    Genre : Ceci est un CV ( 0.9581 ), et celui là n'en est pas un ( 0.1234 )

    Normalement, je pense que c'est possible, mais je préfère vérifier au près de vous. Je veux savoir si le fait de ne "discriminer" par rapport à autre chose biaise l'entrainement.

    J'utilise FastText ;)

    Merci

    -
    Edité par Anonyme 15 octobre 2018 à 4:02:58

    • Partager sur Facebook
    • Partager sur Twitter
      16 octobre 2018 à 8:36:42

      Bonjour. J'ai trouvé la doc, et de ce que j'en comprend tu dois avoir par exemple :

      train.txt :

      __label__cv

      un cv

      __label__cv

      un cv

      ect ... ect ... avec le plus de cv possible.

      Ensuite :

      classifier = fasttext.supervised("train.txt", "model")
      result = classifier.text("test.txt")
      
      # le résultat est dans result.precision

      Je n'ai pas testé, mais à première vue ça marche comme ça.

      • Partager sur Facebook
      • Partager sur Twitter

      typage structurel ftw

      Anonyme
        22 octobre 2018 à 14:28:03

        digammaF a écrit:

        Bonjour. J'ai trouvé la doc, et de ce que j'en comprend tu dois avoir par exemple :

        train.txt :

        __label__cv

        un cv

        __label__cv

        un cv

        ect ... ect ... avec le plus de cv possible.

        Ensuite :

        classifier = fasttext.supervised("train.txt", "model")
        result = classifier.text("test.txt")
        
        # le résultat est dans result.precision

        Je n'ai pas testé, mais à première vue ça marche comme ça.

        C'était pas vraiment ma question :)

        j'ai eu la réponse sur developpez.com . Quand on entraîne un réseau de neurone, je voulais savoir s'il fallait forcément des facteurs discriminants... la réponse est non, même si c'est recommander pour éviter le "sur-entrainement" et le manque de "bruit"

        • Partager sur Facebook
        • Partager sur Twitter
          23 octobre 2018 à 19:49:16

          Comme tu va entrainer ton reseaux avec un dataset assez large ( enfin j'imagine que tu aura plusieurs C.V different et plusieur 'non-cv' different ) , il ne devrait pas avoir d'apprentissage biaise car tu aura une base d'apprentissage differente. Ca pourrait etre biaise si tu n'avais qu'un seul C.V et qu'un seul 'non-cv' ; alors la ton AI n'apprendrait pas a reconnaitre 'des CV' mais a reconnaitre 'LE cv'
          • Partager sur Facebook
          • Partager sur Twitter

          [IA] Entrainer un réseau avec un seul type

          × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
          × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
          • Editeur
          • Markdown