Lei Feng réseau Technologie AI Note de l'examen: Cet article de l'Université Jiaotong de Shanghai Professeur associé Niu Li comme AI Technology Review a offert des articles exclusifs, ne peuvent être reproduits sans autorisation.
Dans l'apprentissage de la machine traditionnelle, la formation et les essais sont effectués sur le même ensemble d'espèces. Dans l'apprentissage exemplaire zéro (apprentissage zéro-shot), un type ensemble d'apprentissage et le type de test série ne se chevauchent, à savoir les données appartenant à l'ensemble de formation pour former le type de modèle, et des données appartenant à l'ensemble de prédiction de l'espèce d'essai. Le type de formation et le type de test requis pour établir un contact par l'information sémantique de toutes sortes, de mettre dans le genre de formation une espèce modèle de classification pour les tests. Les types courants d'information sémantique, y compris attribut (attribut) et le vecteur de mot (mot vectoriel) et ainsi de suite. Lorsque la propriété nécessite le marquage manuel, mais plus précis, et donc mieux. Nous avons appelé les caractéristiques visuelles de l'image de l'espace visuel (espace visuel), le genre d'information sémantique est appelée espace sémantique (espace sémantique). Zéro exemple classique d'une grande classe d'apprentissage espace visuel est mis en correspondance avec l'espace sémantique, ou dans l'espace à l'espace visuel sémantique cartographié, ou à la fois mis en correspondance avec un sous-espace commun. Dans lequel le mappage appris est appelée cartographie sémantique visuelle (cartographie visuelle-sémantique). Par exemple, il y a une propriété de l'espace sémantique est has_tail, nous devons apprendre de l'espace visuel à la cartographie de la propriété, donc donné une nouvelle photos d'animaux, nous pouvons déterminer qu'il n'a pas de queue. Dans ce cas la cartographie sémantique visuelle équivalente se compose de plusieurs classificateurs propriétés. Mais pour différents types, une carte sémantique visuelle est très différente. Tels que les zèbres et les porcs ont des queues, mais leurs queues sont très différentes présentation visuelle, et donc le classificateur d'attribut correspondant est également une grande différence. Si la même chose pour tous les types de cartographie sémantique visuelle, obtenus sur l'espèce d'essai est compromise. Ce problème est connu d'émission cartographie migration de domaine (projection de changement de nom de domaine) de l'apprentissage à partir d'exemples zéro.
La plupart méthode de cartographie de domaine résolus avant la migration sont utilisés dans la phase de formation pour tester le type de données ne sont pas marquées, le type de formation et de test pour le type d'apprentissage d'une cartographie commune, ou pour les types de formation et les tests sont l'apprentissage d'une sorte de carte. Cependant, en raison des différences entre les différents types de cartes sont grandes, pour apprendre une ou deux cartes ne suffit pas. Par conséquent, nous vous proposons pour chaque espèce sont l'apprentissage d'une autre cartographie sémantique visuelle (cartographie de catégorie spécifique visuelle sémantique), article publié dans la revue Transaction sur Image Processing (T-IP). Plus précisément, nous vous proposons une première traditionnelle le procédé AEZSL, en utilisant une relation similaire entre le type de formation pour chaque type d'essai, une cartographie sémantique visuelle. Mais la tâche énorme pour ce coût de la formation est très élevé, donc nous proposons une méthode DAEZSL formation en apprentissage en profondeur une seule fois peut être appliqué à tout type de test. Les éléments suivants ont été introduits AEZSL et DAEZSL.
(1) Adaptive Learning Zero-Embedding Shot (AEZSL)
Notre approche est basée sur l'apprentissage zéro-Shot Embarrassant simple (ESZSL). expression ESZSL suit comme,
Dans lequel X est une caractéristique visuelle, A est une information sémantique, W est une cartographie visuelle sémantique, Y est le genre d'informations d'étiquette. ESZSL pour tous les types d'apprentissage d'une même cartographie sémantique visuelle W. Nous avons légèrement modifié sur la ESZSL de base, (obtenu selon le type de calcul de l'information sémantique) en utilisant une relation similaire entre chaque espèce d'essai et tous les types de formation, pour chaque essai un type d'apprentissage visuel distinct cartographie sémantique, exprimée comme suit:
Où Wc est la c-ième espèce d'essai visuel de mappage sémantique, Sc est le c-ième espèce d'essai et tous les types de formation de matrice de similarité. Cela peut migrer vers la relation de cartographie sémantique visuelle de test respectif entre le type d'utilisation de type similaire. Mais notre AEZSL besoin pour chaque espèce de test sont la formation d'une cartographie sémantique visuelle pour les frais de formation professionnelle à grande échelle sont très élevés. Par conséquent, nous proposons une méthode profonde AEZSL (DAEZSL) en fonction de la profondeur de l'apprentissage ont besoin d'être formé qu'une seule fois peut demander à tout type de formation sur les types de tests sont détaillés ci-dessous.
(2) de profondeur AEZSL (DAEZSL)
Notre objectif est d'apprendre une telle donnée dans tout type d'information sémantique, nous pouvons facilement obtenir le type d'informations de cartographie sémantique visuelle de la fonction de cartographie sémantique carte sémantique visuelle. Mais un tel degré élevé de complexité de la fonction de cartographie, donc nous devons prendre une autre façon, on suppose que chaque espèce il y a poids caractéristique d'apprentissage visuel, puis réapprendre une fonction de mappage de caractéristiques visuelles de l'information sémantique à droite. Apprentissage équivalent poids de l'apprentissage implicite pour le poids visuel particulier de chaque espèce pour chaque type de cartographie sémantique visuelle, une explication détaillée s'il vous plaît se référer au document. Nous avons conçu la structure du réseau, comme indiqué ci-dessous. Dans la phase d'entraînement, en supposant un total d'espèces de formation de C, dans le sous-réseau ci-dessus, les images d'apprentissage caractéristiques visuelles sont copiées dans les parties C, dans le sous-réseau suivant, tous les types d'information sémantique générer toutes sortes de poids de caractéristique visuelle par MLP , C agissant sur les parties copiées des caractéristiques visuelles. Après caractéristiques visuelles pondérés par la couche de liaison totale (correspondant à la cartographie sémantique visuelle) et tous les types d'informations sémantiques obtenues en multipliant la valeur de prédiction finale. Au cours de la phase de test, une image test par le sous-réseau ci-dessus, tous les types testés d'information sémantique à travers le sous-réseau suivant, obtenu en multipliant la valeur de prédiction de l'image de test.
Nous avons fait beaucoup dans les trois bases de données à petite échelle CUB, SUN, des chiens et une base de données à grande échelle IMAGEnet résultats expérimentaux montrent que notre méthode sur une petite échelle et les bases de données à grande échelle ont obtenu des résultats optimaux. En plus des résultats quantitatifs, nous fournissons également une analyse qualitative approfondie. Nous avons choisi deux types de « marché aux puces » images, deux images ont été classés avec succès notre méthode de AEZSL, mais a été divisé en mauvais ESZSL « magasin de chaussures. » En comparant les informations sémantiques « marché aux puces » et « magasin de chaussures », le « tissu » et « l'espace encombré. » Ces deux propriétés sont plus représentatifs du « marché aux puces ». Nous figure ci-dessous montre la valeur projetée dans le « tissu » et « espace encombré, » deux propriétés de deux images obtenues par la méthode ESZSL et AEZSL. De la figure peut être vu dans nos valeurs AEZSL d'approche projetée plus sur deux propriétés, ce qui signifie que notre approche de mieux saisir le « marché aux puces » en nature « tissu » et « espace encombré, » deux propriétés information sémantique.
Pour une explication plus, nous liste comprend également « tissu » attribut des deux espèces de la cour de badminton « et » atours «et contient également deux types de » « attribut » espace encombré usine de recyclage « et » décharge ». Comme on peut le voir sur la figure, les mêmes présente une des propriétés très différentes informations visuelles et sémantiques sur différents types.
Pour le type « marché aux puces », nous listons le plus proche et plusieurs espèces de bazar, friperie, marché, magasin général (comme indiqué ci-dessous). Visible pour « tissu » et « espace encombré, » deux propriétés, « marché aux puces » et les plus rapprochées des espèces mentionnées ci-dessus. Notre approche par plusieurs espèces d'association et de « marché aux puces » similaires à mieux saisir le type d'information sémantique « marché aux puces » de l'attribut « tissu » et « l'espace encombré », en savoir plus en forme dans la catégorie de la cartographie sémantique visuelle .
En résumé, nous avons proposé une étude distincte de carte sémantique visuelle pour chaque espèce, chaque espèce afin de mieux saisir les informations sémantiques, pour résoudre le problème de la migration exemple de mise en correspondance de domaine apprentissage zéro. Plus précisément, nous proposons une méthode et DAEZSL de AEZSL traditionnelle basée sur la profondeur de l'apprentissage. méthode d'essai AEZSL pour chaque type de formation pour obtenir une cartographie sémantique visuelle et DAEZSL ne ont besoin de formation sur le type de temps de formation peut être appliquée à tout type de test. les résultats d'analyses quantitatives et qualitatives sur quatre bases de données pour démontrer la supériorité de notre approche.
