Source: Almost Human

Cet article sur 2387 mots Il a recommandé la lecture pendant cinq minutes.

Les chercheurs ont proposé de FAIR méthode de classification pour la formation à grande échelle de bout en réseau de convolution final. Ils se sont avérés obtenir des caractéristiques visuelles utiles commun avec le cadre du cluster est réalisable.

Clustering est une méthode d'apprentissage non supervisé est largement utilisé et de la recherche en vision par ordinateur, mais presque pas de caractéristiques visuelles sur de grands ensembles de données à la fin avait été adopté la formation finale. Ici, Facebook AI Institut proposé profondeur regroupement (DeepCluster), le procédé de mise en grappe de neurones apprentissage combiné de l'acquisition des paramètres et des caractéristiques des grappes réseau assignées. Les résultats de la formation sans supervision sur IMAGEnet et YFCC100M autre taille typique de l'ensemble de données d'émissions de réseau de neurones de convolution que cette méthode est de loin supérieure à la technologie actuelle dans tous les indicateurs de performance.

la formation du réseau de neurones Preconvoluted, parfois appelé le réseau de convolution, est devenu la base de la plupart des applications de vision par ordinateur des blocs de construction . Ils peuvent être extraits d'excellentes caractéristiques générales, apprendre à améliorer la capacité de généralisation des données limitées dans le modèle . Les grandes IMAGEnet de surveillance des ensembles de données est mis en place pour promouvoir les progrès du réseau pré-formation de convolution. Cependant, Stock et Cissé données empiriques récentes suggèrent que la performance optimale du classificateur sur la performance de IMAGEnet est largement sous-estimée, et à gauche presque pas de problème d'erreur. Ceci explique pourquoi, en dépit de l'émergence d'un grand nombre de nouvelle architecture au cours des dernières années, dans une certaine mesure, mais la performance est encore saturée . En fait, selon les normes d'aujourd'hui, IMAGEnet est relativement faible, il « seulement » contient un million d'images couvrant tous les domaines de la classification. Donc, pour construire un plus grand et plus diversifié, et comprend même des milliards de jeu de données d'image est logique. Et cela nécessitera beaucoup d'annotation manuelle, bien que la communauté au cours des années a accumulé une richesse d'expertise crowdsourcing , mais au lieu de l'étiquette par les métadonnées d'origine entraînera l'écart de représentation visuelle, ce qui entraîne des conséquences imprévisibles . Cela nécessite la méthode de formation pour les ensembles de données à l'échelle Internet sans supervision.

Apprentissage non supervisé dans la communauté d'apprentissage machine a été largement étudiée, sont souvent utilisés dans les applications de vision par ordinateur, le regroupement, la réduction de la dimensionnalité ou de densité algorithme d'estimation . Par exemple, « dans lequel le paquet » en utilisant un descripteur de modèles de classification de génération d'image étiquetés manuellement bon niveau caractéristique . Il est une raison clé du succès est qu'ils peuvent être appliqués à un domaine particulier ou un ensemble de données, telles que les images satellite ou des images médicales, ou en utilisant une nouvelle modalité (par exemple, la profondeur de l'objet) acquis dans ce mode, incapable d'obtenir beaucoup d'étiquettes. Plusieurs études indiquent que l'estimation non supervisée ou densité basée sur la réduction de la dimension peut être appliquée à un modèle de profondeur pour produire une bonne caractéristiques visuelles générales . Bien que la méthode de regroupement a obtenu un succès initial dans la classification de l'image, mais peu fait au réseau fin de convolution pour la formation , et à l'échelle immature. Le problème est que la méthode de classification est principalement conçu pour les modèles linéaires disposent d'un fixe, si les caractéristiques d'apprentissage nécessaires en même temps, ils ont peu d'effet. Par exemple, k-means en utilisant un réseau d'apprentissage convolutionnel seront caractérisés par le zéro de solution triviale, et le cluster s'effondrer en une seule entité.

Dans cet article, les chercheurs ont proposé de FAIR méthode de classification pour la formation à grande échelle de bout en réseau de convolution final. Ils se sont avérés obtenir des caractéristiques visuelles utiles commun avec le cadre du cluster est réalisable. Le procédé représenté sur la figure 1, en alternant entre un descripteur d'image de la grappe et mettre à jour le réseau en prédisant le poids de convolution affectés cluster. Par souci de simplicité, nous allons nous concentrer sur les k-means, mais vise également les autres méthodes de classification, telles que le regroupement d'itération de puissance (PIC) . Le processus de réutilisation de nombreuses compétences communes, la formation et le réseau de surveillance de convolution standard est très similaire à . Et la méthode d'auto-surveillance différents, les avantages du regroupement qui ne nécessitent pas beaucoup d'expertise ne pas besoin d'entrer un signal spécifique . Bien que cette méthode est très simple, mais la méthode non supervisée que le projet précédemment sur la classification et la migration des tâches IMAGEnet à de meilleurs résultats.

Figure 1: illustration d'une méthode proposée: Deep caractéristiques regroupement itérativement, et en utilisant un paramètre de regroupement comme une affectation étiquette pseudo réseau convolutionnel à apprendre.

Enfin, en modifiant le protocole, en particulier dans l'ensemble de la formation et convolution de la structure du réseau, les chercheurs cadre solide ont été explorés. La série d'expériences résultant Doersch, qui discutent pour faire l'expansion, à savoir l'impact de ces choix sur les performances des méthodes non supervisées. Ils ont prouvé que les procédés décrits ici, l'architecture plus robuste. Fonction peut améliorer considérablement la qualité et la performance de la migration avec VGG remplacé AlexNet. Plus important encore, ils discutent de l'utilisation de IMAGEnet comme modèle non supervisé ensemble d'apprentissage. Bien qu'il aide à comprendre l'impact de l'étiquette sur les performances du réseau, mais IMAGEnet un ensemble spécifique de la distribution d'images à grains fins classification d'images par défi: il se compose d'un cours équilibré, par exemple, il contient toutes sortes de races. Alternativement, les images peuvent être sélectionnées au hasard Flickr Thomee et al YFCC100M ensemble de données. Leur méthode a la meilleure performance dans la formation actuelle de cette distribution de données non déterminé. Enfin, la classe de qualité de référence actuelle se concentre sur la capacité à l'information de capture dans un réseau de convolution sans supervision. Les chercheurs ont également recommandé de les évaluer sur la recherche d'images de référence, afin de mesurer leur capacité à capturer l'information au niveau de l'instance.

Dans cet article, les chercheurs ont fait les contributions suivantes:

• Une nouvelle méthodes d'apprentissage non supervisé pour atteindre fin à convolution extrémité du réseau, cette méthode peut être utilisée avec des algorithmes de classification standard, tels que k-means, et nécessite des étapes supplémentaires très peu;
• Pour atteindre le niveau de meilleur niveau dans de nombreuses tâches de migration en cours à l'aide de l'apprentissage non supervisé;
• Lorsque la formation de distribution d'image non traitée, surpassant la technologie la plus avancée précédente;
• Discuté le programme d'évaluation en cours comporte une formation non supervisée.

Papier: Deep Clustering pour l'apprentissage des Unsupervised caractéristiques visuelles

Adresse Papers: https: //arxiv.org/abs/1807.05520v1

Résumé: Clustering est une méthode d'apprentissage non supervisé est largement utilisé et de la recherche en vision par ordinateur, mais presque pas de caractéristiques visuelles sur de grands ensembles de données à la fin avait été adopté la formation finale. Dans cet article, nous vous proposons une profondeur de regroupement (DeepCluster), qui est un des paramètres du réseau de neurones apprentissage en commun, avec un accès de regroupement distribution de regroupement. profondeur de cluster en utilisant un standard k-means itère algorithme de regroupement fonction, suivi d'une cession comme un droit de surveillance et de mettre à jour les poids du réseau. Nous convolution de formation de réseau de neurones sans supervision sur le regroupement de profondeur appliquée IMAGEnet et YFCC100M ces grands ensembles de données. Le modèle final dans tous les critères de performance sont de loin supérieurs à la technologie actuelle.

expérience

Dans des expériences préliminaires, l'équipe de recherche a étudié le comportement du regroupement dans la profondeur du processus de formation. Ensuite, sur les critères standards de ses méthodes et les modèles les plus avancés avant de comparer avant, et le regroupement des filtres de profondeur ont été évalués qualitativement.

visualisation

Figure 3: après l'entrée RGB d'origine (à gauche) ou d'un filtre de Sobel (à droite), le résultat de convolution de la première couche de filtre sur un apprentissage non supervisé AlexNet de IMAGEnet.

Figure 4: Filtre cible de visualisation filtre le premier neuf et l'image active de la sous-image de concentration un million de YFCC100M pour la formation en cluster AlexNet en utilisant une profondeur de l'CONV1 de IMAGEnet, conv3 et conv5. Visualisation du filtre est obtenue par apprentissage une image d'entrée en réponse à l'image en maximisant le filtre cible .

Figure 5: 10000000 YFCC100M sous-images aléatoires à partir de l'avant de l'ensemble d'images 9 activation, par le dernier filtre couche cible de convolution. Haut ligne correspond à une image contenant un filtre sensible à l'objet. La ligne du bas montre les résultats plus sensibles à filtre de style. Par exemple, les filtres 119 et 182 sont semble à l'activation de l'effet de la formation de buée de fond et la profondeur de champ.

valeur d'activation de classification linéaire

Tableau 1: IMAGEnet Lieux et un classificateur linéaire sur une valeur caractéristique de la convolution de la couche d'activation est utilisé AlexNet. taux de précision de la classification a rapporté plus moyen de 10 types de cultures. D'autres méthodes de numérique de Zhang et al .

Pascal VOC 2007

Comparaison des fonctionnalités plus récentes méthodes d'apprentissage non supervisée de détection et la segmentation de la classification Pascal COV: 2 table. * Indique que Krahenbuhl et al., Utilisation de l'initialisation de dépendance de données . D'autres méthodes de production d'une marque numérique est un .