Lei Feng réseau AI Technology Review, récemment, Kaggle publié sur le blog de « Planète: Comprendre l'Amazone de l'espace » entretien du concours, lors de la visite, nous avons appris un certain champion de l'information de base bestfitting il a utilisé dans le jeu quelques détails techniques, ainsi que des conseils à tout le monde. Lei Feng réseau AI Technology Review compilera l'entrevue originale se résument comme suit:

Dans le récemment tenu une « Planète: Comprendre l'Amazone de l'espace » compétition, les organisateurs planète afin de mieux suivre et comprendre les causes de la déforestation, veut laisser les joueurs sur l'étiquette Kaggle leurs images satellite du bassin amazonien .

Les organisateurs offrent une formation de plus de 40.000 feuilles d'images, chaque image sont couverts par plusieurs étiquettes, étiquettes généralement divisés en groupes suivants:

Conditions atmosphériques: ensoleillé, partiellement nuageux, nuageux, la formation de buée

Usage général et types de couverture des terres: les forêts, l'agriculture, rivières, villes / villes, routes, terres agricoles, Dénudé

Couverture du sol et un type rare d'utilisation: coupe et brûlé, l'exploitation sélective, la culture, l'extraction conventionnelle, la main d'extraction, soufflage détruits.

Récemment, nous avons parlé au champion du tournoi bestfitting, dans l'interview, il décrit en détail comment il intègre 11 affiner le réseau et comment utiliser la structure de corrélation de convolution d'étiquettes pour nous. En outre, il a également parlé de afin d'éviter certaines des idées de surajustement.

Informations de base

Sous vous pouvez parler de participer à l'expérience professionnelle avant le match?

Je me suis spécialisé dans l'informatique, il a plus de dix ans d'expérience en programmation Java, travaille actuellement dans le sens du traitement des données à grande échelle, l'apprentissage de la machine et l'apprentissage en profondeur.

Dans ce jeu, vous utilisez ce que l'expérience et de l'expertise avant d'?

Cette année, j'ai participé à beaucoup de jeux sur l'étude approfondie sur Kaggle, obtenir dans le jeu que j'ai bénéficié de l'expérience et de l'intuition.

Vous commencez à participer au jeu Kaggle est l'occasion basé sur quoi?

À partir de 2010, je regardais beaucoup sur l'apprentissage de la machine, l'apprentissage en profondeur des livres et des documents, mais il me est difficile de d'apprendre l'algorithme est appliqué à ces petites données disponibles mis. En même temps, j'ai trouvé beaucoup de jeu de données intéressantes, noyau et une bonne discussion sur Kaggle, par conséquent, l'année dernière, je ne peux pas attendre pour participer au jeu « Prédire Red Hat Business Value » sur Kaggle.

Quelles sont les raisons de participer à ce jeu est?

Il y a deux raisons.

Tout d'abord, je suis très intéressé par la conservation, je pense que si propre expérience et la vie de rendre les gens meilleurs de la Terre, c'est cool. En outre, la forêt amazonienne est souvent dans le film et l'histoire est apparue, j'étais très intéressé.

De plus, j'ai participé à divers concours sur l'étude approfondie sur Kaggle, le jeu utilise les algorithmes de segmentation et de détection, cette fois, j'espère participer au match de classement, essayer des choses différentes.

discussions techniques

Pouvez-vous nous dire quelques mots sur le plan?

C'est un jeu de classification multi-étiquette et l'étiquette est déséquilibrée.

Le jeu est très compétitif, parce que les deux dernières années a été beaucoup plus grande utilisation de l'algorithme de classification d'images, et il y a eu beaucoup de nouveaux algorithmes, en plus, il y a beaucoup d'une grande expérience visuelle dans les lecteurs informatiques.

J'ai essayé une variété de je pense qu'il pourrait être populaire avec l'algorithme de classification, sur la base d'une analyse minutieuse de la relation entre l'étiquette et la capacité du modèle, je construit une approche intégrée et remporté la première place dans la compétition.

Ce qui suit est une structure de modèle:

• Tout d'abord, prétraiter l'ensemble de données (en changeant la taille de l'image, désembuage) et utiliser des techniques d'amélioration des données standard.

• La prochaine étape dans la phase de modèle, je affiner le 11 réseau neuronal convolutif (CNN), pour obtenir la probabilité de chaque étiquette de catégorie de CNN. Jeu J'ai utilisé un certain nombre de populaire, de haute performance CNN, par exemple, ResNets DenseNets, Inception et SimpleNet et ainsi de suite.

• Ensuite, je veux passer à travers chaque modèle de régression de crête de probabilité d'étiquette de CNN, qui doit être ajustée en utilisant les corrélations de probabilité d'étiquette.

• Enfin, j'utilise un autre modèle de régression ridge ces 11 CNN intégrés ensemble.

• Il est également intéressant de noter que ce jeu, je ne l'ai pas utilisé la fonction standard de journal en fonction de la perte, mais l'utilisation d'une fonction spéciale de perte de F2 flexible (F2-perte spéciale douce), qui est d'obtenir un score plus élevé F2.

Dans la phase de pré-ingénierie et de fonctionnalités, avez-vous précisément quelles actions?

Et prétraiter étapes d'amélioration des données:

• Tout d'abord, régler la taille de l'image.

• En outre, l'ensemble d'apprentissage et d'essai définies je l'ai fait une certaine amélioration de données, par exemple, l'image est inversée, mis en rotation, de déplacement et une transformation élastique.

• J'ai aussi utilisé une technologie désembuage, ce qui permet au réseau de « voir » une image plus nette. A propos de cette technologie, en utilisant le canal noir antérieur décrit en détail dans le document unique image Haze Enlèvement.

Voici quelques-uns des exemples du traitement désembuage dans l'ensemble de données:

Peut être vu de la figure, un traitement désembuage, des balises (par exemple l'eau, nu) augmentera la fraction F2, F2 fraction, mais d'autres étiquettes (par exemple, jour ensoleillé et brumeux, etc.) seront réduits. Mais ne vous inquiétez pas, le fonctionnement intégré peut choisir le modèle le plus puissant pour chaque étiquette, en général processus désembuage sera amélioré score global.

Qu'est-ce que vous utilisez la méthode d'apprentissage supervisé?

Modèle de compétition intègre 11 types de réseau de convolution populaire comprend: l'intégration des différents nombre de paramètres, le nombre de couches de ResNet et DenseNet, en plus de modèle de lancement et SimpleNet. Après avoir remplacé la couche de sortie finale pour atteindre la sortie du jeu, je affiner ces pré-formés dans toutes les couches de CNN, et ne gèle pas toute couche.

ensemble La formation comprend plus de 40.000 photos ce montant est suffisant pour me rencontrer quelques-uns commencer la formation de l'architecture de CNN, comme resnet_34 et resnet_50. Mais je trouve que, pour le droit à des poids de réseau pré-formés fin TUNE obtenir de meilleures performances.

Afin de marquer plus F2, pour être utile pour vous des compétences particulières?

Les organisateurs présenteront les résultats de la note d'évaluation F2, ce score est une combinaison de précision et de rappel, un peu semblable au score de F1, mais le taux de rappel est supérieure à la précision du poids. Par conséquent, nous devons former non seulement le modèle pour prédire la probabilité de l'étiquette, mais aussi de choisir la valeur du seuil optimal pour déterminer si l'étiquette à l'image marquée par des étiquettes de valeur de probabilité.

Dans un premier temps, et beaucoup d'autres concurrents, j'utilise la perte de fonction de journal comme une perte, mais dans le tableau suivant, F2 avec des scores plus faibles ne seront pas enregistrer les augmentations de la valeur de la perte.

Cela implique la nécessité de trouver une autre fonction de la perte, le modèle sera plus l'attention est concentrée sur les étiquettes de raffinement de rappel. Inspiré par le code des forums de jeu, je l'ai écrit une fonction de perte de F2 flexible (Soft fonction F2-Perte).

Cette fonction F2 améliore vraiment la note globale, le rôle de l'agriculture, et plus particulièrement nuageux arable ces trois étiquettes.

Avez-vous une idée sur les données et les modèles?

J'ai analysé la corrélation entre l'étiquette et trouvé quelques étiquettes coexistent souvent, mais d'autres étiquettes est pas le cas. Par exemple, ensoleillé, partiellement nuageux, nuageux et brouillard ces étiquettes ne sont pas co-existent, mais l'étiquette abri et l'agriculture souvent ensemble. Cela signifie que cette association peut rendre la structure du modèle est améliorée.

Par exemple, regardez le modèle ResNet-101 qui permettra de prédire la probabilité de chaque étiquette 17 apparaît. Pour pouvoir utiliser la pertinence de l'étiquette, j'ai ajouté une autre couche de régularisation Ridge à recalibrer la probabilité de chaque étiquette pour tous les modèles.

En d'autres termes, afin de prédire la probabilité de finalement effacer cette balise (utilisation du modèle ResNet-101), il existe un modèle spécial de régression de crête ensoleillée pour prédire la situation va recevoir le modèle ResNet-101 de l'ensemble des 17 balises.

Comment le modèle d'intégration?

Après tout N obtenir le modèle de prédiction, nous avons une probabilité de N différents modèles à partir des étiquettes ensoleillées. Nous pouvons utiliser ces probabilités pour prédire la probabilité d'une étiquette claire finale par une autre régression de crête.

Cette régression de crête à deux couches a deux effets:

Tout d'abord, il nous permet de tirer parti des informations pertinentes entre les différentes étiquettes.

En second lieu, il nous permet de sélectionner le modèle le plus fort pour prédire la probabilité d'occurrence de chaque étiquette.

Qu'est-ce que vous êtes autorisé à lui-même être surpris de trouver ce?

Même si je dois prévoir des changements majeurs dans les derniers classement (classement leaderboard public-privé et les scores sont très différents), mais je suis toujours surpris.

Dans la dernière étape (de la fin de 10 jours) jeu, j'ai trouvé que les scores sur le leaderboard du public sont très proches, mais je suis sur la validation croisée et le score totalement incapable de faire une optimisation et la mise à niveau, donc je me suis dit de faire attention à éviter il y a eu juste pourrait trouver sa place dans le cas de l'étiquette de bruit.

Afin de ne pas faire des erreurs dans la dernière étape, j'utilise graine aléatoire, sélectionnez la moitié du jeu de la formation de l'image comme un nouvel ensemble de formation pour simuler le public et la liste privée.

Je trouve que la graine du changement, l'écart entre mes scores de scores analogiques leaderboard publics et privés pourrait être étendue à 0,0025. Mais sur une liste publique, l'écart entre la première et la dixième place est inférieure à cette valeur.

Cela signifie qu'un changement très important peut se produire dans le jeu.

Après une analyse minutieuse, je trouve que cette différence est apparu dans certaines images sont plus difficiles, il est aussi facile de confondre l'image dans l'étiquette, comme une carte qui est marqué comme brouillard ou nuageux, route ou eau, la plantation ou la coupe sélective.

À cause de cela, je me suis convaincu que les scores de classement public et non pas une mesure parfaite de la capacité à modéliser.

Ceci est inattendu: car jeu de test public contient plus de 40.000 images, il semble le classement devrait être assez stable.

Donc, je me suis ajusté la cible, juste pour qu'il puisse garder l'intérieur 10 de l'avant et a décidé la semaine dernière ne se soucient pas de leur classement exact sur le leaderboard public. De plus, j'ai essayé de trouver l'un des plus stables de façon à l'intégration du modèle, j'ai jeté un modèle peut conduire à une installation, et enfin je le système de vote et la régression de la crête.

Pourquoi tant de modèles?

La réponse est simple: la diversité.

Je pense que le nombre de modèles ne causera pas de problèmes majeurs pour les raisons suivantes:

• Tout d'abord, si nous voulons un modèle simple, vous ne pouvez choisir un ou deux de ces modèles, et encore ils obtiennent un bon score (top 20) dans le public et liste privée.

• D'autre part, le jeu a 17 étiquettes, les étiquettes identifiant les différents modèles de capacité différente.

• En outre, cette solution peut être utilisée pour remplacer le travail de marquage manuel ou simplifié. Étant donné que les ressources informatiques sont relativement moins cher que le coût du travail, nous ne pouvons pas prédire l'image tagged image, la correction d'erreur est prédite par l'utilisation du puissant modèle, l'utilisation des ensembles de données étendues continue itérations, pour former plus puissant, plus facile modèle.

Quels outils utilisez-vous?

Python 3.6, PyTorch, PyCharm

Matériel pour le régler?

Configuration NVIDIA GTX quatre TITAN serveurs GPU X Maxwell.

La voix de l'expérience

Qu'avez-vous appris dans cette compétition que vous avez?

Comme mentionné ci-dessus, je trouve que, avec une légère perte de la fonction F2 (soft fonction F2 perte), l'augmentation de l'algorithme désembuage, obtenir des scores élevés deux applications critiques à droite de régression de crête.

De plus, parce qu'il y aura l'étiquette de bruit, nous avons pleine confiance dans leur méthode de validation croisée.

Pour les personnes à partir des données pour que la recherche scientifique, ce qui suggère que vous avez?

• Apprenez de certains des meilleurs cours, tels que Stanford CS229 et CS231n.

• De la concurrence Kaggle, le noyau et un script de démarrage pour apprendre.

• Kaggle participer au jeu, acquérir de l'expérience et la récolte dans le jeu.

• Lisez le journal tous les jours, pour une méthode de papier, vous pouvez passer à la prochaine pratique.

Lei Feng réseau AI Technology Review édité.