Ji-won nouvelle recommandation

Auteur: Mark Sabini, Gili Rusak

Editeur: Xiao Qin, trois pierres

[New Ji-won EXAMEN restauration de l'image (image inpainting) est un problème de vision par ordinateur a été largement étudié, que la reprise de la partie manquante de l'image. Mark Sabini CS230 cours à l'Université de Stanford, qui a proposé « Image outpainting », plus loin que la restauration de l'image, une partie de l'extension de « inférées » un segment d'image, pour compléter l'image entière. Le papier a remporté la première extrémité de CS230 affiche de la période, l'effet est incroyable.

Code et documents portent sur:

https://github.com/bendangnuksung/Image-OutPainting

https://cs230.stanford.edu/projects_spring_2018/posters/8265861.pdf

C'est une peinture hors des sentiers battus: Image Code réalisation Outpainting de cet article. Le papier a remporté la première place à la fin des cours de Stanford CS230 Poster Andrew Ng.

restauration de l'image (image inpainting) Est-ce un problème de vision par ordinateur a été largement étudié, et une partie de la recherche d'images impliquant manquantes.

Le plus des méthodes de restauration d'image avancées, y compris Satoshi Iizuka et al SIGGRAPH 2017 approche basée GAN proposée proposé par , ainsi que l'approche basée sur CNN Guilin Liu et al NVIDIA .

Dans cette étude, notre objectif est la méthode est étendue à la partie en dehors de l'image de réparation ( outpainting ), À savoir, à remplir tout l'écran est au-delà de la limite de l'image.

Par outpainting récursive, vous pouvez être prolongé arbitrairement image.

Description du problème et la préparation des données

L'image donnée à la source d'un m × n

Génère un m × (n + 2k) de l'image, dans lequel

• Au centre

• Pour regarder réel et naturel

Pour résoudre le problème est: m = 128, n = 64, k = 32

données

images de référence: image RVB Ville de 128 × 128

Ensemble de données: Place365-Standard

• Contenant 36500 image RVB de 256 x 256, l'échantillon est réduit à 128 × 128

• 100 images pour vérifier

Place365 échantillon image ville ensemble de données

Les données pré-traitement:

Compte tenu de l'image

, À Normalisée

masque défini M:

Faire la définition du masque

intensité de pixel moyenne calculée

installer

Stacking

exportation

méthode

Pipeline Formation:

• Utilisation de la littérature DCGAN structure similaire (G, D);

• Compte tenu ITR, et prétraiter Ip obtenu en;

• Exécuter G (Ip) afin d'obtenir une image outpainted Io;

• D Io et en cours d'exécution sur Au rez-de-vérité;

Horaire de formation:

• Pour régler les trois phases de formation G et D;

• Etape i: en utilisant Adam (Ir = 0,0001, 1 = 0,9, 2 = 0,999, = 08/10) une optimisation de perte (i) dans l'itération Ti;

• 18: 2: 80 tranche sélectionnée T1, T2, T3

• = 0,0004 contrôle perte MSE

Après le traitement:

La réforme dans Io

clone Poisson (clonage continu) et à la

mixte

modèle

structure

À l'exception de la dernière de D et G, chaque couche est relu. G et D sont émis fonction sigmoïde. Dans lequel, est le facteur de dilatation (facteurs de dilatation).

Outpainting

Vérifier la réparation concentré image de l'échantillon retenu un résultat, le rez-de-vérité originale affiché ensemble. modèle de formation de 100 heures (équivalent à 227.500 itérations), la taille du lot est 16.

Places365 perte de MSE

MSE Perte Place365 dans la formation. La couleur de fond est différent à différents stades. Dans la phase 3, en raison de la perte de l'articulation (perte commune) a été optimisée, MSE a perdu une petite augmentation.

identificateur local (Local Discriminateur)

identifiant local utilisé pour la formation, ce qui réduit les bandes verticales et la fidélité des couleurs amélioré, mais augmente le temps de la formation et de l'artefact.

Impact de l'extension (dilatation) de

Réseau de formation à l'image de la ville est trop équipée. Dans le cas du manque d'expansion, en raison de l'acceptation des champs finis, le réseau ne peut pas outpaint.

récursive outpainting

Après le remplissage et l'agrandissement, l'image peut être entré dans le réseau. Ce processus est répété de façon récursive le fonctionnement, la largeur de l'image se développer à 3,5. Comme prévu, le mélange de bruit avec des itérations successives.

conclusion

• Et en fin de compte l'image outpainting;

• La formation contribue à sa stabilité en trois étapes;

• Pour outpainting, la pleine expansion de la convolution des neurones reçoivent domaine critique

• Bien accompagnée d'un bruit et d'erreurs, mais récursion outpainting est faisable.

Image Outpainting réalisé par Keras

Dans la mise en uvre du code, l'image 256 * 256, nous avons fait quelques modifications:

• Ajouté perte d'identité, à savoir, l'image générée à partir de l'image originale

• Supprimer les patches (pipeline de formation) à partir des données de formation

• Avec des coupes (culture) au lieu d'un masque (masquage) (pipeline de formation)

• L'ajout d'une couche de convolution

résultat

Modèle de données Plage formé 200 époques.

peinture récursive

Image Outpainting réalisé par Keras

1. Préparer les données:

2. La construction du modèle

• Pour construire le modèle à partir de zéro, vous pouvez exécuter « outpaint.ipynb », ou

• Vous pouvez télécharger le train de modèle complet, et déplacez-le « point de contrôle / », puis exécutez-le.

https://drive.google.com/file/d/1548iAtsNf3wLSc1i5zYy-HX8_TW95wi_/view?usp=sharing

référence:

S. Lizuka, E. Simo-Serra, et H. Ishikawa globalement et localement l'image cohérente achèvement ACM Transactions on Graphics (TOG), 36 (4): .. 107, 2017.

. G. Liu, F. A. Reda, J. K. Shih, T.-C. Wang, Tao R. et B. Catanzaro image inpainting de trous irréguliers en utilisant des convolutions partielles arXiv preprint arXiv: .. 180407723, 2018.

B. Zhou, A. la pedriza, A. Khosla, A. Oliva et A. Torralba Places: .. 10 millions d'images pour la base de données de reconnaissance de scène IEEE Transactions sur le modèle d'analyse et de l'intelligence artificielle, 2017.

Nouveau Ji-won AI MONDE 2018 Assemblée générale] [Début des billets d'oiseaux en vente!

New Ji-won aura lieu le 20 Septembre AI Conférence mondiale des 2018 à Beijing National Convention Center, a invité l'apprentissage machine parrain, en mettant l'accent sur le professeur de l'intelligence artificielle à la CMU Tom Mitchell, Maike Mark Si-Tiger, Zhou Zhihua, un grand Cheng Tao, Chen Yiran AI et d'autres dirigeants et le destin de l'humanité.

Le site officiel de l'Assemblée générale:

Maintenant jusqu'au 19 Août, Ji-won nouveau numéro d'édition limitée de billets Early Bird communication étroite avec le leader mondial de l'IA, l'intelligence artificielle, témoin de l'industrie mondiale à pas de géant.

• Billets de ligne active lien:

• billet de ligne active de code à deux dimensions: