Guo Yipu du fond de la non-Temple évidée
rapports Qubit | Numéro public QbitAI
DeepMind récemment des outils tensorflow 2.0 sacrifice de sa propre possession:
TF-Replicator Cela aurait pu être dans une bibliothèque de logiciels pour un usage personnel, ce qui permet aux chercheurs ont jamais fait des systèmes distribués pour déployer facilement leur modèle tensorflow sur plusieurs GPU / cloud TPU, applique également à Keras.
À l'heure actuelle, le modèle de programmation TF-Replicator est déjà open source dans le cadre de tensorflow dans tf.distribute.Strategy.
Un ingénieur sur Twitter écrié: Ceci est simplement tensorflow 2.0 trésors cachés ah!
Comment utiliser
Code tensorflow TF-Replicator utilisant le code écrit en une seule écriture d'un dispositif similaire, permet aux utilisateurs de définir leur propre modèle de cycle de fonctionnement libre.
Les utilisateurs ne doivent définir deux parties:
1. La fonction de l'ensemble de données d'entrée est décrit;
Étape 2. La fonction de la logique du modèle.
1 # modèle avec le déploiement d'un TpuReplicator. 2repl = tf_replicator.TpuReplicator ( 3 num_workers = 1, num_tpu_cores_per_worker = 84) 5Avec repl.context (): 6 = resnet_model modèle () 7 base_optimizer = tf.train.AdamOptimizer () 8 optimiseur = repl.wrap_optimizer (base_optimizer) 910 # ... code pour définir réplique input_fn et step_fn. 1112per_replica_loss = repl.run (step_fn, input_fn) 13train_op = tf.reduce_mean (per_replica_loss) 1415with tf.train.MonitoredSession () en session: 16 repl.init (session) 17 for i in xrange (num_train_steps): 18 session.run (train_op) 19 repl.shutdown (session)GAN a provoqué d'essayer
Maintenant, nous GAN pour tester l'effet de TF-Replicator. Ici est utilisé sur la formation en IMAGEnet spectrale normalisation GAN (SN-GAN, arXiv: 1802,05957).
Par rapport à la GPU de formation seule pièce, avec GPU TF-réplicateur distribué sur une pluralité de former beaucoup mieux.
Par exemple, pour générer l'image des oranges, qui est une taille de lot 8 et la taille des lots 16 lorsque:
Fondamentalement, ne voient pas est l'orange.
la taille des lots 32 et la taille du lot 64 est mieux, vous pouvez le voir, il est orange, mais comme un cheveux longs, un coup de feu était comme une gifle au visage:
la taille du lot 128 avec la chair orange, la taille du lot 256 de forme relativement normale:
Les exemples le plus de taille de lot 512, a la forme d'oranges et oranges presque réel, la chair et la chair blanche entre la valve peut également être vu, en plus de la peau un peu d'orange épaisse sans problème cette qualité.
Des points de vue, tant que la taille des lots a été augmentée 64-512 peut être un score réel a augmenté d'environ 50%.
Eh bien, je l'espère continuer à ouvrir certaines de ses propres produits de bonne DeepMind.
portail
Enfin, joindre les documents officiels relatifs à:
Document tensorflow
https://www.tensorflow.org/alpha/guide/distribute_strategy
bloc-notes colab
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
bloc-notes GitHub
https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
Blog DeepMind
https://deepmind.com/blog/tf-replicator-distributed-machine-learning/
thèse
https://arxiv.org/abs/1902.00465
- complet -
recrutement sincère
Qubits recrutent éditeur / journaliste, basé à Zhongguancun de Beijing. Nous attendons de talent, des étudiants enthousiastes de nous rejoindre! Détails, s'il vous plaît interface de dialogue qubit numéro public (QbitAI), réponse mot "recrutement".
qubit QbitAI · manchettes sur la signature de
' « suivre les nouvelles technologies AI dynamiques et de produits
