EXAMEN
Récemment, l'Université de Californie à l'équipe de recherche de San Diego a développé un matériel et un logiciel inspiré nerf programme co-conception, ce qui rendra le réseau de neurones formation plus économes en énergie et rapide. Un jour, leur travail permettra tels que la formation du réseau de neurones devient téléphones intelligents, les ordinateurs portables et les appareils embarqués dans les appareils de faible puissance.
fond
Former le réseau de neurones pour effectuer diverses tâches, telles que la reconnaissance d'objets, la navigation, les véhicules sans pilote, des jeux, n'apportera pas seulement une puissance élevée de calcul, il faudra beaucoup de temps. L'intégration des centaines de grands processeurs informatiques ont généralement besoin d'apprendre ces tâches, et le temps de formation pour atteindre quelques semaines ou quelques mois encore.
Alors, pourquoi ce phénomène se produit?
La raison, ou de l'architecture informatique classique: début de l'architecture de Von Neumann. architecture de Von Neumann est la plus puce du processeur informatique grand public et l'architecture. Cette architecture informatique proposée par le scientifique américano-hongrois von Neumann (von Neumann John) en 1946.
(Source: Wikipedia)
Dans l'architecture de Von Neumann, la mémoire (RAM) pour stocker des instructions de programme et des données, un processeur (CPU) pour exécuter des instructions et traiter les données. Cependant, le processeur et la mémoire sont deux unités complètement séparées, le dos de déplacement de données et-vient entre les processeurs et la mémoire. Comme la technologie informatique continue de progresser, et d'améliorer constamment la vitesse du processeur, la capacité de la mémoire a été élargie, mais la croissance la vitesse d'accès à la mémoire lente est devenu un goulot d'étranglement majeur dans la performance globale de l'ordinateur, qui est appelé le problème du « mur de la mémoire ».
Grâce à l'architecture informatique von Neumann, dans la formation du réseau de neurones, un grand nombre de calculs nécessaires pour se développer, lire fréquemment et la mémoire d'écriture, les données sont souvent et-vient entre un processeur et de la mémoire, il consommera plus de l'énergie et le temps .
Afin de résoudre ces problèmes, « calcul en mémoire (informatique en mémoire) » fournit une solution très prometteuse. Il intègre les fonctions de stockage et de calcul dans un seul dispositif, de sorte que non seulement devenir mémoire de stockage, est devenu un processeur. Par conséquent, effectuer des tâches de calcul directement dans la mémoire, ce qui améliore considérablement les performances et l'efficacité globale de l'ordinateur, ce qui réduit considérablement la consommation d'énergie et de courir plus vite.
Ces dernières années, les scientifiques du monde entier ont lancé une exploration scientifique devrait apporter beaucoup de « calcul en mémoire ». J'ai maintes fois introduit des percées scientifiques dans des domaines connexes, nous examinons d'abord le cas grâce à la recherche « memristor » et « mémoire modèle résistif », représenté par:
(A) Université de chercheurs du Michigan ont mis au point un nouveau type de puce memristor, il peut briser le goulot d'étranglement de l'architecture informatique traditionnelle rencontré plus adapté système d'apprentissage de la machine d'intelligence artificielle pour mieux répondre aux problèmes de données complexes grands, faible consommation d'énergie, une plus grande vitesse.
(Source: Université du Michigan)
(B) Académie nationale française des sciences, l'Université de Bordeaux et les chercheurs de l'Université d'Evry ont mis au point un synapses de neurones artificiels commun situés directement sur la puce, également connu sous le nom « memristor ». Les résultats font du temps du système d'apprentissage intelligent et l'énergie nécessaire devient moins, et est entièrement automatique.
(Source: National Academy of Sciences française)
(C) University of Michigan a développé réseau neuronal fait memristor, également connu comme le système informatique de mise en commun de réserve. Il enseigne une machine penser comme un être humain, et d'améliorer considérablement l'efficacité. Il évite le plus cher du processus de formation, le réseau fournit également la capacité de mémoire.
(Source: Référence [2])
(IV), l'équipe de l'Université de Stanford a développé une mémoire « puce en trois dimensions » et de l'unité logique, en tant que couche étages disposés en alternance, et utilise des milliers de connexion vertical nanométrique pour communiquer. Cela raccourcit la transmission de données à distance, les données permettant un transfert plus rapide, consomment moins d'énergie.
(Source: Université de Stanford)
(E) Université Purdue, Institut national des normes et de recherche et les chercheurs Theis de la technologie pour concevoir une mémoire résistive (RRAM) de matériau à deux dimensions en deux molybdène tellurure. Cela devrait fournir à grande vitesse et d'économie d'énergie de stockage de données RRAM.
Ci-dessous: Sur la base de la performance de la RRAM 2H-MoTe2- et 2H-Mo1-xWxTe2- et un ensemble de tension selon l'épaisseur de la feuille.
(Source: Référence [3])
(F) Les chercheurs de l'Université Suzhou en Chine comme un nitrure de bore hexagonal multicouche diélectrique, conçu un ensemble de « mémoire résistif (RRAM) ». L'étude devrait apporter plus de nouvelles technologies de stockage de la technologie de stockage est plus rapide et économe en énergie.
Schéma de la structure de nitrure de bore hexagonal (Source: Wikipedia)
(Vii) Technology Institute of Physics Moscou (MIPT) chercheurs ont développé un nouveau programme, de contrôler la teneur en oxygène du film d'oxyde de tantale préparé par dépôt de couche atomique de l'art (ALD), le film est appelé à devenir non la base de la mémoire à changement de résistance.
(Source: MIPT)
innovation
Aujourd'hui, regardons une technologie qui promet d'apporter « en mémoire de calcul, » les nouveaux résultats.
Récemment, l'Université de Californie à l'équipe de recherche de San Diego a développé un matériel et un logiciel inspiré nerf programme co-conception, ce qui rendra le réseau de neurones formation plus économes en énergie et rapide. Un jour, leur travail permettra tels que la formation du réseau de neurones devient téléphones intelligents, les ordinateurs portables et les appareils embarqués dans les appareils de faible puissance.
Comme le montre la figure suivante: le matériel et l'Université de Californie algorithme, San Diego, une équipe de recherche et développement, permettra de réduire la consommation d'énergie et le temps de fonctionnement nécessaire pour former le réseau de neurones.
(Source: David Baillot / Université de Californie, San Diego Jacobs School of Engineering)
Un récemment publié dans « Nature Communications (Nature Communications) » sur le papier journal décrit les progrès de l'étude.
technologie
UC San Diego Jacobs School of Engineering, professeur de génie électrique et informatique et auteur principal du document Duygu Kuzum son laboratoire et l'entreprise Adesto Technologies pour développer un « peut être calculée directement dans la cellule de mémoire » du matériel et des algorithmes, sans répétition le transfert de données en arrière.
Kuzum Département de génie électrique Groupe de recherche à l'Université de Californie, San Diego, Ph.D., premier auteur du papier Yuhan Shi a dit: « Nous nous attaquons à ce problème des deux extrémités (dispositifs d'extrémité et algorithmes fin), afin de maximiser l'efficacité énergétique de la formation du réseau de neurones. "
Dans cette étude, avec des composants matériels, une technologie de mémoire non volatile super-efficace, à savoir 512 Kbit quantum Bite Ya « pont conducteur de mémoire à accès aléatoire (CBRAM) » matrice.
pont alkylène quantique mémoire à accès aléatoire propriétés conductrices de l'électricité (Source: La référence [4])
CBRAM, est un potentiel de la technologie de mémoire résistive, principalement utilisé en tant que la taille de la résistance à l'élément de mémoire d'interprétation sur la base des informations d'état stockées, différentes résistances à l'état de stockage, ayant la vitesse d'accès et la performance énergétique d'excellentes performances, est considéré comme le plus grand potentiel pour devenir l'un de l'élément de mémoire non volatile de la prochaine génération.
(Source: Université de Californie, San Diego Jacobs School of Engineering)
Conductive réseau de mémoire à accès aléatoire quantique pont alkylène de puissance est un dixième de un pour cent à la technologie de mémoire principale aujourd'hui. La technologie de mémoire Adesto CBRAM basée sur de tels dispositifs. Cette technique est principalement utilisée comme seulement « 0 » mémoire numérique « 1 » deux états, mais Kuzum et des spectacles de démonstration en laboratoire que la technologie peut avoir une pluralité de programmes analogiques par l'état, pour imiter le cerveau humain synapses biologiques. Ce que l'on appelle « dispositif de synapses » peut être utilisé pour former le réseau de neurones lancé « calcul en mémoire. »
Kuzum système informatique intégré et Centre de sécurité à l'Université de Californie, San Diego la machine, elle a dirigé le développement de l'algorithme peut être facilement mis en correspondance avec l'ensemble des dispositifs que les synapses nerveuses. Au cours de calcul du réseau de neurones, l'algorithme permet d'économiser plus d'énergie et de temps.
Comme le montre la figure ci-dessous: De gauche à droite, l'Université de Californie, San Diego PhD en génie électrique, premier auteur du papier et professeur à San Diego Yuhan Shi génie électrique et informatique, Université de Californie, chercheur principal Duygu Kuzum.
(Source: Université de Californie, San Diego Jacobs School of Engineering)
Le programme utilise un réseau de neurones économes en énergie, connu sous le nom « spiking réseau de neurones (spiking réseau de neurones) », utilisé pour obtenir du matériel d'apprentissage non supervisé. La chose la plus importante est, l'équipe Kuzum applique un algorithme différent d'économie d'énergie développée par eux, appelé « taille douce (la taille douce) », il rend le réseau de neurones formation plus économes en énergie, sans pour autant sacrifier la précision .
algorithme Enregistrement
les réseaux de neurones artificiels sont une série de couches de neurones interconnectés, chaque couche fournit une sortie à une autre entrée. La force de la liaison entre ces couches est représenté par un soi-disant « poids ». Former le réseau de neurones peut être mis à jour sur ces poids.
réseau de neurones traditionnel prend beaucoup d'énergie pour mettre à jour continuellement chaque poids. Cependant, Smasher réseau de neurones, seule l'impulsion des neurones associés à des poids lourds sera mis à jour. Cela signifie moins de mises à jour des moyens de calcul moins du temps et de la consommation d'énergie.
Neural Networks a également lancé le soi-disant « apprentissage non supervisé. » « apprentissage non supervisé » signifie qu'il peut être auto-formation fondamentalement. Par exemple, si une série de chiffres écrits à la main présentée au réseau de neurones, le réseau de neurones va comprendre comment distinguer 0,1,2 et ainsi de suite. L'avantage est que, sans la nécessité de former le réseau de neurones par exemple le marquage, ce qui signifie qu'il n'a pas besoin d'être dit qu'il est de voir 0,1,2, qui pour la navigation autonome et d'autres applications utiles.
Afin de former plus rapidement et plus, laboratoire Kuzum économes en énergie mis au point un nouvel algorithme, appelé les « taille douce », sans supervision de réseau de neurones d'impulsion. « La taille douce », vous pouvez trouver un poids mûr pendant l'entraînement, puis les mettre à une constante non nulle. Cela évite à continuer de mettre à jour le reste de la formation, de manière à minimiser la puissance de calcul.
« Taille douce », différente de la méthode traditionnelle de taille, car il se fait pendant la formation, plutôt que après la formation. Quand il est la formation du réseau de neurones sur le test «la taille douce » peut aussi conduire à une plus grande précision. En général, la taille, le poids ou redondant de lourds sans importance seront complètement supprimés. L'impact de négatif que vous coupez le poids, plus faible précision du réseau de neurones en cours de test. Mais « la taille douce » a été en mesure de conserver ces poids à des conditions de faible énergie, ils aident toujours le réseau de neurones avec une grande précision pour effectuer des tâches.
matériel et logiciels de test de co-conception
Équipe sur les synapses de réseau de dispositifs de CBRAM quantique d'Asie, pour atteindre un influx nerveux inspiré des réseaux de neurones non supervisés et de l'algorithme « de taille douce ». Ils ont ensuite formé classificateur réseau de neurones que les chiffres écrits à la main à partir de la base de données MNIST.
Dans le test, 75% du poids pour obtenir « la taille douce » précision de la classification du réseau de neurones numérique de 93%. En revanche, les méthodes traditionnelles de la taille, seulement 40% de la pondération pour obtenir détourage précis, le réseau de neurones est inférieur à 90%.
valeur
Kuzum dit: « Traditionnellement, la mémoire de la puce de processeur est très limité, donc ils ne sont pas assez de calcul et la capacité de stockage en même temps sur la même puce, cependant, dans ce scénario, nous avons formé le réseau de neurones peut être étendu à la mémoire liée. calculée matrice de mémoire de masse, sans transmission de données au processeur externe au cours de la formation, ce qui apportera de nombreux gains de performances et de réduire la consommation d'énergie ».
Conditions d'économie d'énergie, l'équipe a estimé que, par rapport au niveau actuel de la technologie, leurs nerfs inspirés du matériel et le programme de co réduction du logiciel éventuellement la consommation d'énergie de l'appareil de neurones de formation du réseau de deux à trois ordres de grandeur.
Kuzum a déclaré: « Si l'on se réfère à d'autres technologies de stockage similaires pour détecter le nouveau matériel, nous estimons la consommation d'énergie de nos appareils peut être réduite à un dixième de un pour cent, alors notre algorithme de collaboration à son tour encore la conception de faible consommation d'énergie un dixième. Dans l'ensemble, nous voulons suivre notre approche sera de réduire la consommation d'énergie à un millième d'un pour cent ».
avenir
Quant à l'avenir, Kuzum et son équipe planifiées et les entreprises technologiques de stockage, favoriseront ce travail à l'étape suivante.
Leur but ultime est de développer un système complet, dans ce système complet, réseau de neurones peut être formé dans une mémoire de manière à réduire la consommation d'énergie et moins de budget de temps pour effectuer des tâches plus complexes.
mot-clé
Les réseaux de neurones, les technologies de stockage, des algorithmes
Documents de référence
[1]
. [2] Chao Du, Fuxi Cai, Mohammed A. Zidan, Wen Ma, Seung Hwan Lee, D. Lu Wei réservoir en utilisant le calcul de memristors dynamiques pour le traitement de l'information temporelle Nature Communications, 2017, 8 (1) DOI 10.1038 :. / s41467 -017-02337-y
[3] Feng Zhang, Huairuo Zhang, Sergiy Krylyuk, Cory A. Milligan, Yuqi Zhu, Y. Dmitry Zemlyanov, Leonid A. Bendersky, Benjamin P. Burton, Albert V. Davydov, Joerg Appenzeller. Champ électrique induit transition structurelle MoTe2- vertical et Mo1-xWxTe2 à base de mémoires résistives Nature Materials, 2018; 18 (1) :. 55 DOI: 10.1038 / s41563-018-0234-y
[4]
