Aujourd'hui, je parlerai du cloud computing, du big data et de l'intelligence artificielle. Pourquoi parlez-vous de ces trois choses? Parce que ces trois choses sont très populaires maintenant, et qu'elles semblent être liées les unes aux autres: quand on parle de cloud computing, le big data sera mentionné, quand on parle d'intelligence artificielle, le big data sera mentionné, et quand on parle d'intelligence artificielle, le cloud computing sera mentionné ... Je sens que les trois sont complémentaires et inséparables. Mais s'il s'agit d'une personne non technique, il peut être plus difficile de comprendre la relation entre les trois, il est donc nécessaire d'expliquer.
1. L'objectif initial du cloud computing
Parlons d'abord du cloud computing. L'objectif initial du cloud computing est la gestion des ressources, qui couvrent principalement trois aspects: les ressources informatiques, les ressources réseau et les ressources de stockage.
La gestion d'un centre de données est comme un ordinateur
Que sont les ressources informatiques, réseau et de stockage?
Par exemple, si vous souhaitez acheter un ordinateur portable, vous souciez-vous du type de processeur de cet ordinateur? Combien de mémoire? Ces deux sont appelés Ressources informatiques.
Pour accéder à Internet, cet ordinateur doit disposer d'un port réseau pouvant brancher un câble réseau ou d'une carte réseau sans fil pouvant se connecter à notre routeur. Votre domicile doit également aller chez un opérateur tel que China Unicom, China Mobile ou Telecom pour ouvrir un réseau, tel que 100M de bande passante. Ensuite, il y aura un maître pour obtenir un câble réseau jusqu'à votre domicile, le maître peut vous aider à configurer votre routeur et la connexion réseau de leur entreprise. De cette manière, tous les ordinateurs, téléphones portables et tablettes de votre domicile peuvent accéder à Internet via votre routeur. C'est Ressources Internet.
Vous pouvez également demander quelle est la taille du disque dur? Dans le passé, les disques durs étaient très petits, tels que 10G; plus tard, même les disques durs 500G, 1T et 2T n'étaient pas nouveaux. (1T est 1000G), c'est Ressources de stockage.
Cela ressemble à ceci pour un ordinateur, et c'est la même chose pour un centre de données. Imaginez que vous ayez une très, très grande salle informatique avec beaucoup de serveurs entassés. Ces serveurs ont également un processeur, de la mémoire et des disques durs, et ils sont également connectés à Internet via un périphérique de type routeur. La question à l'heure actuelle est la suivante: comment les personnes qui exploitent le centre de données gèrent-elles ces appareils de manière unifiée?
La flexibilité signifie que vous l'avez quand vous voulez, tout ce que vous voulez
Le but de la gestion est de parvenir à une flexibilité sous deux aspects. Quels sont les deux aspects spécifiques?
Prenons un exemple pour comprendre: par exemple, quelqu'un a besoin d'un très petit ordinateur avec un seul processeur, 1 Go de mémoire, 10 Go de disque dur et un mégaoctet de bande passante. Pouvez-vous lui donner? Pour un ordinateur d'une si petite taille, n'importe quel ordinateur portable est désormais meilleur que cette configuration, et un haut débit à la maison est de 100M. Cependant, s'il se dirige vers une plate-forme de cloud computing, il n'a besoin que d'un seul point lorsqu'il veut cette ressource.
Dans ce cas, il peut atteindre deux aspects de flexibilité:
- Flexibilité du temps: Chaque fois que vous le voulez, vous le voulez, et il sort quand vous en avez besoin;
- Flexibilité de l'espace: Il y en a autant que vous le souhaitez. Un ordinateur trop petit peut être satisfait; un très grand espace, tel qu'un disque cloud, est nécessaire. L'espace alloué par le disque cloud à tout le monde est très important à tout moment. Il y a de l'espace pour le téléchargement à tout moment et il ne peut jamais être utilisé. de.
La flexibilité de l'espace et la flexibilité du temps sont ce que nous appelons souvent l'élasticité du cloud computing. Il a fallu longtemps pour résoudre ce problème de flexibilité.
L'équipement physique n'est pas flexible
La première étape est la période d'équipement physique. Pendant cette période, le client avait besoin d'un ordinateur, nous en avons donc acheté un et l'avons placé dans le centre de données.
Bien sûr, l'équipement physique s'améliore de plus en plus. Par exemple, les serveurs, la mémoire peut représenter des centaines de gigaoctets de mémoire à chaque tour; par exemple, l'équipement réseau, la bande passante d'un port peut être de dizaines de gigaoctets, voire de centaines de gigaoctets; comme le stockage, au moins au niveau PB dans le centre de données ( Un P vaut 1000 T et un T vaut 1000 G).
Cependant, l'équipement physique ne peut pas atteindre une grande flexibilité:
- Le premier est son manque de flexibilité dans le temps. Cela ne peut pas être réalisé quand vous le souhaitez. Par exemple, l'achat d'un serveur ou d'un ordinateur nécessite du temps pour l'achat. Si soudainement un utilisateur dit à un fournisseur de cloud qu'il souhaite ouvrir un ordinateur et utiliser un serveur physique, il sera difficile d'acheter à ce moment-là. Une bonne relation avec un fournisseur peut prendre une semaine, et une relation normale avec un fournisseur peut prendre un mois pour acheter. L'utilisateur a attendu longtemps avant que l'ordinateur ne soit en place. À ce moment-là, l'utilisateur devait se connecter et commencer lentement à déployer son application. La flexibilité du temps est très mauvaise.
- Deuxièmement, sa flexibilité spatiale n'est pas bonne. Par exemple, l'utilisateur susmentionné a besoin d'un très petit ordinateur, mais comment peut-il y avoir un si petit ordinateur maintenant? Il est impossible d'acheter une machine aussi petite tant qu'un G de mémoire est un disque dur de 80G pour satisfaire les utilisateurs. Mais si vous en achetez un gros, vous devrez facturer plus d'argent à l'utilisateur car l'ordinateur est gros, mais l'utilisateur doit utiliser uniquement ce petit montant, il serait donc erroné de payer plus.
La virtualisation est beaucoup plus flexible
Quelqu'un a trouvé une solution. La première est la virtualisation. Les utilisateurs nont-ils pas simplement besoin dun très petit ordinateur? L'équipement physique du centre de données est très puissant. Je peux virtualiser une petite pièce du processeur physique, de la mémoire et du disque dur pour la donner aux clients, et je peux également en virtualiser une petite pièce pour d'autres clients. Chaque client ne peut voir que son petit morceau, mais en fait chaque client utilise un petit morceau du grand appareil entier.
La technologie de virtualisation donne l'impression que les ordinateurs de différents clients sont isolés. C'est-à-dire que j'ai l'air que ce disque est le mien, et que vous regardez ce disque comme le vôtre, mais en réalité, mon 10G et votre 10G peuvent tomber sur le même grand stockage. Et si l'équipement physique est préparé à l'avance, il est très rapide pour le logiciel de virtualisation de virtualiser un ordinateur, ce qui peut être résolu en quelques minutes. Donc, si vous souhaitez créer un ordinateur sur n'importe quel cloud, il sortira dans quelques minutes, c'est la raison.
De cette manière, la flexibilité de l'espace et la flexibilité du temps sont fondamentalement résolues.
Gagner de l'argent et des sentiments dans le monde virtuel
Au stade de la virtualisation, la meilleure entreprise est VMware. C'est une entreprise qui a mis en uvre la technologie de virtualisation relativement tôt et qui peut réaliser la virtualisation de l'informatique, du réseau et du stockage. Cette société est très bonne, les performances sont très bonnes, le logiciel de virtualisation est également très bon, et il a fait beaucoup d'argent, puis il a été acquis par EMC (le top 500 mondial, la première marque de fabricants de stockage).
Mais il y a encore beaucoup de gens sentimentaux dans ce monde, en particulier des programmeurs. Qu'est-ce que les gens sensibles aiment faire? Open source.
De nombreux logiciels dans ce monde sont open source s'il existe une source fermée, et la source est le code source. En d'autres termes, un certain logiciel est bien fait, et tout le monde adore l'utiliser, mais le code de ce logiciel est fermé par moi, seule mon entreprise le sait, d'autres non. Si d'autres personnes veulent utiliser ce logiciel, elles doivent me payer, c'est ce qu'on appelle la source fermée.
Mais il y a toujours de grandes vaches dans le monde qui ne peuvent pas comprendre la situation où tout l'argent fait une famille. Les grandes vaches pensent que vous pouvez connaître cette technologie et moi aussi; si vous pouvez la développer, moi aussi. Lorsque je le développe, je ne facture pas d'argent. Je prends le code et le partage avec tout le monde. N'importe qui dans le monde peut l'utiliser, et tout le monde peut en profiter. C'est ce qu'on appelle l'open source.
Par exemple, le récent Tim Berners Lee est une personne très affectueuse. En 2017, il a remporté le prix Turing 2016 pour «avoir inventé le World Wide Web, le premier navigateur, et les protocoles et algorithmes de base qui ont permis au World Wide Web de se développer». Le prix Turing est le prix Nobel de l'industrie informatique. Cependant, sa chose la plus admirable est qu'il a contribué gratuitement au World Wide Web, notre technologie WWW commune. Nous devons le remercier pour toutes nos actions sur Internet, s'il utilise cette technologie pour collecter de l'argent, il devrait être aussi riche que Bill Gates.
Il existe de nombreux exemples d'open source et de source fermée:
Par exemple, dans le monde du code source fermé, il y a Windows, et tout le monde doit payer Microsoft pour utiliser Windows; dans le monde open-source, Linux apparaît. Bill Gates a gagné beaucoup d'argent en s'appuyant sur des logiciels à code source fermé tels que Windows et Office Connu comme l'homme le plus riche du monde, Daniel a développé un autre système d'exploitation, Linux. Beaucoup de gens n'ont peut-être pas entendu parler de Linux. La plupart des programmes exécutés sur les serveurs back-end sont sous Linux. Par exemple, tout le monde apprécie Double Eleven, que ce soit Taobao, Jingdong, Koala ... Les systèmes qui prennent en charge les snap-ups Double Eleven fonctionnent tous Sur Linux.
S'il y a Apple, il y a Android. La valeur marchande d'Apple est très élevée, mais nous ne pouvons pas voir le code du système d'Apple. Alors Daniel a écrit le système d'exploitation mobile Android. Vous pouvez donc voir que presque tous les autres fabricants de téléphones mobiles ont des systèmes Android installés. La raison en est que le système Apple n'est pas open source et que le système Android peut être utilisé par tout le monde.
Il en va de même pour les logiciels de virtualisation: avec VMware, ce logiciel est très coûteux. Ensuite, il y a deux logiciels de virtualisation open source écrits par Daniel, l'un s'appelle Xen et l'autre s'appelle KVM.Si vous ne faites pas de technologie, vous pouvez ignorer ces deux noms, mais ils seront mentionnés plus tard.
Virtualisation semi-automatique et cloud computing entièrement automatique
Dire que le logiciel de virtualisation résout le problème de la flexibilité n'est pas correct. Étant donné que le logiciel de virtualisation crée généralement un ordinateur virtuel, il est nécessaire de spécifier manuellement sur quelle machine physique l'ordinateur virtuel est placé. Ce processus peut également nécessiter une configuration manuelle plus compliquée. Par conséquent, pour utiliser le logiciel de virtualisation de VMware, vous devez prendre un très bon certificat, et le salaire de ceux qui peuvent obtenir ce certificat est assez élevé, et la complexité est également visible.
Par conséquent, l'échelle de cluster de machines physiques qui ne peuvent être gérées que par un logiciel de virtualisation n'est pas particulièrement grande, généralement à une échelle d'une douzaine, de dizaines ou tout au plus d'une centaine.
Cet aspect affectera la flexibilité du temps: bien que le temps de virtualisation d'un ordinateur soit très court, à mesure que l'échelle du cluster se développe, le processus de configuration manuelle devient de plus en plus compliqué et prend du temps. D'autre part, cela affecte également la flexibilité de l'espace: lorsque le nombre d'utilisateurs est important, l'échelle de ce cluster est loin d'atteindre le niveau souhaité. Il est probable que cette ressource soit bientôt épuisée et que vous deviez l'acheter.
Par conséquent, à mesure que l'échelle de la grappe devient de plus en plus grande, elle commence essentiellement avec un millier d'unités, à chaque tour des dizaines de milliers, voire des dizaines de millions. Si vous vérifiez BAT, y compris NetEase, Google et Amazon, le nombre de serveurs est effrayant. Il est presque impossible pour autant de machines de compter sur des personnes pour choisir un emplacement pour installer cet ordinateur virtualisé et le configurer en conséquence. Des machines sont encore nécessaires pour ce faire.
Les gens ont inventé divers algorithmes pour ce faire. Le nom de l'algorithme est Programme (planificateur) . En termes simples, il existe un centre de répartition avec des milliers de machines dans un pool. Quel que soit le nombre d'ordinateurs virtuels avec processeur, mémoire et disques durs dont les utilisateurs ont besoin, le centre de répartition trouvera automatiquement une place dans le grand pool qui peut répondre aux besoins des utilisateurs. Démarrez l'ordinateur virtuel et configurez-le, et l'utilisateur peut l'utiliser directement. Cette étape est appelée regroupement ou cloudification. À ce stade, on peut l'appeler cloud computing, avant cela, on ne peut l'appeler que virtualisation.
Cloud computing privé et public
Le cloud computing est à peu près divisé en deux types: l'un est le cloud privé, l'autre est le cloud public, et certaines personnes connectent le cloud privé et le cloud public en tant que cloud hybride. Je n'en parlerai pas ici.
- Nuage privé : Déployez cet ensemble de logiciels de virtualisation et de cloudisation dans les centres de données d'autres personnes. Les utilisateurs qui utilisent des clouds privés sont souvent très riches, achètent leur propre terrain pour construire une salle informatique, achètent leurs propres serveurs, puis laissent les fournisseurs de cloud les déployer ici. Outre la virtualisation, VMware a par la suite lancé des produits de cloud computing et a fait beaucoup d'argent sur le marché du cloud privé.
- Cloud public : Le déploiement de logiciels de virtualisation et de cloudisation dans le propre centre de données du fournisseur de cloud ne nécessite pas beaucoup dinvestissement. Les utilisateurs doivent uniquement créer un compte pour créer un ordinateur virtuel sur une page Web en un seul clic. Par exemple, AWS est le cloud public d'Amazon; comme le cloud domestique Alibaba, Tencent Cloud et NetEase Cloud.
Pourquoi Amazon veut-il être un cloud public? Nous savons qu'Amazon s'est avéré être une société de commerce électronique étrangère relativement importante. Lorsqu'elle fait du commerce électronique, elle rencontrera certainement une scène similaire à Double Eleven: à un moment donné, tout le monde se précipite pour acheter des choses. Lorsque tout le monde se précipite pour acheter des choses, la flexibilité du temps et de l'espace du cloud est particulièrement nécessaire. Parce qu'il ne peut pas préparer toutes les ressources à tout moment, ce serait trop de gaspillage. Mais vous ne pouvez pas être préparé à rien. En regardant Double Eleven, tant d'utilisateurs veulent acheter des choses et ne peuvent pas monter sur le tableau. Ainsi, lorsque Double Eleven sera nécessaire, un grand nombre d'ordinateurs virtuels seront créés pour prendre en charge les applications de commerce électronique. Après Double Eleven, ces ressources seront libérées pour faire d'autres choses. Amazon a donc besoin d'une plateforme cloud.
Cependant, les logiciels de virtualisation commerciaux sont trop chers et Amazon ne peut pas donner tout l'argent qu'il gagne dans le commerce électronique aux fournisseurs de virtualisation. Amazon a donc développé son propre logiciel cloud basé sur une technologie de virtualisation open source, telle que Xen ou KVM comme mentionné ci-dessus. De manière inattendue, l'activité de commerce électronique ultérieure d'Amazon est devenue de plus en plus puissante et la plate-forme cloud est devenue de plus en plus puissante.
Parce que sa plate-forme cloud doit prendre en charge ses propres applications de commerce électronique; alors que les fournisseurs de cloud computing traditionnels sont principalement des fournisseurs informatiques et n'ont presque pas d'applications propres, la plate-forme cloud d'Amazon est plus conviviale pour les applications et s'est rapidement développée pour devenir la première marque de cloud computing. , Fait beaucoup d'argent.
Avant qu'Amazon n'annonce le rapport financier de sa plate-forme de cloud computing, les gens pensaient que le commerce électronique d'Amazon faisait de l'argent, mais que le cloud faisait aussi de l'argent? Plus tard, dès l'annonce du rapport financier, il s'est avéré qu'il ne s'agissait pas de monnaie ordinaire. L'an dernier seulement, Amazon AWS a réalisé un chiffre d'affaires annuel de 12,2 milliards de dollars américains et un bénéfice d'exploitation de 3,1 milliards de dollars américains.
L'argent et les sentiments du cloud computing
Amazon, la première place dans le cloud public, a passé un bon moment, et la deuxième place, Rackspace, a eu une moyenne. Pas question, c'est la cruauté de l'industrie Internet, qui est principalement un modèle gagnant-emporte-tout. Donc, si la deuxième place n'est pas dans l'industrie du cloud computing, de nombreuses personnes n'en ont peut-être pas entendu parler.
La deuxième place a juste pensé, que dois-je faire si je ne peux pas faire le patron? Ouvrez-le. Comme mentionné ci-dessus, bien qu'Amazon utilise la technologie de virtualisation open source, le code cloudisé est une source fermée. De nombreuses entreprises qui veulent faire mais ne peuvent pas faire de plates-formes basées sur le cloud ne peuvent que regarder Amazon gagner beaucoup d'argent. Dès que Rackspace publie le code source, toute l'industrie peut travailler ensemble pour rendre cette plate-forme de mieux en mieux. Frères, allons ensemble et luttons avec le patron.
Rackspace et la NASA ont donc coopéré pour créer le logiciel open source OpenStack. Comme le montre la figure ci-dessus, le diagramme d'architecture OpenStack n'est pas une industrie du cloud computing. Vous n'avez pas besoin de comprendre ce diagramme, mais vous pouvez voir trois mots-clés: calcul informatique, mise en réseau, stockage espace de rangement. C'est également une plateforme de gestion cloud pour l'informatique, le réseau et le stockage.
Bien sûr, la deuxième technologie est également très bonne. Avec OpenStack, comme le pense Rackspace, toutes les grandes entreprises qui veulent devenir cloud sont folles. Toutes les grandes entreprises informatiques que vous pouvez imaginer sont comme IBM, HP, Dell, Huawei, Lenovo, etc. sont tous fous.
Il s'avère que tout le monde veut le faire sur la plate-forme cloud. En regardant Amazon et VMware gagner autant d'argent, il semble qu'il n'y ait aucun moyen de le faire. Il semble qu'il soit assez difficile d'en créer un par vous-même. Eh bien maintenant, avec une telle plate-forme cloud open source OpenStack, tous les fournisseurs informatiques ont rejoint la communauté, ont contribué à cette plate-forme cloud, les ont emballés dans leurs propres produits et les ont vendus avec leur propre équipement matériel. Certains ont créé des clouds privés et d'autres des clouds publics.OpenStack est devenu le standard de facto pour les plates-formes cloud open source.
IaaS, flexibilité au niveau des ressources
À mesure que la technologie d'OpenStack devient de plus en plus mature, l'échelle qui peut être gérée devient de plus en plus grande, et il peut y avoir plusieurs clusters OpenStack pour déployer plusieurs ensembles. Par exemple, Pékin déploie un ensemble, Hangzhou en déploie deux et Guangzhou en déploie un, puis procède à une gestion unifiée. De cette façon, toute l'échelle est encore plus grande.
À cette échelle, pour la perception des utilisateurs ordinaires, ils peuvent essentiellement faire ce qu'ils veulent quand ils le veulent et ce qu'ils veulent. Prenons le disque cloud comme exemple. Chaque disque cloud utilisateur se voit allouer 5T ou plus d'espace. S'il y a 100 millions de personnes, combien d'espace cela représente-t-il?
En fait, le mécanisme derrière cela est le suivant: pour allouer votre espace, vous ne pouvez en utiliser qu'une petite quantité. Par exemple, il vous alloue 5 T. Un si grand espace est exactement ce que vous voyez, pas vraiment. Voilà, vous n'avez en fait utilisé que 50 Gs, mais ce que vous vous donnez vraiment c'est 50 G. Au fur et à mesure que vos fichiers se téléchargent, de plus en plus d'espace vous sera alloué.
Lorsque tout le monde télécharge et que la plate-forme cloud constate qu'elle est presque pleine (par exemple, 70% est utilisé), elle achètera plus de serveurs et étendra les ressources derrière elle. Ceci est transparent et invisible pour les utilisateurs. En termes de ressenti, l'élasticité du cloud computing est réalisée. En fait, c'est un peu comme une banque. Les déposants ont le sentiment qu'ils peuvent retirer de l'argent à tout moment. Tant qu'ils ne courent pas dessus en même temps, la banque ne s'effondrera pas.
Pour résumer
À ce stade, le cloud computing a essentiellement réalisé la flexibilité du temps et de l'espace; réalisé la flexibilité des ressources informatiques, de réseau et de stockage. L'informatique, le réseau et le stockage sont souvent appelés infrastructures d'infrastructure. L'élasticité à ce stade est donc appelée élasticité au niveau des ressources. La plate-forme cloud de gestion des ressources, que nous appelons les services d'infrastructure, ce que nous entendons souvent IaaS (Infranstracture As A Service).
2. Le cloud computing se soucie non seulement des ressources mais aussi des applications
Avec l'IaaS, est-ce suffisant pour atteindre une flexibilité au niveau des ressources? Evidemment non, il y a de la flexibilité au niveau de l'application.
Voici un exemple: Par exemple, pour implémenter une application de commerce électronique, dix machines suffisent généralement, et onze double en nécessite cent. Vous pensez peut-être que c'est facile à gérer: avec l'IaaS, créez simplement 90 nouvelles machines. Cependant, les 90 machines ont été créées vides, et l'application de commerce électronique n'y a pas été installée, le personnel d'exploitation et de maintenance de l'entreprise a dû le faire une à une, et l'installation a pris beaucoup de temps.
Bien que la flexibilité soit obtenue au niveau des ressources, la flexibilité n'est toujours pas suffisante sans la flexibilité de la couche d'application. Existe-t-il un moyen de résoudre ce problème?
Les utilisateurs ajoutent une autre couche au-dessus de la plate-forme IaaS pour gérer la résilience des applications au-dessus des ressources. Cette couche est généralement appelée PaaS (plateforme en tant que service). Cette couche est souvent difficile à comprendre, elle se divise grosso modo en deux parties: une partie est appelée "installation automatique de vos propres applications" et l'autre partie "applications générales sans installation".
- Installation automatique de sa propre application: Par exemple, les applications de commerce électronique sont développées par vous, et personne d'autre ne sait comment les installer sauf vous-même. Pour les applications e-commerce, vous devez configurer votre compte Alipay ou WeChat lors de l'installation, de sorte que lorsque quelqu'un achète quelque chose sur votre e-commerce, l'argent payé soit envoyé sur votre compte. Personne ne le sait sauf vous. La plate-forme du processus d'installation ne peut donc pas vous aider, mais elle peut vous aider à l'automatiser. Vous devez effectuer un certain travail pour intégrer vos informations de configuration dans le processus d'installation automatisé. Par exemple, dans l'exemple ci-dessus, les 90 machines nouvellement créées sur Double Eleven sont vides. Si un outil peut être fourni pour installer automatiquement des applications de commerce électronique sur les 90 nouvelles machines, une réelle flexibilité au niveau de l'application peut être obtenue. . Par exemple, Puppet, Chef, Ansible, Cloud Foundary peuvent tous faire cela, et la dernière technologie de conteneur Docker peut le faire mieux.
- Les applications générales n'ont pas besoin d'être installées: Les applications dites à usage général se réfèrent généralement à certaines applications de grande complexité que tout le monde utilise, telles que les bases de données. Presque toutes les applications utiliseront une base de données, mais le logiciel de base de données est standard. Bien que l'installation et la maintenance soient plus compliquées, il en est de même quel que soit l'installateur. Ces applications peuvent être transformées en applications de couche PaaS standard et placées sur l'interface de la plate-forme cloud. Lorsqu'un utilisateur a besoin d'une base de données, elle sort à un moment donné et l'utilisateur peut l'utiliser directement. Quelqu'un a demandé, puisque tout le monde a la même installation, je vais le faire moi-même et je n'ai pas besoin de dépenser de l'argent pour l'acheter sur la plate-forme cloud. Bien sûr que non. La base de données est une chose très difficile. Oracle seul peut gagner autant dargent avec la base de données. L'achat d'Oracle coûte également beaucoup d'argent.
Cependant, la plupart des plates-formes cloud fourniront des bases de données open source telles que MySQL, qui sont open source et n'ont pas besoin de dépenser autant d'argent. Mais pour maintenir cette base de données, vous devez engager une grande équipe.Si cette base de données peut être optimisée pour supporter Double Eleven, il ne sera pas possible de le faire dans un ou deux ans.
Par exemple, si vous êtes un fabricant de vélos, bien sûr, il n'est pas nécessaire de recruter une très grande équipe de base de données pour ce faire. Le coût est trop élevé. Il doit être transféré à la plate-forme cloud pour ce faire. Les professionnels le font. Cloud La plateforme a dédié des centaines de personnes à la maintenance de ce système, il vous suffit de vous concentrer sur votre application vélo.
Bien que la méthode de script puisse résoudre le problème de déploiement de votre propre application, différents environnements sont très différents. Un script s'exécute souvent correctement dans un environnement, mais il est incorrect dans un autre environnement.
Le conteneur peut mieux résoudre ce problème.
Container is Container. Container signifie également container. En fait, l'idée de container est de devenir un container pour la livraison de logiciels. Les caractéristiques du contenant: l'un est l'emballage, l'autre est standard.
À une époque où il n'y a pas de conteneurs, supposons que les marchandises soient transportées de A à B, en passant par trois terminaux et en changeant de navire trois fois. Chaque fois, les marchandises sont déchargées du navire, placées de manière bâclée, puis mises sur le navire et placées en ordre. Par conséquent, lorsqu'il n'y a pas de conteneur, à chaque fois que le navire change, l'équipage doit rester à terre plusieurs jours avant de partir.
Avec le conteneur, toutes les marchandises sont emballées ensemble et la taille du conteneur est la même, de sorte qu'à chaque fois que le navire est changé, une boîte peut être déplacée dans son ensemble, et le niveau horaire peut être complété, et l'équipage n'a plus à débarquer longtemps. Up.
C'est l'application des deux caractéristiques majeures de «l'encapsulation» et du «standard» des conteneurs dans la vie.
Alors, comment le conteneur conditionne-t-il l'application? Encore faut-il en savoir plus sur les conteneurs. Premièrement, il doit y avoir un environnement fermé pour encapsuler les marchandises afin qu'elles n'interfèrent pas les unes avec les autres et soient isolées les unes des autres, de sorte que le chargement et le déchargement soient pratiques. Heureusement, la technologie LXC dans Ubuntu peut le faire il y a longtemps.
L'environnement fermé utilise principalement deux technologies: l'une est la technologie apparemment isolée appelée Namespace, c'est-à-dire que les applications de chaque espace de noms voient différentes adresses IP, espaces utilisateur et numéros de processus. L'autre est une technologie utilisée de manière isolée, appelée Cgroups, ce qui signifie que la machine entière a beaucoup de CPU et de mémoire, et qu'une application ne peut en utiliser qu'une partie.
L'image dite miroir consiste à enregistrer l'état du conteneur au moment où vous soudez le conteneur, tout comme Monkey King a dit: "réparer", le conteneur est fixé à ce moment-là, puis l'état à ce moment est enregistré sous forme de série de fichiers. Le format de ces fichiers est standard et quiconque voit ces fichiers peut restaurer le moment fixe à ce moment-là. Le processus de restauration de l'image au runtime (le processus de lecture du fichier image et de restauration à ce moment) est le processus d'exécution du conteneur.
Avec les conteneurs, le déploiement automatique de la couche PaaS pour les propres applications des utilisateurs devient rapide et élégant.
3. Le Big Data adopte le cloud computing
Une application générale complexe dans la couche PaaS est la plate-forme Big Data. Comment le Big Data s'intègre-t-il pas à pas dans le cloud computing?
Peu de données contiennent également de la sagesse
Au début, ce big data n'était pas gros. Combien de données y a-t-il? Maintenant, tout le monde va lire des livres électroniques et lire des actualités en ligne. Quand nous sommes nés dans les années 80, la quantité dinformations nétait pas si grande, alors nous lisions juste des livres et des journaux. Combien de mots le journal dune semaine compte-t-il? Si vous n'êtes pas dans une grande ville, la bibliothèque d'une école ordinaire ne se résume pas à quelques étagères et plus tard, avec l'avènement de l'informatisation, il y aura de plus en plus d'informations.
Examinons d'abord les données dans le Big Data. Il existe trois types de données, l'une est appelée données structurées, l'autre est appelée données non structurées et l'autre est appelée données semi-structurées.
- Données structurées: Autrement dit, il existe des données de format fixe et de longueur limitée. Par exemple, le formulaire rempli est des données structurées, nationalité: République populaire de Chine, origine ethnique: chinoise, sexe: homme, tout cela s'appelle des données structurées.
- Données non structurées: De nos jours, il y a de plus en plus de données non structurées, c'est-à-dire des données de longueur variable et sans format fixe. Par exemple, les pages Web sont parfois très longues et parfois il n'y a plus de mots; par exemple, la voix et la vidéo sont toutes des données non structurées.
- Données semi-structurées: Il est dans un format XML ou HTML. Ceux qui ne sont pas engagés dans la technologie peuvent ne pas le comprendre, mais cela n'a pas d'importance.
En fait, les données elles-mêmes ne sont pas utiles et doivent être traitées. Par exemple, vous portez un bracelet tous les jours pour collecter des données. Tant de pages Web sur Internet sont aussi des données, que nous appelons des données. Les données elles-mêmes sont inutiles, mais les données contiennent une chose très importante appelée information (Information).
Les données sont très désordonnées et ne peuvent être appelées informations qu'après le tri et le nettoyage. L'information contient de nombreuses lois. Nous devons résumer les lois à partir de l'information, qui s'appelle la connaissance, et la connaissance change le destin. Il y a beaucoup d'informations, mais certaines personnes voient l'information pour rien, mais certaines personnes voient l'avenir du commerce électronique à partir de l'information, et certaines personnes voient l'avenir de la diffusion en direct, alors d'autres sont optimistes. Si vous n'extrayez pas de connaissances à partir des informations, vous ne pouvez regarder que les Moments sur Internet tous les jours.
Avec des connaissances, puis appliquer ces connaissances au combat réel, certaines personnes feront très bien, cette chose s'appelle l'intelligence (Intelligence). La connaissance n'a pas nécessairement de la sagesse. Par exemple, de nombreux savants sont très compétents. Ce qui s'est passé peut être analysé sous différents angles. Cependant, une fois que vous avez fait votre travail, vous ne pourrez pas devenir sagesse. Et la raison pour laquelle de nombreux entrepreneurs sont formidables, c'est qu'ils appliquent les connaissances acquises à la pratique et font finalement beaucoup d'affaires.
Ainsi, l'application des données est divisée en quatre étapes: Données, informations, connaissances, sagesse .
La dernière étape est ce que veulent de nombreuses entreprises. Vous voyez, j'ai collecté tellement de données, pouvez-vous m'aider à prendre la prochaine décision basée sur ces données et à améliorer mon produit. Par exemple, lorsque l'utilisateur regarde une vidéo, une publicité apparaît à côté de lui, ce qui est exactement ce qu'il veut acheter; lorsque l'utilisateur est autorisé à écouter de la musique, il recommande également une autre musique qu'il souhaite vraiment écouter.
L'utilisateur clique avec la souris sur mon application ou mon site Web, et le texte d'entrée est une donnée pour moi. Je veux juste extraire certaines de ces choses, guider la pratique et former la sagesse, afin que l'utilisateur ne puisse pas être extrait de mon application. Je ne veux pas partir après être sur mon site Web. Je continue donc à acheter des lieux et à acheter.
Beaucoup de gens disent que je veux déconnecter Internet sur Double Eleven. Ma femme a continué à acheter et à acheter. Après avoir acheté A et recommandé B, la femme a dit: "Oh, B est aussi mon préféré, et mon mari je veux acheter." Pourquoi pensez-vous que ce programme est si génial, si sage et connaît ma femme mieux que moi, comment est-ce arrivé?
Comment les données peuvent être améliorées en sagesse
Le traitement des données est divisé en plusieurs étapes et la sagesse ne sera obtenue qu'après achèvement.
La première étape s'appelle la collecte de données. Tout d'abord, il doit y avoir des données. Il existe deux façons de collecter des données:
- La première façon est de le prendre: de manière professionnelle, cela s'appelle attraper ou ramper. Par exemple, un moteur de recherche fait cela: il télécharge toutes les informations sur Internet dans son centre de données, puis vous pouvez les rechercher. Par exemple, lorsque vous effectuez une recherche, le résultat sera une liste. Pourquoi cette liste est-elle dans la société du moteur de recherche? C'est parce qu'il a pris toutes les données, mais si vous cliquez sur un lien, le site Web ne sera pas répertorié dans le moteur de recherche. Par exemple, Sina a une actualité, vous recherchez Baidu, lorsque vous ne cliquez pas, la page se trouve dans le centre de données Baidu et la page Web sur laquelle vous avez cliqué se trouve dans le centre de données Sina.
- La deuxième méthode est le push, il existe de nombreux terminaux qui peuvent m'aider à collecter des données. Par exemple, le bracelet Xiaomi peut télécharger vos données de fonctionnement quotidiennes, vos données de rythme cardiaque et vos données de sommeil vers le centre de données.
La deuxième étape est la transmission des données. Généralement, cela se fera dans une file d'attente, car la quantité de données est trop importante et les données doivent être traitées pour être utiles. Mais le système ne pouvait pas le gérer, alors j'ai dû m'aligner et le gérer lentement.
La troisième étape est le stockage des données . Désormais, les données sont de l'argent, et la maîtrise des données équivaut à la maîtrise de l'argent. Sinon, comment le site Web pourrait-il savoir ce que vous souhaitez acheter? C'est parce qu'il a vos données de transactions historiques, ces informations ne peuvent pas être communiquées à d'autres, elles sont très précieuses, elles doivent donc être stockées.
La quatrième étape est le traitement et l'analyse des données. Les données stockées ci-dessus sont des données brutes, et la plupart des données brutes sont désordonnées et contiennent beaucoup de données inutiles, elles doivent donc être nettoyées et filtrées pour obtenir des données de haute qualité. Pour des données de haute qualité, vous pouvez les analyser pour classer les données ou découvrir la relation entre les données et acquérir des connaissances.
Par exemple, lhistoire de la bière et des couches dans les supermarchés Wal-Mart est basée sur lanalyse des données dachat des gens et a révélé que les hommes achètent généralement de la bière en même temps quils achètent des couches. De cette manière, ils découvrent la relation entre la bière et les couches. Les connaissances sont ensuite appliquées à la pratique et la sagesse est acquise en rapprochant les compteurs de bière et de couches.
La cinquième étape est la récupération et l'extraction des données. La recherche est une recherche, les soi-disant affaires étrangères ne décident pas de demander à Google, les affaires internes ne décident pas de demander à Baidu. Les moteurs de recherche internes et externes placent les données analysées dans le moteur de recherche, de sorte que lorsque les gens veulent trouver des informations, ils peuvent les rechercher.
L'autre est l'exploitation minière. La simple recherche ne peut plus répondre aux besoins des gens. Il est également nécessaire de dégager la relation mutuelle à partir de l'information. Par exemple, dans le cadre de la recherche financière, lors de la recherche des actions dune entreprise, les dirigeants de lentreprise doivent-ils également être découverts? Si vous recherchez uniquement les actions de la société et constatez quelles ont particulièrement bien augmenté, vous les achèterez. En fait, le dirigeant a déclaré quelles étaient très défavorables aux actions et ont chuté le lendemain. Cela ne nuirait-il pas à la majorité des investisseurs? Par conséquent, il est très important d'explorer les relations dans les données grâce à divers algorithmes pour former une base de connaissances.
À l'ère du big data, le bois de chauffage est élevé
Lorsque la quantité de données est faible, quelques machines peuvent le résoudre. Lentement, lorsque la quantité de données devient de plus en plus grande et que le meilleur serveur ne peut pas résoudre le problème, que devons-nous faire? À ce stade, la puissance de plusieurs machines doit être réunie et tout le monde travaillera ensemble pour y parvenir.
Pour la collecte de données: En termes d'IoT, des milliers de dispositifs de détection sont déployés à l'extérieur pour collecter une grande quantité de température, d'humidité, de surveillance, de puissance et d'autres données; en termes de moteurs de recherche Web Internet, il est nécessaire de télécharger toutes les pages Web de l'ensemble de l'Internet. Calme toi. Évidemment, une machine ne peut pas faire cela. Cela nécessite plusieurs machines pour former un système de robot d'exploration Web. Chaque machine télécharge une pièce et travaille en même temps pour télécharger un grand nombre de pages Web dans un temps limité.
Pour la transmission de données: Une file d'attente dans la mémoire sera certainement évincée par une grande quantité de données, donc une file d'attente distribuée basée sur le disque dur est générée, de sorte que la file d'attente puisse être transmise par plusieurs machines en même temps, en fonction de la quantité de données dont vous disposez, tant que j'ai suffisamment de files d'attente et suffisamment de pipelines Épais, il peut le tenir.
Pour le stockage des données: Le système de fichiers d'une machine n'est certainement pas suffisant, donc un système de fichiers distribué volumineux est nécessaire pour ce faire, et les disques durs de plusieurs machines sont combinés en un système de fichiers volumineux.
Pour l'analyse des données: Il peut être nécessaire de décomposer, compter et résumer une grande quantité de données. Une machine ne sera certainement pas en mesure de les gérer, et elle ne pourra pas les analyser avant l'année du singe. Par conséquent, il existe une méthode de calcul distribué, qui divise une grande quantité de données en petites parties, et chaque machine en traite une petite partie, et plusieurs machines traitent en parallèle, et le calcul peut être effectué rapidement. Par exemple, le fameux Terasort trie 1 To de données, ce qui équivaut à 1000G. Si elles sont traitées sur une seule machine, cela prendra plusieurs heures, mais le traitement parallèle est terminé en 209 secondes.
Alors, qu'est-ce que le Big Data? Pour le dire franchement, une machine ne peut pas le terminer, tout le monde peut le faire ensemble. Cependant, avec l'augmentation de la quantité de données, de nombreuses petites entreprises ont besoin de traiter beaucoup de données. Que peuvent faire ces petites entreprises si elles n'ont pas autant de machines?
Le big data a besoin du cloud computing, le cloud computing a besoin du big data
Cela dit, tout le monde pense au cloud computing. Lorsque vous voulez effectuer ces tâches, vous avez besoin de beaucoup de machines pour le faire ensemble. Cela signifie vraiment que vous le voulez quand vous le voulez et que vous le voulez autant que vous le voulez.
Par exemple, la situation financière d'une société d'analyse Big Data peut être analysée une fois par semaine, si cent machines ou mille machines y sont stockées, il serait très coûteux de l'utiliser une fois par semaine. Pouvez-vous sortir ces milliers de machines lorsque vous avez besoin de calculer; si vous ne le faites pas, laissez ces milliers de machines faire autre chose?
Qui peut faire ça? Seul le cloud computing peut offrir une flexibilité au niveau des ressources pour les opérations Big Data. Et le cloud computing déploiera également le Big Data sur sa plate-forme PaaS en tant qu'application générale très, très importante. Parce que la plate-forme Big Data peut permettre à plusieurs machines de faire une chose ensemble, cette chose n'est pas quelque chose que les gens ordinaires peuvent développer, ni facile à jouer pour les gens ordinaires, comment pouvez-vous embaucher des dizaines ou des centaines de personnes pour y jouer.
Donc, tout comme une base de données, en fait, vous avez toujours besoin d'un groupe de professionnels pour jouer à cette chose. De nos jours, il existe essentiellement des solutions Big Data sur le Cloud public. Lorsqu'une petite entreprise a besoin d'une plateforme Big Data, elle n'a pas besoin d'acheter mille machines. Tant que vous allez dans le Cloud public, toutes ces milliers de machines sortent. La plate-forme Big Data déjà déployée ci-dessus, il suffit de mettre les données dedans.
Le cloud computing a besoin de big data, et le big data a besoin de cloud computing. Les deux sont combinés de cette manière.
Quatrièmement, l'intelligence artificielle embrasse le big data
Quand la machine comprendra-t-elle le cur humain
Même avec le Big Data, les désirs des gens ne peuvent pas être satisfaits. Bien qu'il existe un moteur de recherche dans la plate-forme Big Data, vous pouvez rechercher ce que vous voulez. Mais il y a aussi des situations où les choses que je veux ne seront pas recherchées ou exprimées, et celles qui sont recherchées ne sont pas ce que je veux.
Par exemple, le logiciel de musique recommande une chanson. Je n'ai pas écouté cette chanson. Bien sûr, je ne connais pas le nom ou je ne la recherche pas. Mais le logiciel m'est recommandé, je l'aime beaucoup, c'est ce que la recherche ne peut pas faire. Lorsque les gens utilisent ce type d'application, ils constateront que la machine sait ce que je veux, au lieu de chercher dans la machine quand je le veux. Cette machine me comprend vraiment comme mon ami, ce qui est un peu artificiel.
Les gens y réfléchissent depuis longtemps. Dans les premiers jours, les gens imaginaient que s'il y avait un mur et qu'il y avait une machine derrière le mur, et j'en parlais, cela me répondrait. Si je ne peux pas dire s'il s'agit d'un humain ou d'une machine, alors c'est vraiment une question d'intelligence artificielle.
Laissez la machine apprendre à raisonner
Comment cela peut-il être fait? Les gens pensent: je dois d'abord parler à l'ordinateur de la capacité de raisonnement humaine. Selon vous, qu'est-ce qui est important pour les gens? Quelle est la différence entre les humains et les animaux? Être juste capable de raisonner. Que faire si vous dites à la machine ma capacité à raisonner et laissez la machine déduire la réponse correspondante en fonction de votre question?
En fait, les gens permettent lentement aux machines de faire certaines inférences, telles que la démonstration de formules mathématiques. C'est un processus très surprenant: la machine peut prouver des formules mathématiques. Mais lentement, j'ai découvert que ce résultat n'était pas si surprenant. Parce que tout le monde a trouvé un problème: la formule mathématique est très rigoureuse, le processus de raisonnement est également très rigoureux, et la formule mathématique est facile à exprimer avec une machine, et le programme est relativement facile à exprimer.
Cependant, le langage humain n'est pas si simple. Par exemple, ce soir, vous êtes sorti avec votre petite amie, et votre petite amie a dit: si vous venez tôt, je ne suis pas venu; vous attendez, si je viens tôt; si vous ne venez pas, vous attendez! Cette machine est plus difficile à comprendre, mais tout le monde la comprend. Donc, si vous sortez avec votre petite amie, vous n'osez pas être en retard.
Enseigner la connaissance des machines
Par conséquent, il ne suffit pas de dire à la machine un raisonnement strict, mais aussi de dire à la machine des connaissances. Mais dire à la machine la connaissance de cette question peut ne pas être possible pour les gens ordinaires. Peut-être qu'un expert peut le faire, comme un expert dans le domaine linguistique ou un expert dans le domaine financier.
Les connaissances dans le domaine du langage et de la finance peuvent-elles être un peu plus rigoureuses comme les formules mathématiques? Par exemple, les linguistes peuvent résumer les règles grammaticales du sujet, du prédicat, de l'objet, du complément adverbial défini, le sujet doit être le prédicat et le prédicat doit être l'objet. Ces règles seront-elles résumées et exprimées strictement?
Plus tard, j'ai trouvé que ce n'était pas possible, que c'était trop difficile à résumer et que l'expression du langage était en constante évolution. Prenons l'exemple du sujet, du prédicat et de l'objet. Souvent, le prédicat est omis dans la langue parlée. D'autres demandent: Qui êtes-vous? J'ai répondu: je suis Liu Chao. Mais vous ne pouvez pas stipuler que dans la reconnaissance sémantique vocale, vous devez parler un langage écrit standard à la machine. Ce n'est toujours pas assez intelligent. Tout comme Luo Yonghao l'a dit dans un discours, chaque fois que vous faites face à votre téléphone portable, dites en langage écrit: S'il vous plaît, aidez-moi à appeler quelqu'un XX, c'est une chose embarrassante.
Cette étape de l'intelligence artificielle s'appelle un système expert. Les systèmes experts ne sont pas faciles à réussir: d'une part, les connaissances sont plus difficiles à résumer et, d'autre part, les connaissances résumées sont difficiles à enseigner à l'ordinateur. Parce que vous êtes toujours dans un état second et sentez qu'il y a un modèle, mais vous ne pouvez pas le dire, comment pouvez-vous enseigner à un ordinateur par la programmation?
Oublie ça, je ne peux pas t'apprendre à apprendre par toi-même
Alors les gens ont pensé: les machines sont une espèce complètement différente des humains, alors laissez les machines apprendre par elles-mêmes.
Comment la machine apprend-elle? Étant donné que la capacité statistique de la machine est si forte, basée sur l'apprentissage statistique, certaines règles peuvent être trouvées à partir d'un grand nombre de nombres.
En fait, il existe un bon exemple dans l'industrie du divertissement, que l'on peut voir en général:
Un internaute a compté les paroles de 117 chansons dans 9 albums publiés par des chanteurs renommés du continent. Le même mot ne compte qu'une seule fois dans une chanson. Les dix adjectifs, noms et verbes les plus importants sont indiqués dans le tableau suivant (le nombre après le mot Est le nombre d'occurrences):
Que se passe-t-il si nous écrivons au hasard une série de nombres, puis retirons un mot des adjectifs, des noms et des verbes en fonction des chiffres, que se passera-t-il s'ils sont connectés ensemble?
Par exemple, en prenant le rapport pi de 3,1415926, les mots correspondants sont: fort, route, mouche, liberté, pluie, enterré, perdu. Connectez et polissez un peu:
Enfant fort,
Toujours sur la route,
Déployez vos ailes et volez vers la liberté,
Laisse la pluie enterrer sa confusion.
Est-ce que ça fait un peu sentir? Bien sûr, le véritable algorithme d'apprentissage basé sur les statistiques est beaucoup plus compliqué que ces simples statistiques.
Cependant, l'apprentissage statistique est plus facile à comprendre la corrélation simple: par exemple, un mot et un autre mot apparaissent toujours ensemble, deux mots doivent être liés; il ne peut pas exprimer une corrélation complexe. De plus, les formules des méthodes statistiques sont souvent très compliquées. Afin de simplifier les calculs, diverses hypothèses indépendantes sont souvent faites pour réduire la difficulté de calcul des formules. Cependant, dans la vie réelle, il y a relativement peu d'événements indépendants.
Simulez le fonctionnement du cerveau
Ainsi, les humains ont commencé à réfléchir sur le fonctionnement du monde humain à partir du monde des machines.
Le cerveau humain ne stocke pas un grand nombre de règles ou enregistre un grand nombre de données statistiques, mais il est obtenu par le déclenchement de neurones. Chaque neurone a une entrée provenant d'autres neurones. Lorsqu'il reçoit une entrée, il génère Une sortie pour stimuler d'autres neurones. En conséquence, un grand nombre de neurones réagissent les uns avec les autres et forment finalement divers résultats de sortie.
Par exemple, lorsque les gens voient les pupilles de belles filles se dilater, ce n'est en aucun cas que le cerveau fait des jugements réguliers basés sur les proportions du corps, ni qu'il ne compte toutes les beautés qui ont été vues dans la vie, mais les neurones sont déclenchés de la rétine au cerveau et reviennent aux pupilles. Dans ce processus, il est en fait difficile de résumer l'effet de chaque neurone sur le résultat final, de toute façon, cela fonctionne.
Les gens ont donc commencé à simuler des neurones avec une unité mathématique.
Ce neurone a une entrée et une sortie. L'entrée et la sortie sont exprimées par une formule. L'entrée est différente en importance (poids), ce qui affecte la sortie.
Alors connectez n neurones ensemble comme un réseau neuronal. Le nombre n peut être très grand et tous les neurones peuvent être divisés en plusieurs colonnes, et beaucoup d'entre eux sont disposés dans chaque colonne. Chaque neurone peut avoir un poids différent pour l'entrée, donc la formule pour chaque neurone est également différente. Lorsque les gens entrent quelque chose de ce réseau, ils espèrent produire un résultat qui est correct pour les humains.
Par exemple, dans l'exemple ci-dessus, entrez une image avec 2 écrit, et le deuxième nombre de la liste de sortie est le plus grand. En fait, du point de vue de la machine, il ne sait pas que l'image d'entrée est écrite comme 2 ni la série de sortie La signification des nombres, peu importe, les gens ont seulement besoin d'en connaître la signification. De même que pour les neurones, ils ne savent ni que la rétine voit de belles femmes, ni que les pupilles sont dilatées pour voir clairement De toute façon, quand ils voient de belles femmes, leurs pupilles sont dilatées.
Pour tout réseau neuronal, personne ne peut garantir que l'entrée est 2, et la sortie doit être le deuxième plus grand nombre.Pour garantir ce résultat, une formation et un apprentissage sont nécessaires. Après tout, voir de belles femmes et des pupilles dilatées est aussi le résultat de nombreuses années d'évolution humaine. Le processus d'apprentissage consiste à saisir beaucoup d'images, et si le résultat n'est pas ce que vous voulez, faites des ajustements.
Comment l'ajuster? C'est-à-dire que chaque poids de chaque neurone est ajusté avec précision à la cible. Comme il y a trop de neurones et de poids, il est difficile pour les résultats produits par l'ensemble du réseau d'afficher des résultats soit ou, mais légèrement vers les résultats. Le progrès peut éventuellement atteindre le résultat visé.
Bien entendu, ces stratégies d'ajustement sont toujours très habiles et nécessitent des ajustements minutieux par des experts en algorithmes. Tout comme les humains voient de belles femmes, leurs pupilles ne sont pas assez dilatées pour voir clairement au début, alors les belles femmes s'enfuient avec d'autres, et le résultat de l'étude suivante est que les pupilles sont un peu dilatées au lieu des narines.
Cela n'a pas de sens mais peut le faire
Cela n'a pas l'air si raisonnable, mais c'est possible, c'est tellement capricieux!
Le théorème universel des réseaux de neurones dit ceci. Supposons que quelqu'un vous donne une fonction compliquée et particulière, f (x):
Quelle que soit la fonction, elle garantira toujours qu'il existe un réseau neuronal qui peut entrer x pour n'importe quelle entrée possible, et sa valeur f (x) (ou une approximation précise) est la sortie du réseau neuronal.
Si la fonction représente la loi, cela signifie aussi que la loi, aussi merveilleuse et incompréhensible soit-elle, peut être exprimée à travers un grand nombre de neurones et à travers un grand nombre d'ajustements de poids.
L'explication économique de l'intelligence artificielle
Cela me rappelle l'économie, donc c'est plus facile à comprendre.
Nous considérons chaque neurone comme un individu engagé dans des activités économiques dans la société. Par conséquent, le réseau de neurones équivaut à l'ensemble de l'économie et de la société. Chaque neurone a le pouvoir d'ajuster l'apport à la société et de faire en sorte que la production correspondante augmente, comme les salaires augmentent, les prix des légumes augmentent, les stocks baissent, que dois-je faire et que faire? Dépensez votre propre argent. N'y a-t-il pas de modèle ici? Il doit y en avoir, mais quelle est la loi spécifique? C'est difficile à dire clairement.
L'économie basée sur le système expert appartient à l'économie planifiée. L'expression de l'ensemble du droit économique n'espère pas s'exprimer à travers la prise de décision indépendante de chaque individu économique, mais espère se résumer à travers l'expertise et la prévoyance d'experts. Mais les experts ne peuvent jamais savoir dans quelle rue dans quelle ville il manque un cerveau de tofu sucré.
Les experts disent donc combien d'acier devrait être produit et combien de petits pains cuits à la vapeur devraient être produits. Il y a souvent un grand écart entre les besoins réels de la vie des gens. Même si le plan entier est écrit en quelques centaines de pages, il ne peut pas exprimer les petites lois cachées dans la vie des gens.
Le macrocontrôle basé sur les statistiques est beaucoup plus fiable. Chaque année, le Bureau des statistiques collectera des statistiques sur le taux d'emploi, le taux d'inflation, le PIB et d'autres indicateurs de l'ensemble de la société. Ces indicateurs représentent souvent de nombreuses lois internes, bien qu'ils ne puissent être exprimés avec précision, ils sont relativement fiables.
Cependant, l'expression récapitulative basée sur les statistiques est relativement approximative. Par exemple, lorsque les économistes voient ces statistiques, ils peuvent conclure si les prix des logements augmentent ou diminuent à long terme et si les actions augmentent ou diminuent à long terme. Par exemple, si l'économie augmente généralement, les prix des logements et les actions devraient tous deux augmenter. Cependant, sur la base de données statistiques, il est impossible de résumer la loi des petites fluctuations des prix des stocks et des matières premières.
La microéconomie basée sur les réseaux neuronaux est l'expression la plus précise de toute la loi économique. Chacun fait ses propres ajustements à son apport dans la société, et les ajustements seront également renvoyés à la société en tant qu'entrée. Imaginez la courbe de volatilité subtile du marché boursier, qui est le résultat du trading continu de chaque individu indépendant, il n'y a pas de loi uniforme à suivre.
Chacun prend des décisions indépendantes en fonction de l'apport de toute la société. Lorsque certains facteurs sont entraînés plusieurs fois, ils forment également des lois statistiques macroscopiques, ce que la macroéconomie peut voir. Par exemple, chaque fois qu'une grande quantité de devises est émise, le prix de l'immobilier augmentera à la fin. Après de nombreuses formations, les gens apprendront.
L'intelligence artificielle a besoin de Big Data
Cependant, le réseau neuronal contient tellement de nuds, et chaque nud contient beaucoup de paramètres. La quantité de paramètres est trop grande et la quantité de calcul requise est trop grande. Mais cela n'a pas d'importance: nous avons une plate-forme Big Data qui peut rassembler la puissance de plusieurs machines pour calculer ensemble et obtenir le résultat souhaité en un temps limité.
L'intelligence artificielle peut faire de nombreuses choses, comme identifier le spam, identifier les textes et images violents jaunes. Cela s'est également déroulé en trois étapes:
- La première étape repose sur des listes de mots clés en noir et blanc et une technologie de filtrage, quels mots sont jaunes ou violents. Avec le nombre croissant de langues en ligne, les mots changent constamment et il est un peu écrasant de continuer à mettre à jour ce thésaurus.
- Dans la deuxième étape, basée sur de nouveaux algorithmes, tels que le filtrage bayésien, vous ne vous souciez pas de ce qu'est l'algorithme bayésien, mais vous devriez avoir entendu le nom, il s'agit d'un algorithme basé sur les probabilités.
- La troisième étape est basée sur le big data et l'intelligence artificielle pour réaliser une compréhension plus précise du portrait et du texte de l'utilisateur et de l'image.
Étant donné que les algorithmes d'intelligence artificielle reposent principalement sur une grande quantité de données, ces données doivent souvent être accumulées pour un domaine spécifique (tel que le commerce électronique, la boîte aux lettres) pendant longtemps. S'il n'y a pas de données, même les algorithmes d'intelligence artificielle sont inutiles, donc l'intelligence artificielle Le programme est rarement comme les précédents IaaS et PaaS, le programme d'intelligence artificielle est installé pour un certain client, afin que le client puisse l'utiliser. Comme un seul ensemble est installé pour un client, le client ne dispose pas de données pertinentes pour la formation et le résultat est souvent très médiocre.
Cependant, les fournisseurs de cloud computing accumulent souvent une grande quantité de données, ils installent donc un ensemble chez le fournisseur de cloud computing pour exposer une interface de service. Par exemple, si vous souhaitez identifier si un texte implique de la pornographie et de la violence, vous pouvez directement utiliser ce service en ligne. Ce type de service est appelé logiciel en tant que service dans le cloud computing, SaaS (Software AS A Service)
En conséquence, les programmes d'intelligence industrielle sont entrés dans le cloud computing en tant que plateforme SaaS.
5. Une bonne vie basée sur la relation entre les trois
Enfin, les trois frères du cloud computing se sont réunis, à savoir IaaS, PaaS et SaaS. Ainsi, généralement sur une plate-forme de cloud computing, on peut trouver le cloud, le big data et l'intelligence artificielle. Une entreprise de big data a accumulé une grande quantité de données et utilisera des algorithmes d'intelligence artificielle pour fournir certains services; une entreprise d'intelligence artificielle ne peut pas se passer du support d'une plateforme de big data.
Par conséquent, lorsque le cloud computing, le big data et l'intelligence artificielle sont intégrés de cette manière, le processus de rencontre, de connaissance et de connaissance est terminé.
