28 juillet parrainé par le Groupe Alibaba, Alibaba AIS a tenu Alibaba Infra. Jour 2018 (Alibaba Technology Infrastructure Open Day) a eu lieu avec succès au Computer History Museum de Mountain View, États-Unis.
Musée Photo Computer History @Montain View, CA
enregistré
Image de: http: //www.computerhistory.org
Attiré pour partager et discuter de Google, Facebook, Twitter et d'autres sociétés Internet plus de 500 ingénieurs sont impliqués. Alibaba dix années d'expérience pratique et les derniers détails de ce produit sur les zones les plus fondamentaux de la gestion du cluster, le noyau Linux, base de données, le stockage de données, le stockage, l'informatique hétérogène et d'autres équipements, sont partagés comme suit.
Alibaba Infra. Thème de la Journée 2018 est l'âge d'or, comme nous révélons les domaines du développement des infrastructures Internet officiellement entrés dans l'ère ruée vers l'or. Comme le nombre d'utilisateurs d'Internet dans le monde entier hausse des données devient de plus en plus actif précieux pour la société moderne, il aura d'énormes données d'une valeur inestimable à l'avenir. L'infrastructure est la pierre angulaire du développement de l'Internet, il a été associé à des noeuds clés précédentes pour améliorer l'infrastructure, du matériel au logiciel.
Alibaba Infra. Journée 2018 est Alibaba Infra. Deuxième groupe journée technique dans la Silicon Valley, a invité 11 équipes technologiques AIS du grand rendez Alibaba impliqués. Alibaba Infrastructure (AIS) est responsable des économies Alibaba infrastructure matérielle et logicielle, l'équipe couvrant de nombreux domaines des centres de données, les réseaux, les serveurs, le fonctionnement et le centre de maintenance, noyau, conteneur, machine virtuelle Java, la planification, la base de données, stockage, middleware, etc., aux États-Unis Mulberry Neville, Seattle, San Mateo, en Chine, Hangzhou, Beijing, Shanghai et d'autres pays et régions avec l'équipe.
Zhou Ming, vice-président du groupe d'entreprises d'infrastructure Alibaba partagé écosystème d'affaires Alibaba grande image à l'Assemblée générale, ouvrant la voie à une meilleure compréhension de la technologie de l'infrastructure pour soutenir ses activités.
Fondée en 1999, Alibaba Group compte plus de 57.000 étudiants dans le Ming Ali dans le monde entier plus de 150 pays et régions, « Que le monde ne affaires difficile » de latitude pour établir une plateforme de trading e-commerce multi-ligne comme l'activité principale, y compris le commerce B2B , commerce de détail en ligne, les achats, les moteurs de recherche tiers payant, les services de logistique et de services de cloud computing.
Zhou Ming, dit :. « économies Alibaba riche scène pour les étudiants techniques comment faire l'entreprise se développe rapidement et les défis d'atterrissage, le trafic de données produits stimuler davantage la demande de développement des infrastructures de la technologie sous-jacente et de promouvoir la coopération mondiale diriger le développement de l'innovation et de la technologie, Alibaba Group a créé les maisons du Dharma, nous mettons l'accent sur la technologie semble déjà à l'avenir de l'emprise maintenant ».
Alibaba Senior Fellow Li Feifei (surnom de vol) sur le lieu principal a prononcé un discours, pour tout le monde de partager les points de vue de l'architecture technique Alibaba.
Li Feifei a déclaré: « 2017 double pic commercial de onze jours enregistré dossier: 325.000 fois par seconde, tout en établissant un nouveau record de paiement: double 11 après seulement cinq minutes 22 secondes, Alipay 25,6 millions de transactions par seconde pic de salaire de 2,1 fois l'an dernier, la base de données pour gérer le pic a atteint un record de 4,37 millions de fois par seconde derrière les données, les efforts ensemble des étudiants de technologie Alibaba, et un des opérateurs d'infrastructures techniques claires pour offrir des économies énormes. un support plus stable, est la pierre angulaire ".
Alibaba Group Taiwan technologie dans l'architecture technique offre une suite de solutions technologiques pour les systèmes de base de données du réseau au IDC au matériel hétérogène au logiciel système et middleware, la réalisation de grands volumes de données dans Alibaba scénarios d'affaires complexes ci-dessous , avec une forte concurrence efficace, sûr, fiable, infrastructure à faible coût. Institut national de la Business Group adhère aux objectifs de développement auto-contrôle, des applications à grande échelle et le développement de nouvelles technologies et de promouvoir les installations matérielles et logicielles du système de base de développement au déploiement à l'ensemble du processus de gestion de l'information, l'automatisation et intelligente.
Ce qui suit est Alibaba Infra. Jour Share Présentation 2018.
Li Xiang, la division logicielle du système Alibaba hauts experts techniques
À grande échelle de gestion du cluster
Pour des centaines de millions d'utilisateurs d'un service rapide et fiable, Ali Baba dans le monde à établir un certain nombre de centres de données à grande échelle. Ces centres de données fournissent d'énormes ressources informatiques pour internes, externes. Alibaba gestionnaire de cluster Automatiser l'allocation de ces ressources, telles que l'élasticité et de favoriser l'expansion, l'exploitation et la maintenance du développement des technologies de l'automatisation, la planification des ressources. Ce système permet aux développeurs d'obtenir des ressources informatiques rapidement, de manière stable, et d'assurer que les ressources suffisantes soient allouées efficacement utilisées. Bien que nous ayons fait pour améliorer l'efficacité du développement et de réduire les coûts, mais il y a encore beaucoup de questions en suspens qui doivent être explorées.
Ce sujet présentera un aperçu du système de gestion Alibaba Cluster, ainsi que des questions difficiles abordé au cours des dernières années. Ces défis comprennent le déploiement du mix d'activités, de pointe de traitement de flux. Nous allons expliquer la technologie derrière ces disques: Ali Baba besoins commerciaux et technologiques uniques. Enfin, nous allons explorer plus de défis apportés par calcul tels que Serverless, l'intelligence artificielle, IdO, etc. Le développement rapide de Alibaba. Bien que savent pas encore la meilleure solution pour ces problèmes, mais nous essayons toujours de résoudre le problème.
Liu Bo, système Alibaba Division Software Spécialiste technique principal
Linux Kernel Development
Maintenant, Linux domine le champ de serveur, Alibaba tous les services sont construits au-dessus de Linux. écosystème Linux noyau Linux comme la plupart importante, doivent être gérés ensemble pour fournir le système d'exploitation avec RAS pour l'infrastructure Alibaba. L'équipe du noyau d'actions Alibaba décrit comment intégrer dans le noyau Linux en écologie Alibaba, et comment réduire le coût de l'innovation continue dans le domaine du noyau de prospective.
Li Feifei (surnom volant), Ali Baba base de données Division Senior Fellow
Exécution des Gamut: Les défis de l'écosystème de Alibaba pour les systèmes de base de données
Division de base de données porte tout le traitement et l'analyse des données en ligne et les services de base de données de l'écosystème Alibaba, est une entreprise de pierre angulaire de la technologie en plein essor, Taobao, Lynx, Flying Pig, poly rentable, nouveaux commerces de détail, 1688, B2B, AE, Taobao outre-mer nuages Ali et d'autres groupes d'affaires pour fournir un environnement stable, efficace et sûr, les produits de base de données à faible coût et des services.
Il existe des scénarios d'application de base de données de classe mondiale, face à flux double onze pic Lynx. Voici les domaines les plus technologiques de pointe et la base de données à explorer, par exemple, vivent dans des endroits différents, une forte base de données distribuée uniforme, nouveau matériel, base de données autonome, structuré et processus d'intégration des données non structurées. Il y a une base de données de l'équipe de première classe, une collection d'un certain nombre de développement de base de données de base en circulation et de gestion des talents de base de données. Il existe des produits de première classe, fournir un grand nombre de contributions à la communauté open source, promouvoir la popularité de la base de données open source. Pendant ce temps, scène Ali comme base, nous fournissons un produit riche de bases de données et services aux clients Ali cloud, la couverture complète de l'électricité, de la logistique, la sécurité, le transport, la santé, Voyage, le temps et d'autres grandes industries et offre des services de base. Notre moteur de traitement des transactions de base de données, le moteur d'analyse en ligne, base de données distribuée, l'accélération matérielle FPGA / GPU, base de données intelligente, base de données multi-états multi-mode, la sécurité de base de données, le traitement des données à grande échelle et à l'analyse dans le sens de la position de pointe.
Ni Demai (fleur Mingde Mai), Ali division de base de données Baba experts techniques supérieurs
X-DB: le système de base de données distribuée À l'échelle mondiale Next Generation
base de données de transaction est de soutenir l'entreprise Alibaba X-DB, avec 100000 + par exemple, couvre Taobao, Lynx, AliExpress cur de métier, ainsi que la dernière inclusion Lazada, haut-allemand, encore faim, Youku / Tudou et autres Internet + services . Comme l'un des plus grand corps du monde du système OLTP, X-DB offre un stockage à plusieurs niveaux à haut débit, le calcul et l'élasticité de stockage conférant une grande capacité de séparation, et assure la haute disponibilité et des données à base de fichiers Gu système très fiable par le Protocole Paxos. Pendant ce temps, X-DB en utilisant les dernières technologies matérielles (par exemple, NVM, SSD, FPGA) pour obtenir un stockage efficace et devient stable. X-DB terminée au début de l'activité Alibaba d'entraînement et les défis dans un certain nombre de technologies clés: mise à l'échelle horizontale, la haute disponibilité dans le domaine physique, une élasticité centuple, maintenant l'innovation technologique X-DB pour créer une nouvelle entreprise dans Alibaba. X-DB basé sur la technologie de l'intelligence artificielle et les capacités de déploiement mondial, à savoir les services d'infrastructure Ali, servira également un billion utilisateurs dans le nuage. X-DB fonctionne partout tout le temps!
Lirui Ping, division de base de données Alibaba hauts experts techniques
AnalyticDB: Défis et opportunités de données en temps réel Entreposage
AnalyticDB entrepôt de données à temps réel niveau PB est sur le Ali nuage, Ali Group pour soutenir l'entreprise d'électricité, la publicité, la fourmi, la recrue, du divertissement et de nombreux autres services d'analyse de données en ligne, ainsi que les entreprises moyennes traditionnelles, les organismes gouvernementaux, un grand nombre d'entreprises d'innovation Internet l'analyse de base. AnalyticDB stratifié (couche d'accès, la couche calculée, une couche de mémoire ...) Architecture découplée qui appuie l'expansion indépendante de chaque couche, l'analyse et le calcul, les données sont écrites, l'indice est construit comme séparation des différents noeuds. Différents types de mode de fonctionnement multi-noeud de vie, l'expansion élastique et d'atteindre une haute disponibilité dans l'architecture globale. AnalyticDB l'introduction d'optimiseur de SQL intelligent, le moteur d'analyse de fusion MPP + DAG qui supporte les rangs de stockage mixte, la technologie d'indexation et d'accélération matérielle GPU multi-dimensionnelle du bâtiment intelligent, tout en intégrant texte, image, le visage et l'autre support d'analyse de données non structurées, élargir considérablement les limites techniques et limites commerciales. AnalyticDB peut supporter plus noeud de calcul 1000, les données ci-dessus 10PB, milliseconde réponse, 100K QPS, dix millions d'enregistrements par seconde étape d'écriture.
Accompagné par le développement de l'analyse en ligne de ces entreprises, l'innovation continue AnalyticDB et de développement sur l'actualité, la technologie en ligne, la complexité, la disponibilité et le coût, beaucoup difficile de percées et de l'innovation technologique. En analysant les données en ligne, la technologie en temps réel aux utilisateurs d'aide à l'analyse commerciale, l'excellence opérationnelle, le cerveau et d'autres pleine valeur de la scène urbaine des données, l'industrie AnalyticDB est devenu un des produits très compétitifs.
Zhaoxiao Xue, Alibaba Infrastructure chercheur Business Group
Opération d'infrastructure intelligente
l'infrastructure Alibaba est en voie de transformation rapide de grande échelle qui ébranle la terre. Notre objectif est grâce à l'automatisation et la technologie numérique intelligente toujours maintenir un entretien efficace des infrastructures dans une si grande échelle du développement, de la stabilité et à faible coût. Dans ce cas, nous avons partagé trois opération automatisée et la plate-forme de maintenance, la première est la plate-forme de soutien opérationnel et de décision, de construire la totalité de la liaison d'automatisation de la demande de la chaîne d'approvisionnement, puis installer la distribution, le second une opération centre de données et la plate-forme de maintenance, le suivi en temps réel de près un certain nombre d'actifs, appareils, équipements et autres la sécurité des centres de données du site et de l'automatisation flux de travail, le troisième est un système spatial pour assurer le logiciel de base près d'un million de serveurs, firmware rapide et sécurisé des déploiements et des mises à niveau automatiques à grande échelle.
Dans chaque système de plate-forme, nous avons rejoint les fonctions d'exploitation et de maintenance intelligente. Par exemple, en fonction du produit de l'information dispose, les cycles et les données historiques, exploration de données, apprentissage automatique, l'analyse statistique d'une variété de méthodes, la modélisation mathématique, les produits cloud computing Ali pour les besoins d'infrastructure du taux de précision de prédiction allant jusqu'à 80%. Autre exemple, à travers les modèles de réseaux de neurones et d'optimisation, notre efficacité énergétique des centres de données auto-construit amélioré de plus de 20%. Nous attendons avec impatience dans un proche avenir, grâce à la technologie pour créer très efficace, un centre de données sans surveillance.
Zhang Ming, réseau Alibaba R & D Division Chercheur
réseau Autopilot
Ali Baba a une série de services Internet à haut débit, y compris le développement des fournisseurs d'électricité, cloud computing, l'Internet et de la finance, et le contenu est extrêmement riche. Afin de fournir de haute qualité, des services fiables à des milliards d'utilisateurs dans le monde entier, et Ali dans la construction de centres de données et les points PoP à travers le monde, et à travers un réseau mondial d'utilisateurs et des centres de données connectés. Dans ce cas, nous avons partagé comment protéger la stabilité Ali au développement du réseau à grande vitesse en construisant le pilote automatique réseau. Fonctionnement en réseau et d'entretien avec les différentes façon traditionnelle, réseau de pilote automatique avec la perception sensible, un degré élevé de capacités d'automatisation et d'une capacité de prise de décision optimisation globale. Non seulement cela, le réseau de pilote automatique a également des capacités de prévision précises et forte capacité à apprendre. Au cours des dernières années, nous avons créé à partir de zéro Ali réseau pilote automatique et du peuple au mouvement ouvrier dimension de fonctionnement intelligente et à l'entretien de la croix.
Li Shu, la division de recherche et développement serveur Alibaba expert senior
Alibaba intégration matérielle et logicielle infrastructure de stockage de conception
groupes de stockage du serveur pour créer un matériel et des logiciels Alibaba sous-jacente plate-forme de stockage unifié pour soutenir les systèmes de fichiers distribués et des activités de Pangu Groupe. Au cours des 3--4 dernières années d'efforts continus, nous avons réalisé boîte blanche matérielle, et d'établir un leader mondial dans le système Alibaba Open Channel SSD, publié Alibaba ouvert les normes anglo-normandes, et absorbons avec succès Intel, Samsung, Micron, violet, Hynix, Western digital, dépôt de trésor, CnexLab, Toshiba et d'autres fabricants à se joindre Alibaba Open Channel commun de recherche internationale et le développement, la validation, la commercialisation, a été réalisé dans le déploiement de l'infrastructure Alibaba. moteur de stockage local est pris en charge vers le haut système distribué FusionEngine Gu vers le bas la convergence Alibaba Open Channel SSD, pour atteindre la valeur optimale intégralement des particules de support de stockage dans la couche supérieure de la pile complète boîte blanche d'itérations d'applications d'entreprise, pour créer une haute performance, une haute stabilité, à faible coût Alibaba plate-forme de stockage unifiée sous-jacente pour soutenir les efforts des entreprises Ali et ouvrir de nouvelles affaires avec chaque entreprise, afin d'optimiser la capacité technique profondeur pile complète, l'innovation et les produits d'affaires itératives avec la compétitivité internationale et l'influence.
YU, Minggang, division de base de données Alibaba hauts experts techniques
Informatique Hétérogène: Unified Data Analytics
Comme l'analyse des données, en particulier l'analyse des renseignements ML plus complexes, des outils isolés actuellement dispersés tels que la pile SciPy de chaîne déjà incapable de répondre à la capacité, l'efficacité et la diversité de la scène la croissance continue des scientifiques de données de la demande ou des experts dans le domaine. plate-forme d'analyse besoin d'être en mesure d'unifier l'analyse des données hétérogènes dig valeur de données associées, et faire jouer pleinement à divers matériels hétérogènes (par exemple un GPU / FPGA / ASIC / Optane / RDMA) le calcul et les performances de transmission. Cela introduit la plate-forme d'analyse de données haute-temps réel concurrent part Alibaba PB-classe ADS et planification de la technologie, l'objectif est de profiter d'une variété de nouvelles analyses de données multi-modale unifiée accélération matérielle (y compris OLAP, apprentissage statistique et de la machine) et la présentation de données à grande échelle ( rendu backend).
Zhang Weifeng, serveur Alibaba R & D Division Chercheur
Advance Computing pour les applications Heterogeneous Performant AI
Avec l'épuisement de la loi de Moore, l'architecture unique ordinateur traditionnel ne peut pas répondre à la puissante puissance de calcul des applications d'apprentissage de l'intelligence artificielle / machine a besoin. En revanche, les architectures informatiques hétérogènes pour des applications d'apprentissage de la machine peuvent faire jouer pleinement les caractéristiques d'une variété de différentes architectures de puissance de calcul, et devient ainsi la technologie clé de l'avenir de l'informatique potentiel minier. Dans ce partage, nous avons introduit les tendances de l'architecture informatique et des opportunités, et d'explorer les moyens de promouvoir FPGA, ASIC (tels que la puce de l'intelligence artificielle) et l'architecture non-von Neumann du développement et de l'évolution, afin de réaliser des applications d'apprentissage de l'intelligence artificielle / machine des performances maximales.
Les membres présents à la part finale de Leader Tech pour présenter l'Assemblée générale.
infrastructure avenir est ce genre de regard avant de définir avec vous.
Bienvenue attention Alibaba Group Infra. Nous obtenons plus d'informations
Facebook: Alibaba Group Infra.
Ne hésitez pas à nous contacter par e-mail: alibabainfra@service.alibaba.com
concernent le logiciel Ali numéro micro-chaîne publique, entrez le mot-clé « infra » join Alibaba Infra. groupe micro-canal du groupe
