Ali sur REVIEW: Ministère de la technologie dans le mélange de l'industrie appartient aussi au domaine est encore peu de recherche, la technologie que dans le corps du montant des ressources et le coût atteint une certaine taille, il montrera son bonus technique considérable. Aujourd'hui, Jiang Ling Ali logiciels experts techniques du ministère du profil d'exploration Alibaba Ministère mélangé, plusieurs aspects du programme et de la structure du ministère du mélange et mélanger avec le ministère des technologies de base, nous avons une connaissance approfondie du département de technologie mixte, je l'espère pour votre inspiration.
A propos de l'auteur: Jiang Ling (Ling Xin), les experts techniques du logiciel système Ali, pour préparer les grands produits d'automatisation pour promouvoir la personne responsable, le fournisseur d'électricité de grande échelle chef mixte du projet.
I. Introduction exploration Alibaba Ministère mixte
Département de point de départ technologie mixte, provenant de l'entreprise en pleine croissance et comment équilibrer l'augmentation des coûts des ressources de la pensée, nous espérons que les coûts de ressources minimales, en soutenant plus les besoins des entreprises. Il est capable de réutiliser le stock existant de ressources pour répondre à la nouvelle entreprise, qui est la source de pensées mixtes Ministère du développement technologique.
1.1 Pourquoi ne pas mélanger une partie?
La figure est une courbe Alibaba volume de transactions au cours des années de 2009 à faire deux à onze carnaval achats depuis, pour les étudiants d'affaires, la plus belle vue de cette courbe de croissance, mais pour le personnel technique et du personnel d'exploitation et de maintenance, ce la figure derrière signifie que d'importants défis et pressions sur les ressources.
Pour faire ses pairs électroniques de l'industrie des services à base de plate-forme d'affaires, nous devons savoir ce que nous faisons des activités de promotion, la pression technique vient souvent dès les premières secondes à la vente, il est un débit de pointe pulsé.
Deux-onze zéro pic flux Alibaba entreprise en ligne (volume de transactions habituellement de second niveau créé pour décrire) avec cette image de la courbe de tendance essentiellement. Depuis le début de l'année prochaine, 2012, 0h00 pression maximale est essentiellement deux fois l'année précédente. Nous pouvons voir le côté en ligne de l'entreprise croît si vite, surtout avec nos activités de promotion sont inséparables.
En plus du type d'entreprise en ligne, Alibaba a également une grande échelle entreprise de calcul hors ligne. Avec la montée de la technologie AI, les opérations de calcul ont également montré une tendance à la hausse. En date du courant, une grande capacité de stockage de données a atteint le niveau KPB Division I, le montant d'un million de tâches quotidiennes.
Poursuite de la croissance dans les réserves de la couche d'infrastructure un grand nombre de ressources pour répondre aux besoins du modèle d'affaires en ligne et hors ligne. Étant donné que le type d'entreprise en ligne et le modèle d'affaires en ligne a de nombreuses incohérences caractéristiques d'utilisation des ressources, initialement conçu pour être pris en charge par deux centres de données distincts, actuels, les centres de données ont atteint plus de deux millions d'unités des serveurs à grande échelle.
Cependant, nous avons constaté que la quantité de corps de ressources du centre de données est ambitieux, mais une utilisation des ressources ne sont pas optimistes, en particulier les centres de données d'entreprise en ligne, l'utilisation des ressources moyenne quotidienne est seulement d'environ 10%.
Sur la base de l'arrière-plan ci-dessus, en tenant compte de la variabilité des différents services et exigences d'utilisation des ressources: d'une part, les différents services avec des caractéristiques différentes de la période de pointe (ressources multiplexage par répartition dans le temps), d'autre part, la tolérance pour les différentes ressources en réponse (concurrence des ressources par priorité et préemption), nous a incités à explorer la direction technique de différents déploiement de mix d'activités.
Qu'est-ce que est mélangé avec l'unité 1.2 (colocalisation)?
En bref, la technologie est des portions mixtes: les différents types de trafic sont un déploiement mixte, deux services différents fournis par une ressource alors que la technique équivalente des ressources.
technologie mixte première partie, l'intégration des ressources, la séparation physique de l'entreprise à l'origine déployé sur une des ressources physiques unifiées;
En second lieu, le partage des ressources, avec une ressource, tant pour le soutien aux entreprises A, B et des services de soutien, dans la perspective des services A et B, ainsi que de voir chaque copie de la ressource;
Enfin, il est raisonnable de concurrence pour les ressources, étant donné que la copie originale de la ressource, et ses deux, transformé en 2 parties, il doit y avoir concurrence pour les ressources, la nécessité de fournir un moyen raisonnable de concurrence, de sorte que les différents besoins en ressources de l'entreprise en conformité avec leurs exigences de service respectives.
Ministère mixte la plus grande valeur aux ressources est entièrement réutilisation grâce au partage des ressources, pour réaliser quelque chose de rien. L'objectif principal du ministère de mélange la technologie qui se produit lorsque la concurrence pour les ressources, donner la priorité à assurer un haut niveau de service. Par conséquent, nous voulons contrôler et la planification des ressources par les moyens d'isolement du noyau isolement et la concurrence pleinement partagées.
Off-line unité de mélange 1,3
modèle d'affaires en ligne, la scène dans la section mixte décrit la technologie dans les grandes entreprises de transaction, type de paiement de l'entreprise, le type de demandes de navigateur.
Nature du service en ligne est en temps réel, les besoins en temps réel sont très élevés, et ne peut être rétrogradé. Si l'utilisateur d'acheter bébé pendant les longues attentes (comme second niveau), il est probable que les utilisateurs abandonnent l'achat, si les besoins des utilisateurs à Réessayer, on estime qu'il est difficile de retenir les utilisateurs.
modèle d'affaires en ligne, d'autant plus que nous faisons des affaires de l'électricité, la tendance du volume d'affaires est évidente. Accompagné par le programme utilisateur, haute et basse jour la nuit, le jour acheter acheter acheter.
Un autre type de plate-forme de fournisseur d'électricité est de plus grandes propriétés, avec un trafic quotidien est très faible pour une grande promotion, une grande quantité de pro-deuxième jour de la création peut être la quantité habituelle de périodes de pointe ou même cent fois ou plus, il a un temps fort scène de sexe.
Services hors ligne, tels que: les opérations de calcul, des opérations arithmétiques, des rapports statistiques, le traitement de données et d'autres services, par rapport au type de service en ligne, l'appel peut retarder les emplois de service insensibles soumis par l'utilisateur et, sur la durée du traitement en soi dans le deuxième niveau, au-dessus minutes de qualité, même des heures de classe, le niveau de jour, ils peuvent courir seulement après une période de temps pour terminer. En même temps, ils peuvent accepter retry, techniquement, nous devrions être plus préoccupés par qui l'aide et essayer à nouveau. nouvelle tentative d'utilisation inacceptable, mais si le système d'aide nouvelle tentative, l'utilisateur n'a pas de sens.
De plus, le temps de la scène des affaires en ligne est en ligne pas si forte, vous pouvez toujours courir, même montré des caractéristiques anti-temps d'activité en ligne, sa probabilité relativement faible d'un certain jour, le matin est relativement élevé. La raison, présentent également et le comportement des utilisateurs connexes, par exemple: un utilisateur de soumettre un modèle statistique, en attendant de commencer à courir après 00h00, le rapport chargé le lendemain avant d'aller travailler le matin.
A partir de l'analyse des caractéristiques temporelles des différents services en cours d'exécution, nous pouvons trouver ce type d'entreprise en ligne et d'affaires hors ligne, les conditions d'affaires ont la charge de pression décalage et la charge de pointe décalant des ressources;
D'autre part, les entreprises en ligne ont priorité beaucoup plus élevés et les capacités préemptions, en même temps, les affaires en ligne a montré un manque de tolérance lorsque certaines ressources. Ces facteurs deviennent en ligne, éléments du mix d'affaires hors de la faisabilité du département de la technologie.
1,4 Alibaba dans le cadre de le faire unité mixte à explorer
Avant le début de la technologie d'introduction, la technologie brièvement unité d'exploration du cours mixte Alibaba:
- 2014 proposé département de technologie hybride;
- 2015 faire des tests hors ligne et la simulation de prototype;
- 2016 environ 200 machines dans l'environnement de production, les utilisateurs au sein de l'entreprise comme la première personne à manger du crabe, en cours d'exécution l'année, les utilisateurs internes appliquent, en ligne après l'atterrissage efficace,
- 2017 petite section de mix de production, pour atteindre des milliers de niveau de la machine physique, directement aux utilisateurs externes, et promouvoir la double soutien XI 2017;
- D'ici 2018, nous espérons que la propagation à grande échelle de l'année, nous espérons apporter le service technique mixte objectif barème des en vigueur, pour créer un million d'unités de massant cluster unité mixte.
1,5 résultats mitigés à l'échelle Alibaba du ministère de
La première partie actuelle ne se mélangent, il y a deux scénarios: à partir des ressources de cluster en ligne pour faire l'unité mixte pour fournir une puissance de calcul hors ligne supplémentaire avec une ressource en ligne pour les opérations commerciales hors ligne, ne mélangeons fourni par le ministère des ressources hors ligne cluster pour créer une ressource hors ligne capacités de transaction d'affaires en ligne (principalement pour traiter avec une grande promotion et autre pic de trafic en ligne).
A l'intérieur, nous avons une convention simple, en ligne et hors-ligne, qui a fourni la machine viendra à la surface supérieure, il est appelé mélange hors-ligne et hors ligne unité dans la section de mélange.
2017 double 11, la sortie officielle de notre deuxième étape est de créer la quantité de 375.000 stylos par seconde, mélange des grappes d'unités hors-ligne pour atteindre millions de transactions par seconde organisme commercial, en utilisant les ressources hors ligne à pic de soutien en ligne, l'enregistrement d'une certaine quantité de grande promotion au-dessus des ressources.
Pendant ce temps, dans le groupe d'unité de mélange hors ligne en ligne, le natif de l'utilisation des ressources en ligne quotidiens clusters de 10% à 40%, pour fournir des forces de routine de calcul hors ligne supplémentaires. Comme indiqué ci-dessous:
Ceci est un véritable système de surveillance. (Droit) qui représente le point dans le temps de la scène des portions non mélangées est d'environ 07:00 à environ 11:00, le taux d'utilisation de la ligne centrale est de 10%. (Gauche) représentant de la partie des données de scène est mixte, en moyenne environ 40%, la gigue est relativement importante, parce que l'entreprise hors ligne elle-même a une volatilité relativement importante.
Enregistrement tant de ressources, la qualité des services aux entreprises (en particulier les entreprises en ligne) est pas mal qu'elle devienne?
Le graphique suivant RT est responsable des services de base de traitement des transactions en ligne, qui courbe verte mixte représente la performance du groupe RT Ministère, la courbe jaune est la performance mixte non-RT partie du cluster peut voir que les deux courbes coïncident sensiblement, scènes de département mixtes la différence entre la température ambiante moyenne par rapport au groupe normal à moins de 5%, en ligne avec la qualité des exigences de service:
II. Partie de mélange schéma et l'architecture
Étant donné que le Département de la technologie mélangée avec le système commercial de l'entreprise, il y a un certain système exploitation et la maintenance corrélation, donc le texte peut faire référence à différentes connaissances techniques, le manque d'espace une simple citation, ne peut pas fait dans le détail.
La section suivante programmera brièvement mixte, y compris: l'architecture globale, la stratégie de déploiement de l'unité commerciale de scène mixte, gestion des ressources et des mécanismes d'allocation des clusters Département mixtes, les stratégies d'exploitation des entreprises mixtes sous la scène du ministère.
2.1 Ministère mixte architecture générale
département de technologie abstraite mixte est divisé en trois niveaux:
Tout d'abord, la combinaison des ressources, l'intégration des pools de ressources, soit utilisés pour le service A, le service B à utiliser.
Deuxièmement, nous devons faire une très bonne planification des ressources et de l'allocation. Avant d'effectuer le mélange des techniques de partie plate-forme Alibaba a une pluralité de planification des ressources, système ligne côté système ordonnancement des ressources qui est appelée Sigma, la planification des ressources appelé côté hors ligne Fuxi. Département de défi technologique mixte est de faire des affaires une allocation des ressources différentes des ressources, d'unifier plusieurs systèmes de planification des ressources et de l'arbitrage de prise de décision.
Troisièmement, une bonne isolation et lorsque la préemption concurrence pour les ressources à l'exécution.
L'architecture de la figure suppose certaine hiérarchie:
Le fond est la couche d'infrastructure, tout le groupe est un centre de données unifié, peu importe comment haut l'utilisation, les machines, les réseaux, et ainsi sur le matériel et les installations de soutien sont les mêmes, en couche, couche de ressources, nous devons faire unité de mélange, doit étang ouvert, le contrôle des ressources ensemble;
Au-delà de ce niveau, une couche d'expédition, est divisée sur le serveur et le client. est en ligne Sigma, hors ligne est Fuxi, nous possédons la plate-forme de planification des ressources d'entreprise a appelé un planificateur. Dans l'architecture de partie de mélange, l'introduction de « couche 0 » planificateur responsable de la coordination du contrôle des ressources de planificateur deux niveaux et les décisions d'allocation des ressources, il a aussi sa propre - Agent;
La couche supérieure est les opérations pour les couches de planification des ressources et de contrôle, certaines ressources livrées directement à la couche de service via un programmateur, et certains se rapporte également au sol, par exemple: Hippo comme.
Dans la partie de mélange il y a une partie de commande d'architecture spéciale couche de mélange, et effectuant des opérations de planification exécuté sous les mécanismes principaux responsables de la section en mode mixte et de configurer les ressources physiques de contrôle, le suivi et le service de prise de décision.
Ce sont l'architecture de l'allocation des ressources, ainsi les machines et les ressources peuvent être affectées à différentes activités, mais après l'attribution, la priorité du travail d'exécution SLA et comment protéger? affaires en ligne et hors ligne d'affaires pour exécuter simultanément sur une seule machine physique, si la concurrence des ressources se produit entre les entreprises comment faire? Nos ressources et de soutien pour faire l'isolement du noyau d'exécution, nous avons développé beaucoup de fonctionnalités de base, le soutien aux différents types d'isolement des ressources, la commutation et la rétrogradation. mécanismes liés au noyau décrits au chapitre III.
2.2 Ministère mixte scène stratégie de déploiement d'affaires en ligne
Cette section décrit comment mélanger le ministère de la technologie utilisée dans le scénario d'affaires en ligne, la transaction prévoit la possibilité de créer la plate-forme d'affaires électroniques.
Tout d'abord, mélanger le ministère de la technologie en raison de sa nouveauté et contient le point de transformation technologique plus, afin de risques d'éviter, nous espérons, pilote à petite échelle limitée dans le cadre du contrôle. Par conséquent, nous avons basé sur une architecture de déploiement unité (en ligne) Notre fournisseur d'électricité stratégie de déploiement d'entreprise, construira une unité de cluster mixte indépendante des unités de négociation, d'une part pour assurer que le ministère de mélange la convergence des technologies ne modifie pas la situation générale dans la région, d'autre part à la fourniture du service et l'unité de commande indépendante en boucle fermée.
Dans le secteur de l'électricité système basé en ligne, nous avons mis les acheteurs comportement d'achat lié au service de toute la chaîne, dans une boucle fermée à un ensemble de services, ce service est défini comme un ensemble de l'unité de négociation. Trading unité peut se faire: toutes les demandes de transactions acheteurs avec des instructions connexes sont achevées dans cette unité fermée, ce qui est hors site en direct - architecture de déploiement cellulaire.
Technique autre mode de réalisation d'une partie de mélange contrainte, à partir des limites des ressources matérielles. En raison des exigences de hors-ligne d'affaires en ligne pour les ressources matérielles peuvent varier, mais leur stock de ressources correspondent pas nécessairement d'autres affaires, nous avons rencontré dans la mise en uvre des problèmes d'adaptation des stocks de ressources, le plus fortement réfléchi sur le disque.
ressources autochtones hors ligne d'affaires, il y a un grand nombre de ressources de disque HDD à faible coût, et le fonctionnement hors connexion avec plateau disque dur presque plein. Une telle entreprise en ligne est fondamentalement pas disponible.
Afin de protéger les problèmes de disque de performance IOPS, nous avons mis en place une technologie de stockage informatique distinct. La technologie informatique de séparation de stockage est une autre technologie évolution inhérente de notre groupe, qui fournit des services informatiques et de stockage centrés, nuds de calcul via le centre de stockage connecté au réseau, vous pouvez compter sur le bouclier de calcul des noeuds sur le disque local.
les clusters de stockage peuvent fournir différentes capacités de stockage. service de stockage en ligne pour les besoins de haute performance, le débit n'est pas grande, donc nous calculons la technologie de séparation de stockage, a remporté le IOPS sécurisé service de stockage à distance.
l'allocation des ressources de cluster mixte section 2.3
Ensuite, l'architecture d'ensemble, nous allons jeter un oeil à la perspective d'une partie de la combinaison des ressources de l'allocation des ressources en cluster, il est de savoir comment faire quelque chose de rien.
Le premier est un point de ressource autonome de vue, la CPU principale, MEM, disque, net, après la déclaration de la façon dont les ressources supplémentaires disponibles.
Let regard de la CPU, l'utilisation des ressources en ligne par jour groupe pur à près de 10%, on peut dire des affaires en ligne ne sera pas dans des conditions de tous les jours entièrement utilisées CPU, et lorsque la grande promotion et d'autres lieux de promotion, sera en ligne atteindre en un instant un des pics d'utilisation du processeur.
tâche hors ligne est plus comme une éponge absorbe l'eau, un grand corps de son volume d'affaires pour la puissance de calcul du processeur, combien combien seront en mesure d'utiliser. Avec l'arrière-plan ci-dessus pour une utilisation commerciale des ressources, le ministère de la technologie a contribué au mélange pour rendre la vie pour les deux CPU.
ressources CPU pour exécuter dans le mécanisme du noyau pour les tranches de temps de formation de rotation alloués aux différents processus, nous un noyau CPU, alors qu'il était affecté à la tâche des affaires en ligne et hors ligne, et de faire en sorte que la haute priorité en ligne, lorsque les loisirs en ligne, hors ligne peut utiliser le CPU, et quand la nécessité d'utiliser la tâche en ligne, hors ligne et pendre préemption.
Mentionné ci-dessus deux planificateur de ressources (planificateur planificateur en ligne et hors ligne Fuxi Sigma), commerce en ligne comme une unité de ressource contenant poche, le conteneur se lier certain noyau CPU Pouch utilisé pour un service en ligne. Sigma considère la machine physique sont tous ensemble en ligne.
En même temps, le climat hors-ligne planificateur Fuxi que cette machine hors ligne appartient, il mettra toute la machine des ressources CPU peuvent être attribuées en tâches hors ligne des ressources qui lui sont assignées. De cette façon, nous les résultats Double ressources CPU.
La CPU allouée à deux avec une entreprise à gérer, le risque de concurrence existera, qui dépendent de la technologie du noyau de base du processeur pour isoler et la planification, qui sera mentionné ci-dessous.
CPU peut être partagée tranche de temps multi-processus, mais le MEM et des ressources disque est plus difficile, ce qui donne à la partie comme une ressource consommable, un autre processus ne peut pas être utilisé, sinon il sera de couvrir le nouveau processus. Comment niveau de la mémoire de réutilisation est devenue une autre priorité de la recherche.
Comme le montre (en haut à droite), l'art décrit le mécanisme utilisé par la mémoire survente section de mélange, du côté supérieur entre parenthèses figure représente l'allocation de mémoire de ligne (bleu) et l'allocation de mémoire hors ligne (en rouge), tandis que la vue de côté des supports inférieurs représente en ligne la quantité d'utilisation de la mémoire (bleu) et la quantité d'utilisation de mémoire hors ligne (rouge).
La figure peut être vu dans l'utilisation de la mémoire hors ligne, la mémoire multi-ligne, attribuée au montant par lequel le mécanisme pour réaliser l'utilisation de la mémoire de survente.
Pourquoi la mémoire en ligne permet d'utiliser d'être survendu, en raison de notre société de langage Java orientée métier en ligne, la mémoire allouée à un conteneur pour les frais généraux de mémoire de tas java d'une part, la mémoire restante comme l'utilisation du cache.
Cela a donné lieu à la mémoire conteneur ligne dans une certaine quantité de mémoire libre, nous surveillons l'utilisation de la mémoire par une amende, associée à des mécanismes de protection, le conteneur d'allocation de mémoire en ligne gratuit attribué à hors-ligne. Mais parce que cette mémoire en ligne appartiennent, pas hors ligne pour une protection forte, et donc relativement faible niveau en ligne sera rétrogradé au service planification de ces ressources.
aspects de disque, la capacité du disque à la fois l'entreprise est encore relativement pleine, sans faire trop de contraintes. Les termes de disque IO, fait une série de limite de vitesse de bande passante à un maximum IO lié tâches hors de moins d'un certain montant, pour éviter tout effet d'éviction en ligne et système IO.
En outre, autonome niveau net, en raison de la capacité actuelle est plus abondante, est pas un point de goulot d'étranglement, ne pas faire l'introduction trop.
2.4 Grand promouvoir le mécanisme de concession des ressources: rapide sur place à la rapide
Comment plus de partage des ressources à un seul niveau et la concurrence pour obtenir l'isolement, laissez-nous jeter un regard sur les ressources de l'ensemble du niveau du cluster, si le contrôle fonctionnement global et la maintenance, la migration, et d'atteindre une utilisation maximale des ressources. Ministère mixte de la technologie, nous poursuivons l'utilisation des ressources ultime, donc qui ne devrait pas être utilisé dans les scénarios d'affaires ne perdez pas toutes les ressources.
Nous avons donc mis en avant le concept du site en vitesse rapide, en termes de faire face à des affaires en ligne, comme décrit précédemment, chacun de l'unité de cluster qui est une unité de transaction mixte en ligne, qui prend en charge un petit nombre d'utilisateurs indépendants des transactions, donc nous il deviendra un « site », la capacité globale du site en ligne, nous ne mise à l'échelle, un processus plus rapide est en rapide. Comme indiqué ci-dessous:
manomètre de type d'entreprise en ligne dans les opérations commerciales quotidiennes et des promotions spéciales fait preuve de partialité énorme, il peut y avoir cent fois plus que pendant 11 à double circulation quotidienne, cette fonction a jeté les bases de la faisabilité du système sous rapide sur rapide.
Comme indiqué plus haut, le schéma fonctionnel de deux grandes, par rapport à la capacité totale du site est en ligne, chaque petit carré représente un certain nombre de services conteneur ligne, chaque ligne représente une réserve de capacité de services en ligne (le nombre total de conteneurs), nous avons adopté la planification de la capacité de l'ensemble du site, pour atteindre l'état quotidien et de la capacité de l'Etat à promouvoir un grand modèle de commutateur, ce qui rend l'utilisation fine des ressources.
Nous le fournisseur d'électricité d'affaires de référence généralement à un objectif d'affaires, comme opération de deuxième étape pour créer des éléments, comme l'évaluation des capacités du site, en général, dans une journée normale, un seul site a réservé la capacité de stylo K / est suffisante, mais attendre que près de la grande promotion nous encouragerons l'état de transfert Tai-site, généralement le niveau de capacité W / s stylo.
A travers le modèle ci-dessus, les dimensions du site entier, la réduction du volume global des capacités en ligne inutile, afin de parvenir à la pleine libération des ressources, de sorte que vous pouvez faire des affaires en ligne pour obtenir des ressources plus physiques, ce qui est plus rapide rapide vers le bas mécanisme.
processus rapide sur le site (de faible volume à haute capacité), l'efficacité dans l'heure. Au cours du site rapide (d'une grande capacité à faible capacité), l'efficacité d'une demi-heure.
Dans l'état de tous les jours, le site Département mélangé avec un trafic modèle capacité minimum de soutien par jour en ligne, et quand à la veille de grande échelle lien promotionnel ou mesure de pression totale, le service de mélange va rapidement tirer vers le haut le site à un état de capacité relativement élevée, et quelques heures de fonctionnement continu après effectué sur le site bientôt.
Grâce à ce mécanisme, nous veillons à ce que la plupart du temps, à seulement quelques ressources en ligne, et plus de 90% des ressources sont pleinement utilisées hors ligne. La figure ci-dessous montre les détails de l'allocation des ressources à divers stades de faster:
cas où figure la répartition des ressources, gauche, centre, droite et boîtes rectangulaires représentent: une date d'allocation des ressources des conditions normales, le mode de mesure de la pression, l'état haut-actionnement partie de groupe mixte.
Parmi eux, le rouge pour hors-ligne, au nom de la ligne verte. Et chaque boîte rectangulaire, divisé en couche supérieure, moyenne et inférieure, la couche supérieure représente les opérations commerciales et l'ordre, le milieu représente une distribution des ressources (hôte), qui représente les petites ressources Département bleu mixtes carrés, le niveau inférieur au nom d'une ressource de cluster le rapport de distribution et le mode de fonctionnement.
En journée normale (rectangle de gauche), occupant la majeure partie des ressources hors ligne, en allouant une partie de l'acquisition, la lutte pour obtenir en exécutant une petite partie du temps (sans l'utilisation de est hors ligne).
Attendre jusqu'à ce que l'état de mesure de pression (in) et l'état de haute actionnement (à droite), les ressources hors ligne vont céder, pour atteindre sensiblement de 50% du rapport de répartition pour chaque ligne, lorsque la pression de ligne est élevée, pas de survente repousser, mais en préparation période (mais pas grand État pour promouvoir le temps à haute pression), la lutte contre encore hors ressources gratuites en ligne.
Double 11 grande promotion dans la journée, nous sommes plus déterminés à protéger la stabilité des affaires en ligne, hors ligne fera un certain niveau de dégradation du service.
2.5 mécanismes de concession de ressources par jour: le multiplexage temporel de division
Au-dessus était sous des mécanismes rapides de vitesse sont décrits dans une grande capacité de promouvoir le site en ligne et l'état de la procédure de transfert quotidienne normale, en plus, jour ouvrable en ligne et le matin montrent aussi un fort courant régulièrement aux sommets et vallées phénomène, afin d'améliorer encore l'utilisation des ressources, nous avons également proposé un mécanisme de concessions de ressources dans les situations de la vie quotidienne: le multiplexage temporel de division.
Ce chiffre est l'entreprise en ligne par jour a montré une courbe de cycle d'écoulement du jour, le matin sera relativement faible, relativement élevé au cours de la journée, pour chacun de nos services en ligne, de sorte qu'une capacité de cycle beau jour étirement afin de minimiser les ressources d'affaires en ligne utilisation, transférant ainsi des ressources à utiliser hors ligne.
III. Section mixte technologie de base
technologie de base Département mixte est principalement divisé en deux aspects: d'abord, la technologie d'isolation de base, la deuxième est la technologie de planification des ressources, car elle implique tous impliquant domaine professionnel, en tenant compte de la longueur actuelle de l'article, ci-dessous énumère seulement une série de points techniques, les détails ne se sont pas déroulées .
3.1 Introduction noyau technologie d'isolation
Nous dans le noyau de chaque type de niveaux de ressources ont fait un fortement des caractéristiques d'isolation du développement, y compris: les dimensions de CPU, dimension IO, la dimension de la mémoire, la dimension du réseau. Être basé sur l'ensemble CGroup en ligne, hors ligne division du groupe d'affaires, de distinguer deux types de priorités métier.
Dans les dimensions du processeur, nous avons implémenté la technologie Hyper-Threading sur, planificateur, cache à trois niveaux et d'autres caractéristiques d'isolation. Dans la dimension de mémoire pour atteindre l'isolement de la bande passante mémoire et la priorité kill OOM. La dimension de disque IO pour atteindre la limite de vitesse. dimension réseau, le contrôle des flux à un seul niveau, a également fait une QoS hiérarchique garantie couche de réseau de la chaîne.
Détails de mélange technologie de base d'isolation de l'unité, nous pouvons obtenir leur propre recherche, lancé seulement des informations sur les mécanismes de la mémoire survente ci-dessous.
Dynamic Memory mécanismes survendu:
Comme le montre la figure ci-dessus de la ligne continue entre parenthèses, rouge, bleu représentant hors ligne, l'allocation de mémoire en ligne CGroup, et sa valeur représente toute la mémoire peut être alloué (surcharge de la mémoire a été supprimée), dans lequel il y a une ligne continue pourpre entre parenthèses, le quota de mémoire hors ligne nom de survente, la taille de la variation de valeur en raison de l'exécution, la taille de la mémoire libre est disponible en ligne en écoutant le temps de fonctionnement utilisé pour décider.
La ligne en pointillé entre crochets latéraux FIG, au nom de ligne, en ligne, à la mémoire réelle, dans laquelle l'entreprise générale en ligne ne sera pas utiliser la mémoire est pleine, la mémoire restante, une utilisation hors ligne comme quota survendu. Afin d'éviter que les exigences de mémoire soudaine en ligne, nous avons mis de côté une certaine quantité de mémoire dans le mécanisme comme un tampon. Grâce au mécanisme ci-dessus pour obtenir hors-ligne utilisent de la mémoire survendu.
3.2 Technologie de planification des ressources
Le mélange d'une seconde partie de l'ordonnancement des ressources en partie mixte planification des ressources de la technologie des technologies de base de la technique de scène, la planification des ressources peut être divisé en une (la technologie en ligne et hors ligne techniques d'ordonnancement de ressources de planification des ressources de Fuxi) natives et de la couche portion mélangée 0 la planification.
3.2.1 Planification des ressources en ligne: Sigma
ressources d'application de planificateur de ressources en ligne basés principalement sur les portraits, la planification des ressources et de l'allocation raisonnable, y compris une série de problèmes d'emballage, règle d'exclusion affinité / mutuelle, solution globale optimale, et appliquer la capacité rétractable automatique de la dimension mondiale, le temps multiplexage et dimensions sous la lutte contre rapide sur rapide.
La figure est un ordonnancement en ligne diagramme d'architecture Sigma, qui est compatible API Kubernetes, basée sur la technologie de programmation Ali contenant Pouch, et pendant de nombreuses années dans le flux à grande échelle d'Ali et double 11 grande vérification de promotion.
3.2.2 la planification des ressources hors ligne: Fuxi
Offline groupe planificateur principal résultat ordonnancement des tâches hiérarchique, la mémoire dynamique de survente, sans perte / lossy hors programmes de relégation.
Ceci est le mécanisme de fonctionnement de la figure déconnecté planification des ressources Fuxi, effectue une planification basée sur l'emploi, en face de traitement de données massives et à grande échelle de calcul des applications complexes de type, fournit une données du type pipeline à plusieurs étages parallèles entraînés cadre de calcul.
Ce qui est compatible avec la capacité d'exprimer MapReduce, MapReduce-fusion, Cascading, FlumeJava autre mode de programmation, une grande évolutivité, le soutien à plus de cent mille niveau ordonnancement des tâches de parallélisme et d'optimiser la répartition des frais généraux du réseau de données.
3.2.3 Planification des ressources d'uniforme: la couche 0
scène Ministère mixte, à la fois en ligne et hors ligne la planification des ressources d'entreprise et de l'allocation des ressources par chaque couche du programmateur, mais dans une couche en dessous du planificateur, ainsi qu'une couche de planification des ressources unifiée -0 couche, qui fonctionne à la fois les ressources et la coordination arbitrage, par l'écoute et la prise de décision, l'allocation rationnelle des ressources. Ce qui suit est une partie de planification mixte des ressources architecture globale de la figure.
IV. Perspectives de la Future
Ministère mixte de développement de la technologie à l'avenir, l'évolution vers trois directions, à savoir: l'échelle, la diversification et l'amélioration de l'orientation.
Echelle: en 2018, atteindra millions d'unités de service au niveau mixte, ce sera un saut dans l'ordre, nous voulons mélanger le ministère des capacités de base des ressources internes pour fournir, sur une des ressources économiques économies plus importantes à l'échelle du Groupe.
Diversification: espoir pour l'avenir pour soutenir plusieurs types d'entreprises, plusieurs types de ressources matérielles, ainsi que l'environnement plus complexe, et l'espoir même de passer à travers les ressources en nuage, les ressources cloud Ali et l'échange d'unité de mélange interne.
Amende: l'avenir du portrait des ressources d'affaires dans l'espoir de représenter un des aspects de planification plus détaillée, en temps réel du vieillissement plus, la précision de la planification est plus détaillée, l'isolement de base plus sophistiqués, la surveillance, l'exploitation et la maintenance et le contrôle en temps réel plus précis.
