Auteur Zhang Dong Mao
la plate-forme de migration de données de stockage PB objet de qualité
1
analyse des besoins Optimus
Optimus est la migration des données de la plate-forme de stockage d'objets de qualité PB, qui a grandi sur le marché et les scénarios de migration de données commune demande des clients typique, basée sur la formation d'un réseau entier, le stockage de la plate-forme indépendante de la migration complète des données de la plate-forme de recherche. Avec le système de migration traditionnelle est différente, aucune installation de client et de l'équipement auxiliaire externe, toutes les migrations de données automatisé basé sur un réseau.
1.1 La demande originale
Ø Une fois qu'un utilisateur a acheté un magasin d'objets commercial ou construire votre propre système de stockage d'objets (par exemple à base de source ouverte: CEPH, minio, réalisation rapide OpenStack), pour stabiliser rapidement la migration des données de la plate-forme de stockage d'origine à la nouvelle plate-forme de stockage distribué, la taille des données souvent plus de quelques centaines de TB
Ø la performance de la plate-forme de stockage d'objets d'utilisateur d'origine est limitée, les connexions d'accès limité, vous avez besoin d'une nouvelle plate-forme en tant que source externe pour d'autres plates-formes pour les appels d'accès ou d'utiliser le dos CDN à la source, alors que la nécessité de veiller à ce que les derniers documents produits sont accessibles
Ø plateforme de stockage d'objets d'utilisateur d'origine une bande passante limitée, la plate-forme de production de contenu pour répondre aux besoins des entreprises pendant un accès normal au contenu lors de la production de contenu et de trafic intense plus à loisir avant de tirer la migration des données et la migration
1.2. Les solutions traditionnelles
Dans la pratique, souvent avec un seul outil de gestion des données (telles que: s3cmd, Cyberduck, etc.) pour réaliser la migration, le plus gros problème rencontré est les goulots d'étranglement de la bande passante unique, en particulier dans le cas d'un côté alors que le téléchargement et le téléchargement, vous avez besoin plus de bande passante.
En plus du problème de la bande passante, la migration de la grande quantité de données dans la version autonome, il y a un problème:
Ø ne peut pas faire de haute disponibilité, le téléchargement de fichiers ne pas automatiquement nouvelle tentative
Ø ne peut pas garantir l'intégrité des données
Ø Si les anciennes plates-formes de stockage de données continue d'augmenter, ne peut pas faire la migration progressive, mais aussi la nécessité d'une intervention manuelle
1.3. Analyse des besoins et des processus d'affaires
1.3.1. Analyse des besoins
Selon le montre l'analyse ci-dessus, une distribution, peut être élastique contractée, la haute disponibilité de la plate-forme de migration de données pour être en mesure de faire face à grande échelle les besoins de migration de stockage de données.
Ø Distribué
Fournir multi-serveurs, peut améliorer considérablement la bande passante de la migration de données
Ø contraction élastique
Dans la pratique, nous avons constaté que le service de migration de données n'a pas accès à la normale la plupart du temps, mais une fois que vous avez une grande tâche, il devient plus lourd IO (upload et download) et CPU plus lourd (calcul de l'intégrité des données de contrôle MD5).
Ø Haute disponibilité
Pour migrer l'intégrité des données, en plus de vérifier l'intégrité des fichiers individuels, mais aussi besoin de vérifier que tous les fichiers sont migrés avec succès, il n'y a pas d'omission, la nécessité de fournir un mécanisme de nouvelle tentative au niveau du système.
En outre, la plate-forme aussi besoin d'avoir:
Ø autorité de certification: l'authentification des utilisateurs, l'accès aux services juridiques
Ø Ouvrir Interface Restful: fournit une interface ouverte permet aux utilisateurs de faire du développement secondaire intégré
L'accès normal au fichier avant et après la migration afin d'assurer que la structure de répertoire reste inchangé, ne modifie pas la migration: structure de répertoire Ø garanties de cohérence
1.3.2 Business Process
processus de migration simplifié représenté sur la figure:
1) l'autorité de certification de la plate-forme de migration de données utilisateur par un module d'authentification (vérifié par clé AK / SK ou nom d'utilisateur / mot de passe, et l'espace de stockage ainsi)
2) la vérification est passée, l'utilisateur peut utiliser l'API pour spécifier la console ou la migration de migration du module de distribution de contenu à pousser (lots d'adresses push)
3) Module de distribution selon la trajectoire de migration du fichier source tirant
4) Le fichier à stocker tirer l'objet de la plate-forme de stockage (le contenu doit être stocké conformément à la structure de répertoire de stockage source)
5) renvoie l'utilisateur à migrer les résultats de la plate-forme de migration de données
2
Optimus système de migration active 2.1. Caractéristiques
Cette partie est très facile à comprendre, en supposant que la migration scénarios sont les suivants:
Le site ce qui suit trois documents, à savoir abc.txt, def.jpg, bad.mp4 Migrer vers un service au-dessus de la S3, correspond nom du godet bucketone.
Par conséquent, un utilisateur enregistré en cas de succès auth, vous pouvez lancer une demande de PUT au service,
Corps de la demande sont les suivantes:
{
"Origine-fichiers": <
"Http://domain.com/abc.txt",
"Http://domain.com/def.jpg",
"Http://domain.com/bad.mp4",
>
"Type cible": "s3",
« Seau cible »: « bucketone »,
"Target-acl": "-lecture publique",
}
Si le serveur renvoie 200, indiquant que la plate-forme de migration a été donné la tâche commencera les tâches de migration ou de ressources en fonction du temps spécifié.
Les utilisateurs peuvent voir l'avancement des tâches par URL de rappel, ou l'état de l'API, ou pour afficher la progression de la console visuelle suivante
vue élargie JobID, vous pouvez voir la migration spécifique des fichiers et des progrès de la migration des fichiers et de l'état
2.2 Mise en uvre
Cette section présente une intuition est très simple et ne tâche pas Migrate est d'attribuer au nombre de serveurs il? Tant qu'il y est un serveur maître d'accepter la tâche, les tâches de segmentation, puis confier la tâche à l'agent sur un serveur sur elle.
Mais là où il y a des difficultés:
1. Comment collecter des données sur l'agent, vérifier s'il y a des ressources pour exécuter la migration des tâches
2. l'isolement tâche de migration, ne touche pas l'autre
Réfléchissez bien à, n'est pas le problème de la planification des ressources typique? Beaucoup ont besoin de pas de recréer la roue, cadre en option
Ø Kubernetes
Ø Mesos
Ø Google Borg
Peut gérer ces ressources, afin de développer rapidement, nous avons choisi d'utiliser le meilleur de Mesos.
principes et l'architecture mesos:
1.Mesos Agent1, en fait, est un travailleur spécifique rapporté au maître Mesos vous combien de ressources présentés ici ont 4CPU et 4 Go de mémoire
2. Mesos __gVirt_NP_NNS_NNPS
