Cet article est l'Institut de recherche scientifique des données Tsinghua combinée à une haute données Digest a lancé le contenu de la série d'interview « équipe de données construction Rapport panoramique ».
Les données de laboratoire ne sont pas organisme de recherche scientifique, ce que nous voulons est le résultat de l'atterrissage.
La valeur de China Eastern Airlines, la tête des données de Sums laboratoire clair même où les données, « La recherche scientifique devient besoins de productivité du travail pour avoir un long chemin à parcourir. Et nous voulons est des résultats d'analyse de sol, est en plein essor pour libérer le potentiel des données, améliorer entreprise tirée par la numérisation. »
Comité de marketing sous la China Eastern Airlines et China Eastern Passenger Service d'information, Chine données de laboratoire Eastern Airlines après une année de préparation, au début de 2017 officiellement créé.
la valeur de réalisation des grands actifs de données pour conduire l'amélioration de la valeur commerciale, ce dernier peut même faire éclore de nouveaux projets, en dépit de l'émergence d'un peu moins d'un an, les sommes de ce projet préparatoire depuis longtemps a enfin lancé plein d'imagination.
Et ensemble, nous pouvons vraiment générer beaucoup de nouveaux lieux de l'accident de l'aviation lorsque l'utilisateur qui correspondent étroitement sur le terrain avec de grandes données.
Les données de laboratoire non seulement racking notre cerveau pour construire le projet, avant sa création officielle, et ses collègues ont passé Sums beaucoup de temps avec les cadres de l'entreprise, de communiquer avec l'utilisateur cible. Il nous a dit très clairement, Tout d'abord, une entreprise doit effacer stratégiquement, pourquoi la plate-forme de données expérimentales? Il jouera quel rôle? Et à partir de l'analyse de niveau utilisateur avancé pour déterminer si les données de laboratoire peuvent résoudre les difficultés et les points douloureux de leur analyse des données existantes? Y at-il une scène d'affaires claire, capable de les promouvoir en tant que plate-forme pour essayer les données d'expérience?
Eastern Airlines responsable du projet de données de laboratoire Sums
« Avec trop en douceur », la clé est à tout le monde de faire « utiliser vraiment »
« Tout le monde sur la (équipe de données / projet), mais à la fin ce qu'il faut faire? Que faire concrètement? En fait, beaucoup ne savent pas encore. Mais tout le monde fait, vous ne faites pas comme les mots d'un Lu Tuba. » Dit Sums.
Données de laboratoire est d'adapter le développement de l'analyse des données du CEA produit. Comment faire l'analyse en laboratoire pour créer de la valeur réelle, l'exploration de données, data mining, les outils de visualisation de données avec, il est pas facile. À cet égard, des sommes qui « il y a une position très claire sur la valeur des données, de sorte que nous utilisons trop bien, » est la clé pour rendre le produit « étant vraiment épuisé ».
Avec le point de départ de base, l'équipe a entrepris de faire des choses avant, ont un objectif très clair et une demande d'affaires claires, clairement décrit aux membres de l'équipe d'analyse des données communes dans divers domaines, l'unité de but et d'élaborer un plan raisonnable.
Les données expérimentales est un processus continu d'exploration, processus itératif se poursuit. Non seulement pour analyser les résultats de itérer, mais aussi pour le travail et l'optimisation des processus.
« La chose la plus importante, nous allons analyser les résultats pour les différents types de développement de leurs règles quantitatives, de quantifier les retombées économiques générées par le modèle, afin d'améliorer le taux de productivité ou d'autres indicateurs d'évaluation, afin de quantifier la valeur de l'analyse des données. » Ceci est également étape importante dans la culture axée sur les données vraiment construire.
China Eastern a déclaré la mise en place des données de laboratoire Sums aucune expérience préalable peut se référer à la nécessité pour beaucoup de tentative d'innovation. phase de planification préliminaire en laboratoire, mais aussi une étape de promotion, « nous avons souvent brainstorming avec l'utilisateur, on peut faire l'utilisateur une meilleure compréhension de la plate-forme de données expérimentales, de comprendre les technologies et concepts pertinents d'apprentissage de la machine, et deuxièmement, nous comprenons les points de douleur de l'utilisateur, l'idée des grandes données et scénarios d'application de l'utilisateur ainsi que sur une base régulière pour l'analyse des données du personnel de base du département des connaissances minières et de la formation technique, ainsi que des statistiques et d'autres aspects de la formation des connaissances et une bonne ambiance d'apprentissage ".
Les parties à coopérer, à créer plusieurs produits explosifs « victoire rapide »
« Le carburant est la plus grande réunion ordinaire des dirigeants de compagnies aériennes mots sensibles, aussi longtemps que vous mentionnez « peut réduire la consommation de carburant », vous pouvez le voir, nous allons immédiatement éveiller l'intérêt. » Blague avec ce prononcé Sums les grandes compagnies aériennes problèmes.
Équipe et beaucoup de données, comme dans les premiers jours, l'équipe Additionne Face à la façon d'obtenir l'équipe de haut et de voir la valeur commerciale de leurs propres problèmes, cette fois-ci, pour créer un produit « de style chaud », de sorte que chacun des partenaires voient la valeur des données est très importante. « L'efficacité de carburant » est un tel problème.
Le pétrole est plus éléments de coût variable de la compagnie aérienne, la compagnie aérienne besoin urgent de réduire les coûts d'exploitation grâce à un contrôle de la consommation de carburant. Cependant, les propriétés associées à la consommation réelle de carburant de plus de 70, un par un pour analyser leur pertinence, de temps et sujette aux erreurs. Et la nécessité d'avoir une bonne connaissance du soutien aux entreprises.
données de laboratoire CEA analysées par des données Oracle BDA QAR, créer un produit pour l'analyse de l'efficacité énergétique, la vie du moteur d'analyse, prédire une défaillance du matériel peut se produire. Les outils fournis par la plate-forme, même dans le cas de pas très familier avec l'entreprise, mais aussi facilement et rapidement trouvé quelques problèmes:
Tout d'abord, l'utilisateur une liste des données trouvées dans les données dont ils ont besoin, ils importer sandbox de données personnelles, puis, l'utilisation d'outils de découverte de données de laboratoire, la navigation sur l'état des données, à l'exception de la qualité des données ne sont pas la propriété élevée. Une pluralité d'attributs à partir du 70 initial est réduit à 60.
Puis trier et la pertinence de la consommation réelle de carburant, la consommation de carburant et plus le degré de corrélation sur la ligne devant, afin que vous puissiez découvrir rapidement qui est le plus haut degré de propriétés de corrélation. Par exemple: la distance de vol, la charge utile maximale, le type, le poids maximal au décollage, la charge utile réelle, type de moteur et ainsi de suite.
En outre, la sélection de quelques propriétés analyse des besoins, vous pouvez les voir avec la distribution réelle de la consommation de carburant du coefficient de corrélation et graphiquement, pour guider la direction de l'analyse ultérieure en profondeur.
secteur de l'aviation naturelle a beaucoup de données. La mention du vol, en plus de la consommation de carburant, la majorité des passagers de première pensée devrait toutes les données dans l'enregistrement de la boîte noire. En fait, le temps d'enregistrement des données de vol des avions sont effectués, tels que les avions enregistreur à accès rapide (ci-après dénommé QAR) des données enregistrées par des milliers de capteurs dans le corps de l'avion, les dossiers des appareils de qualité, de sécurité et d'autres paramètres pendant le vol, il est d'aider le pilote à développer de bonnes habitudes de première nécessité vol.
QAR peut être enregistré dans le pilote en temps réel des portes d'avions fermé, ramper, grimper, le comportement progressif et les données de fonctionnement du moteur à l'état de tout le voyage a atterri. La quantité de données est importante, la quantité de données produira 100T par an.
Par des capteurs à bord des avions, Est de la Chine peut obtenir tout le comportement de fonctionnement de chaque pilote du décollage à l'atterrissage, et la perte de données du moteur, des données météorologiques, en utilisant la grande analyse du modèle de données pour identifier le fonctionnement quotidien des facteurs de risque pilotes et potentiels de vol, d'améliorer niveau de sécurité, et peut être ciblée pour renforcer la formation des pilotes pour son fonctionnement à développer de bonnes habitudes, pour corriger le fonctionnement irrégulier du pilote manuellement semblent parfois réduire l'usure des moteurs d'avions et d'autres problèmes causés par une mauvaise utilisation, donnera pilotes fournir plus de recommandations de vol d'économie de carburant, par exemple, pour le cas de modèles différents, le vent, l'altitude, la congestion des canaux, etc., donner des conseils vitesse de vol.
Chine exploration de l'architecture technologique de données de laboratoire Eastern Airlines: QAR données analytiques basé sur Oracle BDA
Une telle ampleur élevée de la demande d'analyse de stockage de données de l'architecture de données Eastern Airlines a mis en avant des exigences plus élevées.
capacité de transmission de puissance de calcul puissant et réseau de données de laboratoire CEA Oracle BDA de 12 noeuds prévu pour traiter d'énormes quantités de données provenant des secteurs d'activité de marketing, les opérations, la maintenance, la logistique, les services au sol, les fournisseurs d'électricité, centres d'appels, etc., et les bons résultats de traitement des données pour une utilisation en laboratoire de données.
China Eastern Airlines est d'établir un système d'analyse des données sur la base du processus de Voyage des passagers. Avant que l'avion de passagers, en vol, les aspects post-vol, la mise en place d'applications appropriées, et l'augmentation point de trafic passagers de contact, à travers le concept de service « client-centrique », pour fournir aux clients une gamme complète de services de voyage. Et pour le soutien dans chaque lien a un système d'exploitation correspondant.
Les données de laboratoire à travers un ensemble de processus pour faciliter l'amélioration des affaires. Comme on peut le voir sur le graphique, le processus est divisé en niveau de mise en uvre et le niveau d'innovation. Lab fait partie de celui-ci, Flux de données dans la plate-forme de données par le point de contact client des applications front-end, les données obtenues à partir de la plate-forme de données de laboratoire pour les données, l'analyse, les résultats, publiés par l'avant aux règles d'application du moteur, des produits de données et d'autres moyens de promouvoir l'efficacité des entreprises.
Les données de laboratoire a l'avantage Les données expérimentales environnement des affaires et l'environnement de production est isolé de l'autre. Les données de laboratoire extraites par l'ETL BDA, Teradata, Exadata, les données de laboratoire Greenplum à la zone de stockage de données, les données de l'utilisateur est la zone de stockage de données de laboratoire exploité directement, même si une grande quantité de données, l'opération de l'utilisateur dans un environnement de laboratoire, ni les systèmes de production existants aura un impact.
Architecture de l'application est divisée dans l'environnement de production et l'environnement expérimental en deux parties. zone de stockage expérimentale par ETL pour extraire des données de la plate-forme de données, puis d'intégrer les données téléchargées par l'utilisateur, les données thématiques, des données de paramètres et les résultats expérimentaux et d'autres données. Les données contenues dans les données utilisateur acquises bac à sable, la réutilisation des données de l'outil utilisé. À l'heure actuelle, la zone de stockage expérimental utilisant un cluster cloud privé Hadoop, également envisager l'expansion future vers le cloud public.
L'information est la première étape de l'entreprise Open Data
China Eastern Airlines en 2014 a commencé la mise en page de la grande stratégie de données, quand il était CIO de l'est M. Cai Yang a dirigé le ministère de l'Information Division des produits, chaque mise en place d'une Business Intelligence BICC Centre de compétence pour mener des données de recherche spéciales, de la technologie et de la pensée, l'échange régulier des résultats. Autour de ces trois domaines, les données de laboratoire CEA a discuté de nombreux sujets, de cloud computing, big data, chaîne de valeur de données, feuille de route des produits, algorithme, puis à l'arrière du billet un code à deux dimensions, sont dans le cadre de la discussion. Après plus d'un an de scènes à explorer, et, finalement, déterminer le marketing ciblé des affaires de base, le service et l'exploitation de ces trois domaines.
Dans de nombreuses entreprises traditionnelles, les entreprises de technologies de l'information sont la première étape pour ouvrir la axée sur les données. Avant d'effectuer les données de l'équipe d'analyse des données, aperçu, créer des produits explosifs, vous devez intégrer les données internes de l'entreprise, puis passez à l'introduction de données externes structurées et non structurées, et grâce à la gestion des données, amélioration de la qualité des données, les normes de données uniformes.
« Une fois les informations, les données jouent un rôle de plus en plus central China Eastern Airlines, le format numérique en constante évolution de l'industrie du transport aérien. Nous près le Ministère de l'information et le secteur des affaires ensemble à la recherche difficile, les résultats de la récolte, les expériences et les leçons , tant pour la construction de l'Est numérique jeter les bases. « ces sommes.
Franchement, avec des sommes utilisateurs analyse de plus en plus haut niveau, dans l'utilisation du système d'analyse des données, a également rencontré beaucoup de difficultés et les points de la douleur, les tenant pour analyser davantage les données. Par exemple:
Lorsque vous effectuez la requête utilisateur de grandes quantités de données et de calcul, aura un impact direct sur la performance du système de production;
Atteindre les besoins d'analyse des utilisateurs, les besoins des entreprises et de la technologie pour communiquer et-vient, une période plus longue;
Avec la possibilité d'augmenter l'analyse de l'utilisateur, les données de l'utilisateur est devenu de plus en plus évidentes limites, dont ils ont besoin désespérément une indépendante, la plate-forme libre-service pour l'analyse des données, et il y a beaucoup de choix facile à outil d'utilisation;
Les utilisateurs veulent avoir un problème de positionnement rapide, une plate-forme pour le procès rapide et erreur, réduisant ainsi le risque de prise de décision et de l'investissement;
Ils veulent obtenir plus de données, mais sans s'y limiter à son propre département;
Pour briser les problèmes insulaires de données entre les différentes zones au sein de l'entreprise, ce qui permet aux données de circuler ensemble;
La recherche tâche plus difficile est maintenant plus que jamais, besoin d'experts en adresse ensemble dans divers domaines, ce qui nécessite une approche collaborative innovante, des spécialistes efficaces domaines convergence des affaires, la technologie, et d'autres disciplines;
Du point de vue des données d'application, les utilisateurs veulent être en mesure de « voir de comprendre, de les faire, faire les choses », qui est, l'utilisateur peut savoir quelles données? Que diriez-vous de sa qualité? Fitness NA? Par quels canaux vous pouvez obtenir ces données? Quels sont les outils appropriés pour analyser ces données? Cédant des résultats.
Pour résoudre ces problèmes, les données de laboratoire ont émergé.
Les données de laboratoire ont quatre concepts de base:
ouvert: Des expériences en laboratoire sont ouvertes à grande plate-forme de données, les utilisateurs ont la plus grande flexibilité et la liberté d'utiliser les données;
connexion: les gens se connectent, les algorithmes de données et d'analyse, et peuvent être entre différentes personnes, entre les données différentes, pour établir une connexion entre les différents algorithmes. Ces connexions forment une force, peut résoudre efficacement la difficulté de la recherche;
Fusion: l'intégration des données, flux de données, la vigueur des données. Par la fusion des données transversales, la corrélation peut être trouvée, la liaison, par une coordination efficace, d'améliorer la compétitivité globale entre les champs;
productivité: Axée sur les données, les données de produits étroitement intégrés, les résultats d'analyse et des applications de production, et de promouvoir l'amélioration de la valeur.
talents de données: suggestions pour clarifier un objectif orienté affaires clair
A ce stade, les membres des données de laboratoire du ministère des produits de données d'information, comité de commercialisation des produits du réseau et des relations clients, ainsi que d'autres secteurs de l'équipe d'analyse, un total de 30 personnes. Principalement composé de personnel analyse des données et la mise en uvre des thèmes spécifiques pour la composition de la direction de l'entreprise est une orientation stratégique claire et la coordination des ressources de laboratoire. Les membres comprennent gestionnaire d'affaires senior, statistiques Dr, experts en affaires, études de marché, la planification des produits, chefs de produits, architectes techniques, les ingénieurs, les grandes données, l'analyse de données avancées.
Pour les données de Sums la formation du personnel donne également ses propres conseils: « dans un axé sur les objectifs d'affaires clair, clair, à travers le processus des sujets et des projets, la formation du personnel avec des données scientifiques complexes régulièrement tenues capacités techniques. formation commerciale et le partage des connaissances. jouent un rôle dans la communauté des affaires, renforcer le sentiment d'identité et un sentiment d'accomplissement des membres, améliorant ainsi la participation. Au travail, l'informatique, la visualisation des données, afin de maintenir une communication étroite entre les membres de l'analyse des entreprises, de la logistique, des statistiques et d'autres rôles, constamment mettre à jour leurs domaines d'expertise et un meilleur niveau pour fournir un soutien externe, mais aussi d'apprendre d'autres régions connaissances et les compétences pour créer une bonne ambiance d'apprentissage où les membres ont plus de dimensions de capacité.
Souvent, les questions d'affaires dans les données à explorer, de vérifier leurs idées. Ce processus de découverte de données sera très intéressant, très intéressant, viendra à comprendre la relation entre les données et les données, la vitesse des connaissances d'affaires à maîtriser. Note pour le résumé et l'expérience de gain dans la mise en uvre des programmes ou des projets, l'échec ou le succès de l'expérience est très précieuse. Enfin, la pensée d'Internet, puis citer une phrase, savoir comment partager, il est plus précieux. "
