Si ce n'est pas le premier grand Nouvel An parce que Ali seule consommation, plus de gens savent Flink peut-être même un peu plus tard. Selon Deutsche Startups rapports européens de médias étrangers, Alibaba Group pour 103,3 millions $ (90 millions d'euros) l'acquisition de la société Berlin basée sur le démarrage des données Artisans. Ces nouvelles ont été confirmées par un certain nombre de médias de Ali au plus tard.
Parce que Artisans données ont une sorte de technologie de pointe au nom du grand moteur de traitement de flux de données d'aujourd'hui, ce qui permet Ali, le mouvement de l'industrie liée à l'acquisition n'a pas causé de petites répercussions. le Groupe Ali, en particulier, vient de mener après une restructuration organisationnelle majeure, nécessité de recourir plus intelligents technologies de cloud computing dans un modèle de développement plus diversifié Ali, l'acquisition des données artisans considéré comme une mise en page puissant pour la nouvelle stratégie.
le sang d'Ali Flink
Les lecteurs peu familiers avec les artisans de données, seront très faciles à manquer parce que ceux intitulé « Alibaba a acquis les données de l'entreprise allemande » beaucoup d'informations dans ce déclarations insipides. Même si cette acquisition d'environ 100 millions $ d'expression, vendre vendre vendre dans l'histoire d'Ali avec près de 400 milliards $ le montant du corps, avant de l'acquisition de contraste faim de 9,5 milliards $, 3,67 milliards $ ont gagné les pommes de terre Youku, etc. , il est aussi difficile dans le discernement.
Mais en fait, la main des artisans données contenant un grand moteur de traitement de flux de données aujourd'hui l'un des rares technologies de pointe, appelé Flink. Flink noyau est un ensemble de données en continu de flux moteur d'exécution de flux de données informatique répartie assure la distribution de données, la communication de données et les fonctions de tolérance aux pannes. les entreprises technologiques Flink comptent sur le système pour établir une grande solution de moteur de traitement flux de données peut être plus raisonnable pour obtenir des résultats plus rapidement dans le processus décisionnel des entreprises. Artisans données Flink au début de 2015 contribuera à la communauté et devenir un projet Apache de haut niveau dans la communauté, Artisans données Après avoir occupé plusieurs flux parallèles de données artisans plate-forme devient une version commerciale de Flink.
Selon Artisans données site officiel, quelle plate-forme dA par le Flink Apache et la composition dA Application Manager, « y compris, intégration continue et l'orchestration des conteneurs / Livraison en continu (CI / CD), l'exploitation forestière, les fonctions de mesure des indicateurs facilement disponibles et l'état de consolidation de stockage, la société fournit à ses clients une vue unique afin de comprendre toutes les applications de traitement de flux de données. « parmi ses clients Alibaba, Groupe ING (ING), Netflix, Uber, Lyft ,, eBay, jappement, comme Huawei et Capital One.
Artisans données dans la liste des clients de l'endroit où nous avons facilement trouvé Ali, dans lequel il Montrons en temps réel deux à onze année où le nombre de transactions sur Ali regardant le siège du grand écran, derrière Flink dépend de la technologie. Piece écran d'affichage numérique, vous avez besoin de regrouper les données différentes parties du rapport, comme par une énorme base de données de trafic réseau, et doivent être calculés en quelques millisecondes de délai, et les résultats sont résumés en une seule vue que nous pouvons les résultats observés à travers un écran, cette technologie est actuellement la technologie de moteur de traitement de flux de données dans l'ère actuelle de la grippe aviaire devenir le pilier central des raisons.
Si Flink établir un système technique est forte demande de l'ère AI, Ali est la demande de base. A cette fin, Ali Flink après l'introduction de l'équipe interne pour créer un clin d'oeil. Il a été révélé que Alibaba toutes les entreprises, y compris toutes les filiales Alibaba ont adopté en temps réel plate-forme informatique basée Flink construit. En outre, Zhou Jing, vice-président du groupe Alibaba, qui a annoncé avant Alibaba interne Flink la version Blink sera officiellement ouvert en Janvier 2019, ce qui signifie Ali, l'avenir sera principalement investi comme Blink de la contribution communautaire Flink.
Zhou Jing, vice-président du groupe Alibaba, Les gens
On peut dire, tout le long de l'investissement Flink, Ali vision stratégique a prouvé qu'il était dans les grandes données informatiques.
Tout d'abord, Ali tôt pour voir le développement des affaires a besoin de solutions à grande ère de données. La Chine a cloud d'entreprise de service dix ans informatique histoire des praticiens d'Ali, la première ligne a vu une grande quantité de données pour amener l'éclatement des pressions commerciales de l'entreprise, le besoin de haut débit, solutions informatiques à faible latence pour un grand service de données de leurs données à grande échelle scène d'affaires. Dès 2004, lorsque Google a renoncé à sa propre création de grandes quantités de données calcul hors ligne de l'expéditeur, les données à l'échelle PB est également calculé goulot d'étranglement insurmontable MapReduce. Après le développement Spark jusqu'à présent, avec un grand lot de données est calculé en la minute délai de réponse. Aujourd'hui, le flux dominant de l'informatique distribuée est le premier grand moteur de calcul de données apportera en temps quasi réel de l'environnement de données d'entreprise. A cette fin, Alibaba division plate-forme informatique de hauts experts techniques Yunqi Ne pas demander au Congrès a souligné qu'en 2014 Flink Avec d'autres fonctionnalités avancées de débit élevé, une faible latence et open source grande jeter industrie des moteurs de données, sera Flink 2015 l'introduction de l'équipe R & D, l'avenir peut être prévu pour servir leur scène d'affaires de données ultra-grande échelle.
En second lieu, reconnaître que l'espace au sol Ali de la technologie open source avec leur fusion de gènes Flink d'affaires. En haut de grandes données Apache flux moteur de calcul, Flink pas seul. Cette année, Google a soutenu Beam, DataTorrent soutenir l'open source Apache Apex sont devenus le chef de file dans ce domaine. Pendant ce temps, Samza de Twitter Storm, LinkedIn est aussi en vertu des avantages uniques de la position de leader. À cet égard, Ali peut voir son développement sur Flink espace « non-consensus », Mowen pensons que les utilisateurs ont besoin d'avoir une technologie de moteur grand de données unifié, juste selon leur propre logique métier pour développer un code dans une variété de scénario, que ce soit plein ou données sur le volume de données supplémentaires, ou par un traitement en temps réel, un plan peut être entièrement pris en charge. « Ceci est Ali choisir Flink fond et de l'esprit. » Représentation Mowen.
En troisième lieu, l'introduction d'Ali Flink secteur d'activité, élargissant ainsi la pile technologique en avant scène de l'espace Flink avec avantage. Flink est clairement sa plus grande réussite dans l'application d'Ali pour la mise en page. Flink sur l'application à grande échelle dans Alibaba, Mowen révélé, Alibaba Flink d'abord seulement en ligne des centaines de serveurs, la taille actuelle a atteint un million d'unités de cette taille à l'échelle mondiale est l'un des rares, l'accumulation basée Flink, interne des données au niveau de l'état est déjà échelle PB, maintenant tous les jours sur une plate-forme informatique Flink, le traitement des données a plus d'un billion, peut prendre plus de 472 millions de fois par seconde visite au cours du sommet, le scénario le plus typique est Alibaba double 11 grand écran.
Flink soutien technique Ali à double onze festival du shopping affichage grand écran des résultats en temps réel de massives
Le quatrième, Ali Flink à l'avant-garde du champ de bataille, l'innovation et de se concentrer sur le changement réel. Avant Ali a commencé la transformation Flink, Flink pour « un ensemble unifié de grande technologie du moteur de données » a été créé. moteur Big calcul de données entre le calcul par lots et de débit, pas les plus grandes données dans le moteur de calcul, arrêt du temps différentes façons de cache, en fonction de l'espace de cache de lot après l'atterrissage dans le stockage lent à long terme, et calcul de l'écoulement destiné à la capacité de transmission dans le temps prédéterminé ou les données au noeud suivant. Flink par rapport à la même période du programme, tels que Spark, Tempête, etc., l'avantage est que vous pouvez prendre en compte les deux régimes calculés simultanément dans un moteur de calcul, mais ne peut pas « unifiée » comme une pile. À cette fin, Alibaba sur Flink a proposé un nouveau cadre de l'API unifiée, l'utilisation de l'API DAG (graphe acyclique finie). « La topologie entière peut être intégré l'unité sémantique flux batch, le calcul entier est pas nécessaire de distinguer flux calcul ou calcul par lots, le besoin que d'exprimer leurs besoins. »
L'avenir de Flink a été décidé que la tendance de la technologie génétique d'Ali. Ne demandez pas à l'Assemblée générale sur Yunqi a proposé l'avenir Flink trois directions: d'abord, nous allées et venues Flink dans plus de scènes à devenir un moteur de calcul par lots grand public. Ensuite, plus de commutation transparente entre lots et flux, discontinu et écoulement des frontières de plus en plus floue. En second lieu, nous allons avoir plus de langues écologiquement Flink, pas seulement Java, le langage Scala, même avec une machine inférieure apprentissage Python, Go langue. En outre, le parfait du haut de la bibliothèque d'algorithmes d'apprentissage machine de Flink, tandis que Flink apprendra à mûrir au dessus de la machine, la profondeur de l'apprentissage intégration des scènes.
Pas difficile de voir, les avantages techniques Flink permettent Ali de voir les scénarios d'entreprise à grande échelle attendus en ligne avec leur soutien, pour construire l'avenir de l'apprentissage en profondeur de la scène de la nécessité d'intégrer les flux de lot existant, le développement d'une scène d'atterrissage plus ouvert et intelligent, l'élargissement du Flink l'écologie.
Ali a besoin d'élargir le fossé technique
projet Flink est un grand champ de traitement des données étoile montante lentement récente. Sur son avantage technologique que nous avons dans le « programmeur » magazine « en profondeur la compréhension de la technologie de base Flink », ainsi que l'équipe Ali publié deux articles dans sa communauté Yunqi, « Flink a été encore assez fort Alibaba dit :? Pas assez » et " Pourquoi choisir Alibaba Apache Flink? « A déjà une interprétation très détaillée.
Résumer, Flink stabilité 2015, la sécurité largement remise en question après Ali R & D, par le changement d'architecture, la couche intermédiaire de l'innovation des entreprises, processus de calcul d'intégration, le développement de l'interface de l'adaptateur d'intégration, etc., Flink peut dire à ouvrir la voie d'énormes avantages de développement renaissent.
Finalise l'acquisition des données et artisans Ali sera sans aucun doute une plus grande intégration de l'ensemble des ressources écologiques Flink de Flink fait plus propice à la planification du développement. Cependant, comme certains de nos concurrents commencent à se rendre compte Flink la direction d'Ali dans la technologie, Flink Ali à mettre l'avenir de renforcer le fait que les grandes données informatique leader, mais aussi plein de beaucoup d'inconnues.
Tout d'abord, avant l'acquisition Flink fournisseur indépendant de soutien Artisans données, contributions open source à sa feuille de route technologique répondent plus facilement aux attentes des clients. Hou Ali acquisition de Flink a le droit absolu au développement, la contribution de sa participation à l'enthousiasme communautaire ou relativement affaiblie.
Nous avons vu, ces dernières années Samza manque de bénédiction et le développement des grands utilisateurs de LinkedIn après avoir lutté en open source. Apache devenir un projet-cadre de traitement des flux de haut dès 2014 avant longtemps d'entrer dans leur phase 1.0, mais cette fois-Flink a connu plusieurs itérations pour la version 1.8. Le chef d'équipe de Sam Samza LinkedIn à cet effet Samarth Shetty a déclaré dans une conférence de presse sur 1.0 Samza, quand ils premier regard pour le traitement des flux, cadre de traitement de flux existant rarement en mesure de faire face à leur taille ou des problèmes techniques sur LinkedIn et « Par exemple, nous avons construit checkpoint Samza et l'association d'accueil des fonctions supplémentaires. ces fonctions ne peuvent pas être utilisées lorsque le Flink Apache et d'autres cadres. » de toute évidence, la contribution Ali à la communauté Apache Flink a changé la situation. Aujourd'hui, Ali contrôle Flink d'une seule grande contribution équilibre entre Flink édition commerciale et communautaire, peut-être, il y aura de nouveaux changements.
En outre, les données actuelles grandes flux concurrence informatique percées technologiques est trop concentré, fossé technique Ali a également besoin d'avoir une nouvelle percée. Par exemple, même Ali lui-même a été réalisé grâce à la connexion en cours à l'API fonctionnera sur l'explorateur, Samza comme une bibliothèque est intégrée directement dans l'application et l'exécuter sur un gestionnaire de ressources sur le fil, de sorte que l'informatique moteur services sous-jacents relativement plus transparent. De plus, le soutien SQL devenu le principal champ de bataille des médias en streaming, Kafka et la Spark est engagé à soutenir la création d'un shell interactif en utilisant SQL.
En troisième lieu, comme un grand flux de données informatique peut fournir des données plus rapidement la prise de décision, l'utilisateur accélère la migration vers la scène de données en temps réel pour le mode batch traditionnel, pour lequel flux technologie informatique dans l'architecture innovante tout en faisant des percées devraient également faire attention à convergence effective des actifs de données traditionnels. Tels que, les choses Flink ont été atteints dans leur fonctionnement ACID flux distribué des cadres de calcul, et le concept d'un verrouillage de cohérence de cache distribué distribué environnement de stockage résoudre efficacement les choses. Artisans données co-fondateur et PDG Kostas Tzoumas dit qu'ils étaient brevet pour cette technologie, « nous permettons aux entreprises de se débarrasser d'eux des bases de données Oracle très coûteux et complexes, qui fournit actuellement la transaction ACID pour eux, et leur tour vous permet d'étendre nouvelle technologie qui vous permet de mettre en uvre un code personnalisé, « il a aussi dit: » mais il y a des limites évidentes, telles que la base de données Oracle Flink n'est pas compatible API ».
À cet égard, Spark parce que l'échec de soutenir la nouvelle structure Spark API et le débit de la gestion des sessions de haut niveau, ce qui permet la décision des travaux par lots Arora ingénieur de données de pointe Netflix Netflix a choisi MIGRATE opération de streaming Apache Flink.
En quatrième lieu, Ali Flink après avoir obtenu la propriété d'une entreprise, nous devons être plus clair et d'atterrissage Flink planification des activités. À cet égard, Apex semble être un bon exemple. DataTorrent sa plate-forme de traitement de base RTS moteur il y a les deux années ouvertes Apache, quand il peut déjà tirer profit de l'échelle évolutive YARN la demande et de défaut des capacités de tolérance par le biais HDFS. C'est Flink semble encore encore immature. Mais dans le développement ultérieur, table DataTorrent de plus en plus radicale, comme le PDG Guy Churchward DataTorrent a annoncé DataTorrent marquer les nouvelles fonctionnalités majeures comprennent un soutien élargi grâce à l'intégration avec SQL Druide et l'analyse, l'apprentissage automatique et AI atteint plus à travers et PMML Python fonction, grâce à l'intégration avec Drools soutient des règles de traitement des événements complexes, ainsi que le stockage et la lecture pour enregistrement et la lecture à partir d'un point de nombreuses fonctionnalités telles que le temps, de la direction de la plate-forme pour permettre le développement d'applications logicielles innovantes DataTorrent dans une sorte de chaos. En Février 2018, à Guy Churchward a annoncé qu'il fournira des applications de données en continu pour atteindre 90 jours de technologies de rupture et modèle d'affaires perturbateur, DataTorrent en faillite. De toute évidence, puisque le flux de calcul et le traitement par lots au moment a encore un rôle plus spécifique dans la scène, Ali fortement engagé à l'intégration des flux de lot ont également besoin d'avoir un appui clair de la scène sera plus convaincant.
Cinquièmement, les deux plus favorables concurrents nuage Ali, Amazon ou Microsoft déjà obtenu hébergé un service d'analyse de flux en temps réel de haute vitesse, apparemment pile cloud computing Ali Flink le streaming devrait encore être améliorée. Par exemple Amazon Kinesis de l'extrémité avant du serveur d'applications (par exemple, les serveurs Web) ou des clients mobiles (téléphones portables et d'autres dispositifs mobiles ou un dispositif IdO) injecté directement dans le flux de données, les données peuvent être diffusées et calculées par le DME (volet Spark par exemple à base de DME cadre de calcul), et stocke les données dans le magasin d'objets ou sur Amazon DynamoDB S3.
Selon les données de MarketInsightsReports devrait analyser le marché mondial des médias en streaming en 2025 atteindra 47,75 milliards $, 2017-2025 augmentera de 34,98%. Et dans un nouveau livre blanc d'IDC, d'ici 2025, près de 30% des soi-disant « boule de données globales » sera l'information en temps réel. Actuellement, les grandes données, AI, accélérer le réseau physique est intégré dans l'apprentissage de la machine de calcul flux, cadre de l'intelligence artificielle. Alibaba Flink construire une plate-forme basée sur officiellement lancé en 2016, et a commencé la recherche et recommandation de Alibaba pour atteindre ces deux scénarios. Tous les Alibaba d'affaires actuel, Alibaba comprennent toutes les filiales ont adopté la plate-forme de calcul en temps réel basé Flink construit. On croit donc Flink sera sous Ali scène riche, avec un développement plus rapide.
L'année dernière, quand vient le temps de passer est situé à Ma PDG Zhang Yong, Zhang Yong Ma souhaité la technologie génétique peut apporter plus Ali, Ali, tout le positionnement de l'esprit des gens dans la commercialisation de la technologie ont plus de couleur.
À cet égard, la recherche en profondeur de dynamique dans ce domaine a été la technique et des investisseurs Ke Jia et Wu Yizhou directeur exécutif du Fonds est d'avis que cette acquisition est Ali dans une réflexion sérieuse et mise en page technique, combinée à ses scénarios de flux de lots particuliers, cloud public ou cloud privé peut être emballé comme une plate-forme Flink batch / workflow, nous pouvons voir Ali l'intention stratégique des réserves techniques. Pendant ce temps, Wu Yizhou estime également que cette acquisition peut être plus grande portée impact que les fournisseurs de nuages se retirent avant que le public laine open source, si le contrôle d'absorption soutenue plate-forme open source, l'avenir des politiques de licences de logiciels open source sur le cloud public peut varier. Troisièmement, regarder un peu plus loin, elle a dit que ce pourrait être le début des grandes réserves de plate-forme technologique de négociation de puce, modèle écologique et l'avenir des services de cloud computing sera affectée.
Plus de contenu passionnant, l'attention des médias titane signal de micro (ID: taimeiti), titane ou télécharger les médias App
