2019 Grand
La technologie émergente la plus chaude actuelle que l'intelligence artificielle, les données et les grandes entreprises nationales ont également combattu champ de bataille AI. Dans une certaine mesure, grande données ne sont plus le chouchou du sujet de la communauté scientifique. Dans Hype Cycle de Gartner, la grande technologie de données a également conclu dans le Plateau de la productivité de l'étape d'application commerciale.
Toute innovation scientifique et technologique émergente toujours passer par la période souhaitée en herbe de désenchantement, qui ne surprend pas. Situation sur le point de vue de l'application de l'industrie 2018, gros volumes de données devient sociétés de technologie de l'application standardisée: de premières tentatives de construire un cluster distribué, l'acquisition de données agrégées, le traitement de données et le développement, à des scénarios d'application atterrissage gros volumes de données, les données d'entreprise l'architecture a été entièrement acceptée, l'intégration des plates-formes distribuées, et a connu une hybride de la période d'exploration d'un système centralisé à.
Ici, je voudrais recommander ma propre construction jupe échange de connaissances Big Data: 667367234, il y a d'apprendre grand développement de données jupe, si vous apprenez à de grandes données, vous êtes invités à se joindre à de petites séries, nous sommes tous le développement de logiciels tiers, et non Partager régulièrement sec (seul grand développement de données liées), y compris une 2018 nouvelles grandes données et les données avancées du développement cours avancé mon genre d'accueil de pointe et veulent se plonger dans le grand compagnon de données.
technologies Big Data applications mûrissent également promouvoir indirectement le développement de la communauté technologique. Hadoop de Spark a été acceptée par la plupart des entreprises, de facto le statut de l'entreprise de plus en plus la norme, le processus Spark version 2.4 peut être vu à l'optimisation de soutien et Avro micro lots de données (micro-batch). En cours d'eau de calcul, Kafka Streams étant adopté progressivement par les entreprises comme un programme de sélection à faible latence, Flink et Spark en streaming est toujours le cadre de calcul le plus utilisé, combiné avec la machine en temps réel apprentissage appliqué à la maîtrise des risques, du marketing, de crédit et d'autres fin scènes. De plus, en 2018 le conteneur et la technologie d'apprentissage automatique avec la marée a commencé à l'IA utilisé dans la grande distribution, les finances, le gouvernement, comme Kubernetes / Docker, tensorflow.
2019 restera un cycle d'innovation itératif stables sur le développement global et de l'application de la technologie dans le domaine des gros volumes de données. En essayant de nouvelles technologies open source, les entreprises deviendront plus rationnelle et prudente, gros moteur de calcul de données, PaaS et grands outils de données et les composants deviennent le secteur de la technologie standard, combinée à la technologie AI, les grandes applications de données seront beaucoup de terrain, et de générer des affaires valeur.
Selon l'observation des besoins du marché et de la technologie des entreprises clientes, je résume les tendances technologiques Big Data 2019. Dans l'ensemble, la gestion des actifs de données, d'améliorer l'analyse, l'infrastructure intelligente des données, AI axées sur la perspective de cadre distribué, la gestion de la sécurité des données est une direction clé plusieurs grands domaines d'applications de la technologie de données.
1. Gestion d'actifs de données
Avec l'application des grandes données et l'intelligence artificielle dans l'industrie dans l'eau profonde, de plus en plus d'entreprises accorderont une importance à la construction de l'actif de données système de méthodologie de gestion - qui est, de l'architecture, les normes, la recherche et le développement, la qualité, la sécurité, l'analyse unifiée à l'application afin d'atteindre la technologie de conversion à la valeur commerciale et de liquidité.
Un phénomène assez étrange: Bien que de plus en plus d'entreprises essayez d'utiliser la technologie grande de données, mais aussi des scénarios d'entreprises tentent d'utiliser la technologie AI, mais toute l'industrie est encore un manque de système de méthode de gestion des actifs de données. En d'autres termes, l'application de la technologie à l'avance les règles, les normes et les règlements. En fait, les entreprises ne disposent toujours pas beaucoup de données à l'actif d'une manière ordonnée, la valeur de finition, mais seulement la gouvernance des données comme une tâche nécessaire pour exécuter (cause des exigences réglementaires, etc.).
Asset Management données 2019 sera toujours des difficultés et les défis auxquels sont confrontés les secteurs de données d'entreprise. Même organique grand, les grandes entreprises Internet et les entreprises scientifiques et technologiques, les données de gestion d'actifs sur le sujet continue d'explorer de nouvelles méthodes, comme lien complet système de gestion intelligente, la contribution des actifs de données, la définition des actifs et la gestion de la R & D l'intégration, des outils standards de qualité des données de référence métrique, la visualisation et similaires.
2. Améliorer l'analyse
Gartner pour améliorer l'analyse (Augmented Analytics) est défini comme: des zones spécifiques axées sur l'amélioration de l'intelligence, l'utilisation de la machine d'apprentissage pour analyser le contenu du développement de la conversion, la consommation et le partage. capacités d'analyse améliorées vont rapidement passer au grand public, comme la préparation des données, la gestion des données, l'analyse moderne, la gestion des processus d'affaires, l'exploitation des données scientifiques des processus et les principales caractéristiques de la plate-forme.
Les deux dernières années en libre-service des outils d'analyse BI et les algorithmes ont été plate-forme commune, mais il apportera une valeur commerciale pratique des applications industrielles est pas grande. La raison, je pense que d'une part, des outils et des algorithmes d'analyse BI en libre-service conventionnels pas encore hors de la portée de la plate-forme, encore loin des scénarios d'affaires réels. En d'autres termes, pas d'intégration profonde dans les processus d'affaires entre, l'autre est de BI à AI encore besoin d'adresse d'extraction de données, les données pré-traitement, problème de fusion de données, ce qui nécessite des données scientifiques occupent beaucoup de temps. Comment résoudre les utilisateurs professionnels ordinaires peuvent également un accès rapide et pratique à l'analyse des données et la vérification est une difficulté majeure analyse automatisée.
l'analyse des données améliorées est d'approfondir les applications scientifiques. Par la machine algorithmes d'apprentissage automatiser la préparation des données, de simplifier le traitement des données, l'analyse et la perspicacité de réaliser l'automatisation, fournit une plus pratique par la possibilité de données et de l'algorithme d'analyse d'affaires pour les gens d'affaires traditionnels.
infrastructure de données entraîné 3.AI
Ici, je voudrais recommander ma propre construction jupe échange de connaissances Big Data: 667367234, il y a d'apprendre grand développement de données jupe, si vous apprenez à de grandes données, vous êtes invités à se joindre à de petites séries, nous sommes tous le développement de logiciels tiers, et non Partager régulièrement sec (seul grand développement de données liées), y compris une 2018 nouvelles grandes données et les données avancées du développement cours avancé mon genre d'accueil de pointe et veulent se plonger dans le grand compagnon de données.
2018 peut être appelé la première année de l'intelligence artificielle de base. La plupart des entreprises layout apprentissage machine, apprentissage en profondeur la main-d'uvre technique, des outils et de l'infrastructure, des solutions de l'industrie tombent progressivement. Mais dans le monde réel, pour les écosystèmes construire algorithme basé sur l'IA est lui-même pas l'objet, « AI que la valeur commerciale d'entraînement, » cette proposition implique des coûts élevés et des ressources.
Google a déclaré dans son document « dette technique cachée dans la machine des systèmes d'apprentissage » dans: le monde réel système AI est seulement une petite partie dépend de la machine algorithme d'apprentissage, qui repose sur un grand nombre d'infrastructures complexes. Dans la configuration des données, l'acquisition de données, extraction de caractéristiques, la validation des données, la gestion des ressources, des outils d'analyse, les services, les infrastructures, les outils de surveillance nécessitent des frais généraux élevés. Dans la plupart des régions, la productivité par l'IA encore pour réaliser des économies d'échelle, comment résoudre l'infrastructure de données automatisée.
Seule une petite fraction du monde réel des systèmes ML est composé du code ML, comme le montre la boîte smallblack au milieu. L'infrastructure est nécessaire autour vaste et complexe.
A partir de cette année de grande plate-forme de données et sur le marché des outils, un nombre croissant de solutions pour construire des outils AI, des outils de modélisation AI, le cadre de l'algorithme AI, et peu à peu évolué vers le développement axé sur les données, la planification des processus, l'expérience A / B, les données analyse, des outils de gestion des services, ce qui permet une infrastructure de données par l'IA. Ce moyen de tendance que les scientifiques de données professionnelles passées, les ingénieurs de données et les développeurs ensemble pour trouver des solutions IA, les développeurs peuvent progressivement transformé par l'infrastructure de données par l'IA (tels que le développement d'outils de test, des outils de modélisation, des outils d'analyse, etc.), processus de développement indépendant des applications AI, et données scientifiques de se concentrer sur la construction et l'optimisation de l'algorithme lui-même.
4. Cadre informatique distribué orienté AI
Avec l'IA devenu la coqueluche de la science et de la technologie, et les progrès de la technologie de l'apprentissage de la machine, la demande de système informatique orienté AI distribué devient plus urgent. Une voix radicale est Hadoop / Spark est mort, le besoin du marché pour une meilleure performance, plus évolutive, moteur informatique plus réactive des solutions de l'ère AI. Mais cet argument semble assez mauvais. Hadoop / camp Spark communauté open source est devenue la norme de facto pour le traitement des données volumineuses applications distribuées dans l'industrie approfondissons, différentes version commerciale est également de rencontrer d'autres solutions de l'industrie et l'itération. Toutefois, étant donné l'intention des applications Hadoop / Spark conçu pour ne pas construire l'IA, la performance, la tâche parallèle, la variable d'état de la tâche, l'informatique hétérogène (par exemple, GPU et CPU), etc. ont certains problèmes et les goulets d'étranglement.
À l'heure actuelle, il y a déjà une communauté open source cadre informatique orienté AI distribué, comme UC Berkeley, projet Ray. MapReduce et parallèlement à l'allumage tel lot exécuter architecture différente, AI architecture distribuée doit prendre en charge la tâche granularité plus attentive des dépendances, par exemple une petite quantité de données d'apprentissage, les dépendances de tâches flexibles et optimiser informatique hétérogène. Et les grandes données de l'entreprise commerciale, Hadoop distro fournisseurs tels que Cloudera (aujourd'hui en fusion Hortonworks), il sera également ajusté et le remodelage des produits dans le domaine des applications d'apprentissage AI et la machine pour fournir plus de solutions basées sur le programme cloud AI.
5. Sécurité des données en tant que service
Sécurité et confidentialité sont mentionnés dans les deux dernières années, plus des mots-clés, en particulier après GDPR (Règlement sur la protection des données générales) libérer des contraintes d'information sensibles et les contrôles de sécurité des données deviennent la gestion des données utilisateur difficile et le contrôle de l'Internet, les terminaux mobiles. Dans le passé, la gestion de la sécurité des données lorsque de nombreuses entreprises pour construire de grandes plates-formes de données et des applications faciles à oublier le point, telles que la classification de la sécurité, la confidentialité classement, de marquage des données, le cryptage et la désensibilisation, l'autorisation d'accès automatisé.
Dans la suivante à deux ans, de plus en plus d'entreprises accorderont une importance aux données d'applications de gestion de la sécurité, le budget d'investissement sur la sécurité de l'information connaît une croissance rapide. Gartner avait prévu 2019 l'investissement des entreprises mondial des produits et des services de sécurité de l'information atteindra 124 milliards $, soit une hausse de 8,7%. Je pense que ce chiffre est un peu conservateur, sous-estimant la perspective de la sécurité des données et sur le terrain de la protection de la vie privée. En fait, en 2017-2018, le marché intérieur a de grandes données, il y avait de nombreux fournisseurs se concentrent sur la sécurité des données, fournissant un contrôle d'accès à la vie privée, désensibilisation de chiffrement des données, des informations de suivi des risques, données, bac à sable et d'autres applications de produits. Piste dans ce domaine ne sont pas à grande échelle à l'heure actuelle, les marchés sont plus dispersés, les fabricants segments de la localisation en fonction de déploiement multi-clients. Avec les DevSecOps idée (développement, sécurité et exploitation et d'entretien) et grande plate-forme d'analyse de données et d'autres sécurité progressivement adopté par le marché, à savoir des services d'hébergement nuage services de sécurité de données seront plus largement disponibles, mais basés sur l'apprentissage de la machine et la sécurité des données moteurs d'analyse prédictive apparaît, appliqué au chiffrement des données, la désensibilisation, le marquage, l'analyse des événements, la détection de fichiers malveillants, les systèmes SIEM et d'autres domaines.
Mise au point sur le nombre du public micro-canal: la plate-forme d'interaction programmeur! L'accès à l'apprentissage de l'information!
tendances technologiques et applications de données: gestion des actifs de données, d'améliorer l'analyse, l'infrastructure intelligente de données, cadre orienté AI distribué, la sécurité des données en tant que service.
