1, Kubernetes
Kubernetes (aka K8S) a une croissance impressionnante au cours des dernières années. Auparavant, l'un des nombreux systèmes de planification des conteneurs, mais maintenant il est en passe de devenir la plate-forme standard universelle, que ce soit dans les grands fournisseurs de cloud, l'installation locale ou une entreprise dans. Si vous êtes dans les zones opérationnelles, puis passer du temps sur Kubernetes susceptibles de revenir, parce que les projets open source poursuivra sa mars de relâche.
Sur la base des idées et des leçons tirées de dix ans pour exécuter énormes centres de données de Google, Kubernetes est une plate-forme testée bataille pour le déploiement, l'expansion et la surveillance des applications conteneurs et des charges de travail dans un grand cluster. L'année dernière, la libération Kubernetes apporte principaux faits saillants, comme la révision de stockage, est déplacé vers une interface de stockage de conteneurs, la sécurité TLS Kubelet des conseils et un support amélioré pour Microsoft Azure.
Nous avons également vu un complément important noyau pile Kubernetes, par exemple Istio, il définit une grille de service, vous pouvez mieux contrôler le déploiement, l'observabilité et la sécurité. Nous avons vu des cadres plus spécialisés, tels que Kubeflow, ce qui vous permet de démarrer facilement pipeline apprentissage automatique tensorflow ou PyTorch sur Kubernetes, tous ces portables Jupyter en exécutant sur le même contrôle de cluster.
Conçu pour simplifier le nombre d'outils tiers et certains aspects de la gestion des cadres, de la définition de la simplification de l'application pour surveiller plusieurs clusters, il semble de plus en plus chaque jour. Comme le nombre de personnes utilisant le Kubernetes, 2018 et annonce importante recommandé d'IBM, Huawei, Sling TV et ING et ainsi de suite. Heck, même le poulet Fuller (Chick-fil-A) dans chaque restaurant fonctionne Kubernetes. Il n'est pas quelque chose que vous devriez avoir monté à bord du navire K8S?
--Ian pointeur
2, Firebase
L'avenir proche, nous ne calcul quantique, la pensée linéaire et la lecture des algorithmes AI pour résoudre le problème du postier, mais en tout cas, nous allons certainement utiliser « base de données. » Toute la technologie bon logiciel finalement absorbé DBA géré par Borg. émergence Firebase est un bon exemple de la façon d'atteindre cet objectif.
À première vue, Firebase ressemble à une solution de stockage simple pour la valeur de la clé et de son accompagnement. En d'autres termes, tout comme d'autres bases de données NoSQL, une paire de tenir droit raisonnablement cohérente. Mais au fil des années, Google a augmenté un certain nombre de caractéristiques qui font Firebase peut faire plus d'applications Web basées sur le cloud peuvent faire le travail, Google commencent même à Firebase appelé une plate-forme mobile.
Rappelez-vous quand vous finissez le défi des données du cache dans le client lorsque l'Internet est pas parfait? équipe Firebase a réalisé que pour maintenir la cohérence des bases de données et des routines de synchronisation poussent également à extraire des données de clients mobiles un outil idéal. Ils ont ouvert le processus de synchronisation, maintenant votre code n'a pas besoin de traiter des algorithmes complexes pour serrer la main ou de jouer avec le réseau. Il vous suffit de migrer vers Firebase, comme par magie, tels qu'ils apparaissent dans la copie de votre téléphone. Il est juste une grande base de données, votre serveur et routines routines client juste pour lire et écrire à partir d'une piscine commune.
Avec le Firebase intégré avec le reste, Google continue d'ajouter plus de contenu. Vérifiez votre connexion sociale à Facebook, Google, laissez vos utilisateurs d'accéder aux fragments de base de données correctes. L'analyse, l'hébergement, la messagerie, les solutions de Google Tous sont progressivement couverts par la base de données. Y compris l'apprentissage de la machine, qui veulent analyser la base de données d'utilisateur existant Firebase de paires clé / valeur, il est déjà l'option beta. Dans un sens, nous avons commencé à fusionner AI et base de données.
--Peter Wayner
3, Serverless
La première génération de serveurs cloud loués en libérant toutes les responsabilités liées au matériel encombrant, nous fait gagner du temps. Serveur sur les bâtiments éloignés, le chauffage, le refroidissement et l'entretien sont le problème de quelqu'un d'autre. la technologie cloud de nouvelle génération est en train d'émerger à partir du serveur, au moins nominalement, et permet non seulement sur le fonctionnement de correctifs du système et des mises à jour de problèmes et d'éviter la plupart des problèmes liés à la livraison de l'application.
Notre code est toujours là matériel serveur et les systèmes d'exploitation, mais il est maintenant plus de la responsabilité des autres. Nous pouvons télécharger la fonction, afin que d'autres évaluent leur pile de logiciels, plutôt que les choses deviennent un accès root. Nous pouvons nous concentrer sur la fonctionnalité et tout le reste pour ceux qui font la technologie cloud pour continuer à fonctionner.
Mais il y a encore des défis, aucun moyen de serveurs repenser l'architecture technique. l'application de file d'attente d'événements à charge et asynchrone doit être reconstruit dans une division nette des tâches. Bien que les outils ont été un certain soutien, mais ont encore besoin de comprendre: le débogage intégré, distribué de surveillance, package de déploiement, contrôle de version et d'autres fonctions.
Ensuite, il y a souci de verrouillage du fournisseur. Faas principaux (fonction en tant que service) fournisseur: AWS Lambda, Microsoft Azure caractéristiques et fonctions Google Cloud, a son propre déploiement spécial et méthodes d'exploitation.
Aucune fonction spécifique cadre du serveur est de fournir une implémentation spécifique à fournisseur d'une couche d'abstraction pour, afin de simplifier le déploiement des applications. cadre open source vous fournit un moyen pratique pour tester et déployer votre fournisseur de cloud à une variété de fonctions et mises à jour de configuration en simplifiant fichier YAML commun, tout en offrant une gestion riche en fonctionnalités et des fonctions de sécurité.
En plus de ces professionnels, cadre Serverless soutient également Kubeless, un cadre pour le déploiement de Faas dans le cluster Kubernetes, ainsi que Apache OpenWhisk, qui est une plate-forme de support à base de fonctions Cloud IBM Docker, fournissant un soutien linguistique et un large éventail de caractéristiques uniques à poignée connexion plus durable.
Aucun serveur n'est ni calculé ni matures balle d'argent chaque cas l'utilisation, l'économie et l'efficacité, mais difficile de résister. Sans cadre de serveur pour atténuer les difficultés, pourquoi ne pas se joindre à un nombre croissant d'entreprises se tournent vers le serveur afin de réduire les coûts d'exploitation et la vitesse de déploiement?
- James R. Borck
4, Stack élastique
Si vous êtes application Web axée sur l'utilisateur est en cours d'exécution, il ne peut pas fournir des capacités de recherche sophistiquées. La raison de continuer à fournir une interface utilisateur de recherche de texte libre, vous pouvez corriger l'orthographe suggère automatiquement des phrases alternatives, et mettre en évidence les résultats de recherche pour afficher des résultats de retour. Qu'on le veuille ou non, ce sont ce que vous devez respecter les critères de recherche.
Heureusement, la pile élastique répondra à tous vos besoins de recherche, et ainsi de suite. Élastique Stack principalement ElasticSearch, Kibana, Logstash Beats composition et le soutien de nombreux cas d'utilisation, la recherche de documents axée sur l'utilisateur et l'agrégation de journal centralisé et l'analyse. Un grand nombre de documents indexés ou indexés sur ElasticSearch écrit dans presque toutes les langues de l'indice, et peut être la meilleure estimation pour tous les champs de types de cartographie (Tenir compte du type de données de colonne dans une base de données relationnelle). Maintenant, vous pouvez utiliser l'API complète de recherche, y compris la recherche floue, mise en évidence, et les résultats de la recherche à facettes. Il sera jumelé à SearchKit d'autres outils frontaux, vous pouvez obtenir rapidement un prototype à facettes recherche texte libre immédiatement.
Utilisez Logstash Beats et devenir un service distinct de tout nombre d'agrégation de journal plus facile, ce qui vous permet de vous connecter en ligne est envoyée à une grappe ElasticSearch centralisée pour le dépannage et l'analyse plus facile. Une fois les données du journal est indexé, utilisez les cartes de construction Kibana et tableaux de bord pour assembler l'état de santé du système en un coup d'oeil, élastique Stack est l'un des essentiels d'aujourd'hui que tout nouveau projet Web.
--Jonathan Freeman
5, DataStax Enterprise
Apache Cassandra est une open source de grande échelle série de colonnes de base de données distribuée, inspirée par le papier Google BigTable, il est d'exécuter un excellent moyen d'infrastructure de données mondiale massivement évolutive. Aucun de la conception principale est idéale pour exécuter plusieurs types d'applications à haut débit nuage.
Cependant, Cassandra n'est pas le plus facile à déployer et à gérer. Lorsque vous tentez d'effectuer l'analyse en cause, lors de la recherche de différents types d'applications et opérations graphiques, il vous laissera pas tomber. DataStax Enterprise (alias DSE) l'ajout de ces fonctionnalités ainsi que l'amélioration des performances et de la sécurité, d'améliorer grandement la gestion, la réplication avancée, en mémoire OLTP, chargeur de lots, stockage multi-niveaux, rechercher, analyser et studio développeurs.
Comme avec BigTable et Cassandra, DataStax entreprise le plus approprié pour les grandes bases de données, des téraoctets de giga-octets, il est préférable d'utiliser en conjonction avec l'architecture non normalisé, il y a beaucoup de colonnes par ligne. DataStax Cassandra et les utilisateurs ont tendance à l'utiliser pour des applications à très grande échelle. Par exemple, eBay en utilisant DataStax stockage de données d'entreprise 250 enchères de TB, écrit six milliards de fois par jour, chaque lecture de cinq milliards de fois.
DataStax Enterprise 6 en 2018 a la DSE Analytics, plusieurs nouvelles fonctionnalités DSE Graphique et DSE recherche, ainsi que les paramètres de sécurité plus granulaires. DataStax amélioration des améliorations studio DSE suivi Google Analytics, telles que le support pour SQL Spark, ainsi que le support étendu pour IDE graphique avec des graphismes DSE interactifs sont. Plus important encore, les benchmarks montrent DSE 6 multiples plus rapide que Cassandra.
- Andrew C. Oliver
6, Apache Kafka
Honnêtement, j'imagine un monde d'Apache Kafka est étrange. Distribué plateforme de streaming de médias va bientôt fêter son anniversaire huit ans, le projet est encore une source ouverte de choix solide applications de diffusion multimédia, si vous voulez ajouter Apache ou Apache Tempête Spark et d'autres traités ou utilisés par Apache Kafka lui-même. Kafka peut facilement gérer des applications à faible temps d'attente, à partir de journaux stockés doivent faire un excellent choix pour la fiabilité.
Pour interagir avec les bases de données et d'autres sources de données, Kafka Connect comprend de nombreux produits populaires connectés au connecteur, telles que Microsoft SQL Server, ElasticSearch, HDFS, Amazon S3 et ainsi de suite, en modifiant le flux de données permettra aux données de circuler dans le fichier de configuration du cluster Apache Kafka . Imaginez la mise de la base de données à l'ensemble du pipeline Amazon S3 sans avoir à écrire du code personnalisé ou touchez un code Java.
Confluent Apache Kafka est l'un des principaux développeurs, y compris le créateur original: Jay Kreps, Neha Narkhede et Jun Rao, en fournissant une plate-forme à base de produits open source. Bien qu'il comprend plus d'entreprises traditionnelles, comme une meilleure exploitation de l'interface utilisateur, mais il comprend également KSQL, c'est une bibliothèque, de sorte que vous pouvez utiliser requêtage SQL et manipuler des données stockées dans le sujet Kafka.
Si vous ne remplissez pas la tâche d'exécuter Apache Kafka lui-même, Google fournira l'utilisation d'une combinaison avec Confluent plate-forme d'hébergement, tandis que Amazon était Kafka (Amazon MSK) fournit Managed streaming. Amazon MSK en cours aperçu public, il est possible d'atteindre quelque temps de disponibilité générale en 2019.
--Ian pointeur
7, Apache faisceau
Faisceau Apache en utilisant une approche proactive pour le développement de l'écoulement et pipeline de traitement par lots. Contrairement à la plupart différentes plates-formes, faisceau développera la langue du moteur d'exécution finale abstraire. Vous pouvez utiliser Java, Python, ou lignes d'écriture Go, puis mélanger et faire correspondre le moteur d'exécution pour répondre à vos besoins spécifiques, par exemple, en utilisant Apache mémoire Spark pour le travail ou utiliser Apache Flink pour des performances à faible latence.
Apache faisceau fournit non seulement un moteur fiable pour le traitement de la distribution ETL, l'analyse des données en temps réel et d'un pipeline d'apprentissage de la machine, mais aussi par l'avenir de vos investissements dans la façon d'atteindre cet objectif.
--James R. Borck
8, Redis
Ceci est une base de données NoSQL! Ceci est une mémoire cache! Ceci est le middleware de message! Redis est toutes les caractéristiques ci-dessus et plus. Redis fourni dans un package de nombreuses fonctions utiles, le soi-disant « en mémoire la structure de données stockées » est devenu le contenu principal de la pile d'applications Web modernes n'est pas surprenant que presque tous les langages de programmation peuvent choisir d'utiliser le support bibliothèque.
Redis offre la possibilité de travail est limitée dans la complexité et les fonctionnalités requises pour un emploi donné. Si vous avez seulement besoin d'un simple morceau de mémoire cache de données, Redis vous pouvez configurer en quelques minutes et utilisez votre application. Si vous voulez soutenir ce qui revient des disques systèmes NoSQL avec différentes structures de données et programme d'expulsion de cache de votre choix, vous ne pouvez avoir besoin de plus d'efforts.
Redis version 5.0 en Octobre 2018, qui introduit un certain nombre de nouvelles fonctionnalités puissantes, les plus importants sont les nouveaux types de données de flux. De telles structures de données supplémentaires telles journaux similaires conçus pour une système de messagerie Apache Kafka Redis possible. Redis 5.0 D'autres améliorations comprennent une meilleure gestion de la mémoire et le contrôle des débris, il est important d'amélioration du système de stockage de mémoire basé sur la performance comme métaphore principale.
--Serdar Yegulalp
9, Code Visual Studio
Code de Visual Studio avantage est qu'il peut être autant que vous le souhaitez, il peut être aussi petit. Code de Visual Studio sera un éditeur rapide léger, si vous avez besoin, ou devenir un environnement de développement mature, grâce à des plug-ins et add-ons ou exécution en usage aujourd'hui presque toutes les principales langues. Python, Java, Kotlin, Go, Rust, JavaScript, et tapuscrit Node.js (sans parler de langue de Microsoft .Net) ont un très bon soutien, comme ce format de document supplémentaire Markdown, HTML, reStructuredText et aussi LLVM IR donc.
En plus du large soutien et l'adoption généralisée, le code Visual Studio prévoit également des améliorations et des ajouts des biens. Ne négligez aucune zone fonctionnelle. Ainsi, vous aurez à Git, Team Foundation Server, Docker, l'effilochage de code, la reconstruction, un appui solide des fichiers volumineux et similaires. Vous pouvez même exécuter à partir du répertoire contenant le code Visual Studio, ce qui ouvre la porte à reconditionner le Code Visual Studio est un environnement autonome, pour rencontrer le nouveau rêve cible.
- Serdar Yegulalp
10, .Net de base
On dit que convertir à des projets de logiciels open-source est le meilleur, il pourrait être la pire chose. Le Framework .Net de Microsoft, la partie open source de la fonction pour .Net de base a été un facteur positif distinct, conduisant à un processus de développement ouvert d'exécution plus léger, le concept multi-plateforme de priorité, ainsi que la compatibilité comblé aux besoins de son application principale de .Net Framework.
Mai 2018 sortie de la version 2.1 introduit de nombreuses fonctionnalités qui complètent le plan plus vaste. Un des plus grands: .Net Outils de base mondiaux, l'un pour le déploiement et l'expansion d'un nouvel outil de ligne de commande système de gestion pour les applications .Net de, package compatible Windows qui fournit Net Framework est utilisé pour le grand frère pour les applications Windows natives 20000 ont visité l'API, les mécanismes d'applications de base .Net autonomes et les applications les plus d'exécution, les outils d'analyse utilisés pour identifier les dépendances de l'API Windows API lors du portage des applications Windows.
- Serdar Yegulalp
11, LLVM
À première vue, LLVM semble ésotérique choisir notre prix. Outils pour la construction de paquets de compilateur de langage de programmation? Mais puissant cadre du compilateur LLVM est au cur de nombreux articles A-liste: Clang, Rust, Swift, Julia et beaucoup d'autres langages de programmation pour favoriser le développement de projets innovants.
LLVM fournit un moyen de générer par programmation code machine natif pour les développeurs, et sans comprendre les changements dans la structure de chaque système et la plate-forme qu'ils veulent cibler. L'utilisation évidente cas est un compilateur de langage, LLVM mais aussi une variété d'autres applications possibles. Par exemple, PostgreSQL du code généré dynamiquement grâce à l'accélération de LLVM requêtes SQL. De même, le projet lent Numba utilise le code de langage assembleur Python LLVM dans rapide, pour les applications de calcul numérique à grande vitesse.
2018 deux versions majeures de LLVM introduit une série d'améliorations: un meilleur support pour les processeurs Intel les plus récents, multiprocesseur programme pour faciliter les bugs de processeur, d'outils d'évaluation de performance pour générer du code sur une architecture CPU particulière et éditeur de liens LLVM LLD de poursuivre les travaux, à travers de multiples plates-formes afin de générer le fichier exécutable autonome de LLVM.
- Serdar Yegulalp
12, tensorflow
Tensorflow est un flux de données schéma utilisé bibliothèque de logiciels open source pour le calcul numérique. Il indique un noeud d'un graphe mathématique, le bord graphique représente la matrice de données multidimensionnelle à circuler entre eux (tenseur). Cette architecture souple peut être déployé pour calculer un ordinateur, un serveur ou un dispositif mobile ou une pluralité de CPU ou le GPU, sans avoir à réécrire le code. Tensorflow TensorBoard comprenant en outre, un ensemble d'outils de visualisation de données.
Dans la version 1.12, tensorflow est de loin le plus largement utilisé et largement cité cadre de l'apprentissage en profondeur. Bien qu'il soutient toujours son API de bas niveau d'origine, mais l'API de haut niveau est maintenant disponible tf.keras, il est tensorflow de l'API Keras implémentation standard, y compris des améliorations spécifiques tensorflow.
Bien que tensorflow soutient encore la construction d'un diagramme de flux de données et l'exécuter à une session ultérieure, mais il est maintenant aussi soutient pleinement le mode de mise en uvre urgente, ce qui est une condition nécessaire par commande interface. Désireux de soutenir le mode d'exécution automatique se distingue par API tf.GradientTape. Un tf.keras d'amélioration est désireux de soutenir la mise en uvre.
API Keras et le mode d'exécution fervente seront affichées dans tensorflow 2.0. Bien qu'il ne soit pas recommandé d'utiliser une autre API dans la version 2.0, mais en plus de la bibliothèque de compatibilité, il y aura des outils existants de conversion de code.
estimateur tensorflow est la plus évolutive et le type de modèle axé sur la production. Vous pouvez utiliser Google offre pré-Estimateurs, vous pouvez aussi écrire vos propres Estimateurs personnalisés. Estimateur construit lui-même sur tf.keras.layers, personnalisation plus facile. Estimateurs utiliser pour créer des modèles généralement plus facile que d'utiliser l'API tensorflow inférieure. devis préfabriqué vous permet de travailler à un niveau supérieur à celui de l'API des concepts de base.
- Martin Heller
13, Keras
Keras est une API de réseau de neurones avancé, écrit en Python, peut fonctionner sur tensorflow, CNTK ou Théano. Le support d'autres arrière-tiers, tels que MXNet et PlaidML.
Dans tensorflow, tf.keras mis en uvre Keras, ont quelques améliorations tensorflow de spécifiques. Keras n'est pas la seule API de haut niveau pour construire un modèle de réseau de neurones simplifié, mais il l'importance dans tensorflow mettre en évidence la qualité et de l'importance. Après tensorflow, Keras actuellement le deuxième API de réseau de neurones cité.
Keras créé pour convivial, modulaire, facile à étendre et utilisé conjointement avec Python. API est « conçue pour les humains, pas des machines » et « suivre les meilleures pratiques pour réduire la charge cognitive. »
couche neurale, une fonction de coût, l'optimiseur, le programme d'initialisation, et les fonctions d'activation sont système de régularisation Keras de modules indépendants, ils peuvent être combinés ensemble pour créer un nouveau modèle. Facile à ajouter un nouveau module, et fonctionne comme une nouvelle classe. Code python est défini dans le modèle, au lieu d'un profil de modèle séparé.
Utilisez Keras principale raison découle de son principe de conception guidage, le principe principal est convivial. En plus du modèle simplifié est facile à apprendre et à l'extérieur du bâtiment, Keras a aussi l'avantage de largement utilisé pour soutenir la production d'un large éventail d'options de déploiement, fournissant un soutien puissant pour plusieurs GPU et de formation distribués, pris en charge par Google, Microsoft, Amazon, Apple, Nvidia , comme Uber.
--Martin Heller
14, PyTorch
tenseur PyTorch est utilisé pour créer une dynamique et des réseaux puissants avec la bibliothèque de l'accélération GPU dans le python, il est fait référence à la vitesse la plus élevée de la troisième structure de réseau de neurones après tensorflow et Keras. réseau de neurones dynamique peut être changé d'itération itération, comme modèle permettant PyTorch d'ajouter et de retirer la couche cachée pour améliorer la précision et la polyvalence lors de la formation. PyTorch instantanément graphiques recréée à chaque étape d'itération.
bibliothèque d'accélération intégré PyTorch, comme Intel MKL, Nvidia cuDNN et Nvidia NCCL, pour maximiser la vitesse. Son core CPU et GPU tenseur et back-end réseau de neurones -TH (Torch), le THC (Torch Cuda), THNN (torche des réseaux de neurones) et THCUNN (Torch Cuda réseaux de neurones) - écrite comme une bibliothèque indépendante a C99 API. Pendant ce temps, PyTorch pas monolithique liaisons Python à cadre de C - PyTorch objectif est l'intégration avec la profondeur Python et permet l'utilisation d'autres bibliothèques Python.
PyTorch peut être un instantané des changements de tenseur de temps. Le point de la trame en vérifiant la différence entre le tenseur de gradient approchée pour chaque tenseur précédemment mémorisée. Il est appelé « autograd », ce qui peut accélérer le calcul du gradient, jusqu'à trois fois. Compte tenu de la plus raide optimisation de descente de gradient repose sur, il peut accélérer le processus de formation trois fois. Tensorflow ont les mêmes fonctionnalités.
PyTorch soutenu principalement par Facebook, mais d'autres sponsors et collaborateurs comprennent Twitter, Salesforce et Microsoft. Microsoft a contribué la technologie de son propre cadre CNTK pour augmenter PyTorch hérité de la fonction de la flamme et Caffe.
--Martin Heller
15, Horovod
Horovod est distribué cadre de formation tensorflow, Keras et PyTorch créer dans Uber. objectif Horovod est de rendre la profondeur de l'apprentissage distribué rapide et facile à utiliser. Horovod basé sur Baidu mise en uvre tensorflow projet anneau algorithme de allreduce ci-dessus.
Les premières tentatives d'utiliser le Uber distribué tensorflow avec serveur de paramètres. Les ingénieurs MPI ont constaté que le modèle est beaucoup plus simple et nécessite moins de changements de code. Uber réclamations, système Horovod peut être formé de vitesse modèle AI est de deux fois la vitesse de déploiement de tensorflow traditionnel.
Utiliser l'Open Horovod MPI (ou une autre mise en oeuvre de MPI) de transmission de messages entre les noeuds, et la bague Nvidia NCCL allreduce en utilisant la version très optimisée. Horovod étalement rendement de 90% obtenu dans la création-v3 et ResNet-101, VGG-16 pour atteindre une expansion de 68% de l'efficacité maximale de 512 Pascal Nvidia GPU.
Décembre 2018, a annoncé Uber est un projet ouvert Horovod Linux, soutenu par l'étude en profondeur Fondation LF de la Fondation pour le logiciel d'intelligence artificielle de l'open source.
--Martin Heller
16, XGBoost
XGBoost (eXtreme Gradient Dynamiser) est une bibliothèque d'apprentissage machine open source qui met en uvre un gradient distribué promu Python, R, Java, Julia et d'autres langages de programmation. Le code du projet de base est écrit en C ++.
XGBoost fournit un algorithme stimulant arbre parallèle, peut résoudre de nombreux problèmes scientifiques de données rapidement et avec précision. Même code fonctionne sur une seule machine et les environnements distribués (Hadoop, MPI, Spark, etc.). version distribuée peut être étendue pour répondre l'exemple spécifique de milliards de problème plus grave.
les données XGBoost et la renommée dans la communauté scientifique en remportant une compétition Kaggle. Il trouve son origine dans un projet de recherche à l'Université de Washington. Par le papier Chen Tianqi et Carlos Guestrin écrit en 2016 XGBoost explique l'algorithme d'arbre progressif et des améliorations pour améliorer XGBoost ajoutée, tels que la mise en cache et la perception de préchargement clairsemée de perception. Cet article compare également les deux autres communément utilisés arbre XGBoost la cupidité exacte et scikit-learn et R.gbm pour la classification pour obtenir de meilleures performances, et l'apprentissage des problèmes de classement (pGBRT de mise à jour de gradient parallèle et l'arbre de régression) Test XGBoost.
--Martin Heller
17, H2O Driverless AI
Lors de la conversion des données brutes en analyse prédictive, vertu H2O Driverless AI de sa simplicité d'automatisation au-delà de tout le monde. clôture des meilleures pratiques et signe un guide d'experts non-AI à la découverte du chemin, l'utilisation de la machine supervisée et non supervisée apprendre à découvrir des modèles cachés.
Vous fournissez les données et d'isoler la variable dépendante, algorithme local H2O peut compléter les caractéristiques techniques, sélection de modèles, la formation et l'optimisation.
Ce n'est pas magique, vous voulez toujours connaître votre ensemble de données et la capacité d'interpréter la sortie, mais les outils de visualisation H2O et explication claire pour comprendre l'équipe commerciale, de comprendre il y a un long chemin entre l'informatique et les scientifiques de données.
les scientifiques et les développeurs de données peuvent Python et R. Jupyter code de plomberie apprentissage machine à l'exportation de bloc-notes pour stimuler la production et la construction fonction des paramètres du modèle. Que ce soit ou dans le nuage, H2O peut être utilisé localement avec votre infrastructure grande de données existantes (telles que Hadoop ou Spark) ensemble, d'extraire des données sur le lac de HDFS, Amazon S3 ou données Azure, et cliquez sur le traitement du GPU Nvidia pour obtenir des vitesses plus élevées.
H2O en 2018 a introduit plusieurs mises à jour majeures, la chose la plus importante est le traitement du langage naturel, la prévision des séries chronologiques et d'améliorer gradient. arbres de décision visuels maintenant guides graphiquement l'utilisateur étape par étape la prédiction comprendre le « comment » - par exemple, de préciser pourquoi la demande d'assurance est signalée comme frauduleuse. H2O a même commencé à fournir des algorithmes directement sur le nuage d'Amazon et Microsoft.
H2O sans pilote AI ne laissera pas les ingénieurs sont descendus dans les rues de données ou adresse tous les problèmes d'apprentissage machine de pointe. Mais il offre une alternative simplifiée à partir de zéro pour construire AI, ce qui réduit le temps des entreprises deviennent plus prédictive et réactive nécessaire.
Enfin, parler, veulent apprendre grande limite de données pour recevoir une information libre et cours
