Auteur | Aishwarya SINGH

Traducteur | Wu Mingli, Zebian | yugao

Produit | camp de base de la technologie AI (ID: rgznai100)

Pouvez-vous nommer au moins deux apprentissage machine stimuler Il?

Stimuler a été existe depuis de nombreuses années, mais jusqu'à récemment, ils ne sont pas devenus communauté d'apprentissage machine grand public. Alors, pourquoi sont si populaires ces Dynamiser il?

L'un des principaux populaires est Dynamiser une compétition d'apprentissage de la machine. Dope est un modèle d'apprentissage de la machine donne des pouvoirs pour améliorer l'exactitude prédictive. Un rapide coup d'oeil à la concurrence Kaggle et DataHack hackathon savoir - Stimuler très populaire!

En bref, Dynamiser généralement mieux que la régression simple modèle logique et des arbres de décision comme supérieure. En fait, la plupart des meilleurs produits sur les plates-formes DataHack utilisent un ou plusieurs Dynamiser Dynamiser combinaison à atteindre.

Dans cet article, l'auteur présentera quatre populaire Dynamiser, vous pouvez utiliser la machine suivante apprentissage projet hackathon ou les utiliser.

Dynamiser démarrage rapide (Qu'est-ce stimulant? )

Imaginez ce scénario:

Vous avez mis en place un modèle de régression linéaire, qui peut vérifier l'exactitude de l'ensemble des données pour atteindre 77%. Ensuite, vous décidez par la création de k-plus proche voisin (KNN) modèle d'arbre de décision et le modèle sur le même ensemble de données pour étendre votre ensemble de données. Ces modèles de précision sur l'ensemble de validation était de 62% et 89%, respectivement.

De toute évidence, le travail de ces trois modèles sont complètement différents. Par exemple, un modèle de régression linéaire tente de saisir des données dans une relation linéaire et le modèle d'arbre de décision tente de saisir les données non linéaires.

Utilisez une combinaison de tous ces modèles plutôt que d'utiliser l'un de ces modèles de la façon de faire une prédiction finale?

La prévision moyenne de ces modèles je considérais. De cette façon, nous capturer plus d'informations à partir de données.

Ceci est principalement derrière l'idée de l'apprentissage intégré. Boosting apparaissent alors dans le mauvais?

Stimuler l'utilisation de la technologie est l'un des concept d'apprentissage intégré. Stimuler incorpore une pluralité de modèle simple (appelée aussi un faible apprenant ou sensiblement estimateur) pour générer la sortie finale.

Nous présenterons une importante Dynamiser ici.

Machine Learning quatre types Dynamiser

• Palan à gradient (GBM)

• Palan à gradient extrême (XGBM)

• Ascenseur à gradient léger (LightGBM)

• ascenseur de classification (CatBoost)

1, Palan à gradient (GBM)

Palan gradient (GBM) à partir de la pluralité d'arbres de décision de liaison prédite pour générer la prédiction finale. Notez que tous les apprenants faibles gradient monte-charge est un arbre de décision.

Cependant, si nous utilisons le même algorithme, l'utilisation de plus d'une centaine arbre avec un seul arbre, d'accord? Comment différentes informations de signal / de données différentes de capture des arbres de décision de celui-ci?

Ceci est l'astuce - chaque nud de l'arbre dans un autre sous-ensemble des fonctions pour sélectionner la meilleure répartition. Cela signifie que chaque arbre ne sont pas identiques, et par conséquent, ils sont capables de capturer les différents signaux à partir des données.

De plus, chacun d'eux de nouveaux arbres sont pris en compte les erreurs commises par l'arbre précédent. Ainsi, chaque arbre de décision précédente successives est mauvais arbre. Ceci afin de construire l'arbre Dynamiser manière gradient.

2, Palan à gradient extrême (XGBM)

ascenseur gradient extrême (XGBoost) est un autre populaire Dynamiser. En fait, XGBoost tout algorithme GBM version améliorée! processus de travail XGBoost avec GBM même. arbre XGBoost afin d'essayer de corriger les erreurs dans un arbre déjà construit.

Cependant, certaines fonctions XGBoost légèrement mieux que GBM:

1) La chose la plus importante est de réaliser un prétraitement XGBM parallèle (au niveau des nuds), ce qui rend plus rapide que le GBM.

2) XGBoost comprend en outre diverses techniques de régularisation, il peut réduire l'amélioration globale de la performance excessive à fusionner. Vous pouvez choisir des techniques de régularisation en mettant hyperparam'etre algorithme XGBoost.

De plus, si vous utilisez l'algorithme de XGBM, vous n'avez pas à vous soucier de se concentrer insérer les valeurs manquantes dans les données. modèle XGBM lui-même peut gérer les valeurs manquantes. Au cours de la formation, le modèle apprendra les valeurs manquantes sont dans le nud de nud à droite ou à gauche.

3, Ascenseur à gradient léger (LightGBM)

En raison de sa rapidité et l'efficacité, LightGBM Dynamiser maintenant de plus en plus populaire. LightGBM peut facilement gérer de grandes quantités de données. Notez toutefois que la mauvaise performance de l'algorithme sur un petit nombre de points de données.

Prenons un moment pour comprendre comment cela se produit.

LightGBM Yexiang Sheng l'arbre a une longue, plutôt que le niveau de croissance. Après la première division, la prochaine scission uniquement sur la perte d'un grand nud feuille.

Prenons l'exemple illustré sur la figure:

Après la première division, les pertes plus élevées noeud gauche, est donc sélectionné pour la division suivante. Maintenant, nous avons trois nuds feuilles, tandis que la perte la plus élevée parmi les nuds feuilles. LightGBM segmentation algorithme par feuille de lui permettre de gérer de grands ensembles de données.

Pour accélérer le processus de formation, LightGBM utiliser une segmentation basée sur l'histogramme à choisir le meilleur . Pour les variables continues, seront divisés plutôt que toute utilisation des valeurs respectives de ces variables dans des bacs ou des barils. Un tel processus de formation plus rapide et réduit les frais généraux de mémoire.

4, système de levage de classification (CatBoost)

Comme son nom l'indique, le traitement des données CatBoost Dynamiser est en variables. La plupart des algorithmes d'apprentissage machine ne peut pas gérer les chaînes ou catégorie données. Ainsi, la valeur variable nominale est convertie en une étape importante est prétraiter.

CatBoost variables qualitatives peuvent traiter en interne les données. Statistiques sur les différentes combinaisons de fonctionnalités, pour convertir ces variables à des variables numériques.

Si vous voulez apprendre à les convertir en catégorie numérique, lisez l'article suivant:

https://catboost.ai/docs/concepts/algorithm-main-stages_cat-to-numberic.html#algorithm-main-stages_cat-to-numberic)

Une autre raison CatBoost est largement utilisé est que cela fonctionne bien avec l'ensemble super par défaut des paramètres. Par conséquent, en tant qu'utilisateur, nous ne devons pas passer beaucoup de temps pour régler hyperparam'etre.

conclusion

Dans cet article, nous avons couvert les bases de l'apprentissage et l'étude de quatre Dynamiser intégré. Nous sommes intéressés par l'apprentissage d'autres approche intégrée d'apprentissage? Vous devriez voir les articles suivants:

Apprentissage intégré guide complet (ci-joint code Python): https: //www.analyticsvidhya.com/blog/2018/06/comprehensive-guide-for-ensemble-models/ utm_source = Blog & utm_medium = 4-renforcement des algorithmes machine-learning?

Qui utilisez-vous d'autres Dynamiser? Vous utilisez ces Stimuler le succès de celui-ci? S'il vous plaît partager vos pensées et vos expériences avec nous dans les commentaires ci-dessous.

original:

https://www.analyticsvidhya.com/blog/2020/02/4-boosting-algorithms-machine-learning/