Lei Note du réseau Feng: L'auteur est Jahnavi Mahanta, l'ancien American Express (Amex), un apprentissage de la machine d'ingénieur senior, l'apprentissage en ligne profonde sites éducatifs Deeplearningtrack co-fondateur.
Jahnavi Mahanta: renforcer la compréhension du rôle des algorithmes intuitifs - je viens machine à temps commencé à apprendre, il me rend très difficile. Non seulement parce que la compréhension de la théorie mathématique et le symbole lui-même est pas facile, parce qu'il est ennuyeux. Je suis allé au tutoriel en ligne pour trouver un moyen, mais il n'y a qu'une formule ou un haut niveau d'interprétation, et dans la plupart des cas ne rentrerons pas dans les détails.
A cette époque, un collègue scientifique de données m'a présenté à une nouvelle façon - feuilles Excel pour mettre en uvre l'algorithme, Cette méthode me fait belle. Plus tard, indépendamment de tout algorithme, je vais l'essayer sur une étude à petite échelle sur Excel - croyez-moi, pour améliorer votre compréhension de l'algorithme, bien comprendre sa beauté mathématique, cette autre façon serait un miracle.
cas
Permettez-moi d'utiliser un exemple pour vous expliquer.
La plupart des algorithmes scientifiques des données sont des problèmes d'optimisation. La méthode la plus couramment utilisée à cet égard est la descente de gradient.
Peut-être une descente de gradient semble mystérieux, mais après avoir lu cet article, vous vous sentez qu'il va probablement changer.
Ici, le problème avec les prévisions des prix du logement à titre d'exemple.
Maintenant, avec l'historique des données résidentielles, nous devons créer un modèle, étant donné une nouvelle zone résidentielle peut prédire son prix.
Tâche: Pour une nouvelle maison, une zone donnée X, le prix Y est combien?
Commençons par l'histoire de tirage des données résidentielles.
Maintenant, nous allons utiliser un modèle linéaire simple, avec une ligne pour faire correspondre les données historiques pour prédire nouveau prix du logement Ypred selon la zone X.
La figure ci-dessus, les spectacles de la ligne rouge les prix prévus Ypred dans différents domaines.
Ypred = a + bx
La ligne bleue est le prix réel du logement Yactual à partir de données historiques.
Et l'écart entre Yactual Y pred, à savoir les lignes de pointillés jaunes, est une erreur de prédiction E.
Nous devons trouver la pondération d'a, b pour obtenir la valeur optimale linéaire en réduisant une erreur de prédiction, d'améliorer la précision de la prévision, pour obtenir les meilleures données historiques de match.
Par conséquent, l'objectif optimal est de trouver a, b, de sorte que l'erreur E entre le Yactual et Ypred réduit au minimum.
Et l'erreur quadratique (SSE) = ½ (prix réel - prix prévisionnels) 2 = ½ (Y - Ypred) 2
(Lei Feng rappel réseau, s'il vous plaît attention à plus d'une mesure d'erreur, ceci est juste un)
A ce stade de temps est la descente de gradient. Il est un algorithme d'optimisation de descente de gradient peut réduire l'erreur de prédiction pour trouver le poids optimal (a, b).
Comprendre descente de gradient
Maintenant, nous devons comprendre étape par étape algorithme de descente de gradient:
Aléatoire et à calculer une valeur d'erreur (SSE) initialisation des poids a et b.
Calculer un gradient, à savoir, lorsque la pondération (a et b) l'apparition aléatoire de légères augmentations ou les diminutions de la valeur initiale, le changement SSE. Cela nous aide à la valeur a et b, et à minimiser la direction SSE.
Les poids sont ajustés avec un gradient, la valeur optimale, de sorte que SSE est réduite au minimum.
En utilisant les nouveaux poids ne prédisent, calculer la nouvelle SSE.
Répéter les deuxième et troisième étapes, jusqu'à ce que le poids de l'ajustement de poids ne peut pas réduire efficacement l'erreur.
Je portais sur Excel toutes les étapes de ce qui précède, mais avant que la vue, tout d'abord nous voulons normaliser les données, car il rend le processus d'optimisation plus rapide.
premier pas
Aléatoire valeurs a, b initialisation linéaire Ypred = a + b X, calcule une erreur de prédiction SSE.
La deuxième étape
Le calcul de gradient d'erreur poids différents.
SSE / a = - (Y-YP)
SSE / B = - (Y-YP) X
Ici, SSE = ½ (Y-YP) 2 = ½ (Y- (a + bX)) 2
Vous devez connaître un peu le calcul, mais aucune autre demande.
SSE / a, gradient SSE / B, sont basés SSE donnée a, b direction de déplacement.
La troisième étape
Ré-ajustement de la pondération avec un gradient, la valeur optimale de minimiser SSE
Nous devons mettre à jour la valeur aléatoire a, b, et de nous laisser aller dans le sens d'un optimal, B.
règles de mise à jour:
-
a - SSE / a
-
b - SSE / B
Par conséquent:
La nouvelle a = a - r * SSE / a = * 3,300 = 0,45 à 0,010,42
Le nouveau b = b - r * SSE / B = * 1,545 = 0,75 à 0,010,73
Ici, r est le taux d'apprentissage = 0,01, le taux d'ajustement de poids.
La quatrième étape
La nouvelle a, b faire la prévision, le calcul de la SSE totale.
Vous pouvez voir que dans le nouveau total de prévision SSE a chuté à 0,553 de 0,677. Cela signifie que la précision de la prévision améliorée.
La cinquième étape
Répéter la troisième, la quatrième étape jusqu'à ce que l'une des paires, b de l'ajustement ne peut pas réduire efficacement l'erreur. À ce stade, nous avons atteint le meilleur a, b, et la précision de la prévision la plus élevée.
Ceci est l'algorithme de descente de gradient. L'algorithme d'optimisation et ses variantes sont au cur de nombreux algorithmes d'apprentissage machine, comme la profondeur du réseau et même l'apprentissage en profondeur.
via kdnuggets, Lei Feng réseau compilé.
