[Les questions de visage] La méthode de Newton et le gradient de descente algorithme Quelle est la différence?
python cours avancé
Machine Learning
étude approfondie
La méthode de Newton et le gradient de descente algorithme Quelle est la différence?
Réponse:
résolution:
La loi de Newton (méthode de Newton)
la méthode de Newton est un vrai champ de numéro et dans l'équation approximation du champ complexe résolution. Le procédé d'utilisation de la fonction f (x) devant plusieurs séries de Taylor pour trouver l'équation f (x) = 0 sur la racine. La plus grande caractéristique de la méthode de Newton est que c'est une convergence rapide.
Des mesures spécifiques:
Tout d'abord, sélectionner une fonction de proximité f (x) zéro x0, calculer le f correspondant (X0), et la pente de la tangente de f « (X0) (où f » représente la dérivée de la fonction f).
Nous avons ensuite calculé par le point (x0, f (x0)) et la pente de f « (x0) et une coordonnée de l'axe x linéaire du point d'intersection x, à savoir la résolution de l'équation suivante:
Nous cherchons de nouvelles coordonnées x du point nommé x1, x1 sera généralement plus proche de la solution de l'équation f 0 (x) = rapport x0. Ainsi, nous pouvons maintenant tirer parti de x1 commencer la prochaine itération. la formule peut être simplifiée itératifs comme suit:
Il a été prouvé que, si f « est continue, et x est égal à zéro demande à isoler, alors il y a une région autour du point x égal à zéro, aussi longtemps que la valeur initiale x0 est dans la zone adjacente, la méthode de Newton doit converger.
Et, si f « (x) est de 0, alors la méthode de Newton a des performances de convergence quadratique. Schématiquement, cela signifie que pour chaque itération, le résultat de chiffres significatifs méthode de Newton doublera.
Étant donné que la méthode de Newton est utilisé pour déterminer l'emplacement suivant en fonction de la position actuelle de la tangente, de sorte que la méthode de Newton a été très justement appelé la « méthode tangente. » Chemin de recherche méthode de Newton (cas à deux dimensions), comme indiqué ci-dessous:
Sur la méthode de descente de gradient et la comparaison de l'efficacité de la méthode de Newton:
a) Du point de vue de la vitesse de convergence, la méthode de Newton est une convergence quadratique, la convergence est une première descente de gradient d'ordre, l'ancienne méthode de Newton converge beaucoup plus rapide. Mais la loi de Newton toujours algorithme partiel, mais du point de vue local est plus détaillé, compte tenu que la direction de la méthode du gradient, la méthode de Newton non seulement tient compte de la direction également prendre en compte la taille des étapes, ce qui est un second ordre approximation de la taille de l'étape estimation utilisée.
b) Selon l'explication sur le Wiki, géométriquement parlant, la méthode de Newton est d'utiliser une surface quadratique pour adapter la surface locale de votre emplacement actuel, et une méthode de descente de gradient est utilisé pour ajuster la surface plane locale actuelle, généralement cas, le raccord de surface quadratique sera mieux que l'avion, chemin descendant choisi la méthode de Newton serait plus en accord avec le chemin optimal de gouttes réel.
Remarque: L'itération de chemin rouge de la méthode de Newton, la voie verte est la méthode itérative de descente de gradient.
Résume les avantages et les inconvénients de la méthode de Newton:
Avantages: Convergence de la convergence Quadratique plus rapide;
Cons: la méthode de Newton est un algorithme itératif, chaque étape nécessite la solution de la matrice de Hesse inverse de la fonction objective pour le calcul complexe.
