Dans l'apprentissage de la machine, vient habituellement dans les fonctions du noyau SVM doivent présenter, principalement en raison de SVM avec la fonction doit noyau l pour SVM peut obtenir de très bonnes performances dans le classement, il est donc très important au sein de l'astuce du noyau apprentissage SVM partie, bien sûr, va tirer beaucoup de problèmes (sera mentionné plus loin).
rôle de tour du noyau de caractéristique d'apprentissage automatique est souhaitable lorsque des classes différentes dans l'espace d'origine ne peuvent pas être séparées par une zone de classement linéaire, caractérisé en ce que la zone de projection non-linéaire peuvent être plus espacés dans l'espace de dimension plus élevée.
Ce qui suit est une description générale voir le noyau voir la carte, nous ne pouvons pas trouver un classificateur linéaire approprié dans l'espace d'origine (Rd) pour séparer les deux types de zones, puis la nécessité de trouver une projection non linéaire () dans lequel la conversion dans l'espace de dimension supérieure, cette fois besoin que d'un classificateur / hyperplan linéaire dans l'espace dans la classification de grande dimension ne peut être parfait.
Et cet espace de dimension supérieure est appelée espace de Hilbert (H).
Mais nous avons une bonne conception est difficile d'aller directement à la projection non-linéaire () formule, il est des fonctions du noyau nécessaires pour aider.
définition de la fonction noyau:
Tant que toutes les fonctionnalités, il y a une fonction de rencontre
K (x, y) = (x), (y)
Le k (x, y) est une fonction noyau, a, b vecteurs a et b représente le produit interne.
Mais comment pouvons-nous savoir quelle fonction pour remplir cette condition, donc il y a des théorèmes (théorème de Mercer) que s'il y a une fonction () existe, ce k doit satisfaire à la condition de Mercer, k est la fonction du noyau.
Mais encore très mystérieux à dire, dites-est simplifiée si toutes les fonctionnalités dans cette fonction du noyau est et doit être supérieur ou égal à 0:
K pour répondre à la condition de Mercer.
En théorie, une matrice du noyau (K, matrice de Gram) est une matrice définie semi-positive (semi-définie positive), k est la fonction du noyau.
Plus couramment utilisé la fonction noyau:
D est un entier positif (généralement à api d'appel, cette partie sera désignée sous le nom de degré), est un nombre non nul réels (typiquement de l'API d'appel, cette partie sera appelée gamma)
Note: RBF api noyau et certains seront définis comme suit:
Voici un élément avec une fonction noyau polynomiale ième puissance de 2, le point d'intersection de 0 (d = 2, c = 0) cas.
La gauche est l'espace d'origine, il est clair que dans le cercle est une classe, un cercle de classe, cette fois avec un simple classificateur linéaire n'est pas classification valide, donc il n'y a aucun moyen de trouver un classificateur non linéaire peuvent être séparés pour faire deux types.
fonction noyau utilisé ici est relativement simple
A cette époque, la fonction de projection peut être obtenue ([Phi]) via une dérivation simple, ce qui suit
Ainsi, nous pouvons voir la fonction du noyau polynôme caractéristique avec un cas où l'espace de représentation projeté, dans lequel le cas a été converti à partir d'un espace à deux dimensions dans l'espace en trois dimensions.
Lorsque l'espace fonctionnalité du noyau, il est clair que tant que hyperplan (classification linéaire) peut être parfaitement classé en bas à gauche (plan d'eau bleue), et qui correspond à l'espace d'origine (en bas à droite) est le classement intermédiaire du cercle.
la fonction de projection de conversion de fonction de RBF
fonction noyau polynomiale utilisée ci-dessus est convertie en une fonction de projection ([Phi]) est relativement simple.
La fonction de RBF peut également être obtenue par une simple fonction de projection de dérivation ( de), mais un peu plus complexe, utilisera la série Taylor (série Taylor). La référence théorique.
Le retrait: la série de Taylor est une fonction de f (x) sur une série de puissance réelles ou complexes une fonction différentiable est la suivante:
La fonction de RBF serait utilisé dans la série Taylor
Voici donner des caractéristiques 1 dimensions afin que tout le monde connaît le démantèlement RBF, ici connaissent la conversion relativement facile à l'idée de grande dimension pour voir
Plus tard illustrera comment les caractéristiques de grande dimension de démontage, si vous êtes très familier avec le démantèlement de ce qui précède, vous devez être au courant de l'interrupteur RBF à l'espace dimension supérieure est de regarder la série Taylor vous voulez montrer à quelques classes, supposons que vous êtes caractérisé par 2D, RBF vous voulez voir dans la conversion d'espace en 3 dimensions, afin d'élargir la série de Taylor à l'ordre de 0 à 2, la fonction de projection ([Phi]) pour chaque élément de la formule suivante
N représente l'ordre n-ième. Fonction de projection () en fait écrit comme suit:
Pour une fonction de noyau RBF de demande de Viterbi côté 2 démontage de la fonction de projection ():
J'utilisé la méthode illustrée ici, les deux caractéristiques dimensionnelles projetées sur un espace à trois dimensions, à savoir le deuxième ordre série de Taylor prise similaire.
approche du noyau juste sera fonction investi dans l'espace de dimension supérieure, alors que vous voulez faire dans cet espace de grande dimension, pas nécessairement dans l'espace de grande dimension dans la classification directe (dans ce cas est classé dans l'espace de grande dimension), également peut réduire la dimension (réduction de dimension), mot-clé noyau PCA, noyau LDA dans l'espace de grande dimension.
astuce du noyau est amusant, mais il vient de mentionner problème dérivé, ce problème est très simple
« Il y a tant de types de noyau, la fonction du noyau de ce que vous voulez utiliser dans vos fonctions? Vous choisissez le noyau, et comment ajuster les paramètres du noyau? »
D'autres ont été développés fonctions du noyau de différentes espèces, comme le noyau synthétique, comment choisir, ce problème est très simple, la façon la plus traditionnelle consiste à utiliser la recherche ceindra, ce que vous voulez noyau des fonctions et des paramètres que vous utilisez la gestion des données de formation une fois que vous voyez les paramètres du noyau du groupe et les performances des données de formation dont le groupe est préférable d'utiliser. Ils ont constaté qu'un problème? Si le noyau a 100, 100 chaque paramètre sont également, de sorte que vous devez essayer 100 * 100 = 10000 fois. Si vous avez RAN SVM, vous savez combien de temps cela va jouer.
Ainsi, quelqu'un développera méthode plus rapide pour trouver les paramètres que nous avons joué avant, puis revenir à écrire un libre comment nous jouons.
