Auteur | Chen En Hong, Liu Qi équipe
Modifier | Camel
Dans cet article, l'Université des sciences et de la technologie de la Chine Chen En rouge, Liu Qi équipe complète pour, était de 20 papier AAAI accepté « Neural Diagnostic cognitif des systèmes éducatifs intelligents » interprétation.
Documents lien: https: //arxiv.org/abs/1908.08733v1
Diagnostic cognitif et de la sagesse Education
Dans de nombreux scénarios réels tels que l'éducation, les jeux, les sports, le diagnostic médical, le diagnostic cognitif est une des tâches très basiques et nécessaires, dans la sagesse de la scène la plus utilisée éducative. éducation La sagesse est un nouveau type d'éducation avec le développement de l'intelligence artificielle et une grande ère de données et la montée de l'enseignement en ligne et de tutorat en utilisant l'ordinateur, etc., pour rendre l'enseignement plus efficace, intelligent, l'apprentissage des élèves indépendants, personnalisé.
Diagnostic sagesse cognitive de l'éducation, le comportement des élèves en recueillant des dossiers (généralement le dossier de réponse) des informations et des questions (questions telles que du texte), pour déduire l'état actuel des connaissances des élèves. Par exemple sur la figure 1,
Exemple 1 La figure diagnostic cognitif
Les élèves ont sélectionné un certain nombre de sujets à la pratique, obtenir les enregistrements de réponse correspondant, chaque question comprend des connaissances spécifiques, pour obtenir la maîtrise des connaissances de l'étudiant sur diverses techniques de diagnostic cognitives. Tels que les élèves répondent aux questions, et contient les « fonctions trigonométriques » (trigonométriques Fonction) cette connaissance, afin que les élèves maîtrisent le haut degré diagnostiqué pour « trigonométrique » La connaissance (par exemple 0,8), les rapports de diagnostic pour refléter le graphique radar ligne bleue plus proche de l'extérieur. Les résultats du diagnostic cognitif peuvent être utilisés comme une recommandation de ressources pédagogiques, la prévision de la performance des élèves, le suivi des applications éducatives dans des groupes d'étude et d'autres groupes.
fond
Le diagnostic cognitif n'est pas un nouveau concept, il y a eu plusieurs décennies de développement dans le domaine de la psychologie de l'éducation. la recherche de psychologie de l'éducation, le projet reflète la théorie (Point théorie de la réponse, IRT) et DINA modèle (entrée déterministes, bruyant et) est l'un des types les plus classiques de travail. modèle IRT, et chaque question des étudiants sont une caractérisation unidimensionnelle de variables continues (notée et bêta]) avec, où représente la capacité de leurs complets, montre la difficulté globale de la question bêta]. La relation entre les élèves et les questions à l'aide de la modélisation de la fonction sigmoïde, une simple fonction de réaction de l'IRT, les étudiants i probabilité j des réponses aux questions suivantes:
Dans le modèle, DINA, et chaque question des étudiants se caractérisent par un vecteur discret (appelé et ), Où des questions caractérisées Directement à partir de la rangée correspondante de la matrice Q, il représente les questions sur les connaissances contenues. Voici une annotation manuelle de la matrice Q de questions - matrice d'incidence des connaissances, chaque ligne correspond à une question de test, chacun correspond à la colonne à un point de connaissances prédéfinies, il y a:
DINA modèle, est modélisé la relation entre les élèves et les questions i j comme:
La formule représente la probabilité de deviner les questions indiquer la probabilité de défaillance des questions. Sa fonction est basée sur l'hypothèse que: les étudiants pour répondre aux questions, besoin d'avoir toutes les connaissances nécessaires pour pointer les questions et pas d'erreurs, ou seulement avec estimation de probabilité droite.
Malgré les nombreuses améliorations des travaux de suivi, mais dans l'ensemble, sont des experts dans la conception fonction interactive (par exemple, la fonction sigmoïde IRT) entre les étudiants et les questions, sur la base des hypothèses pour simplifier la scène réelle, une telle approche est non seulement une fonction de la consommation de conception quand main-d'uvre, mais aussi en fonction de la procédure simplifiée aussi difficile de saisir avec précision la véritable complexité de la relation entre les élèves et les questions. Regardez donc pour modéliser des relations complexes entre les étudiants et les questions d'automatisation approche est nécessaire. En outre, la méthode traditionnelle ne peut traiter que les étudiants - matrice numérique d'information hétérogène composé de questions, pas de questions telles que la modélisation du texte, qui doit être pour finir La recherche de bons points.
Ces dernières années, l'utilisation de méthodes d'apprentissage déjà profond pour étudier la modélisation des élèves. Une meilleure connaissance des travaux de voie DKT (Deep connaissances Tracing), représentée par les changements dynamiques conçus pour suivre l'état des connaissances des élèves. Cependant, la plus grande différence entre le travail et le diagnostic cognitif que leur principal objectif est de prédire la probabilité que la prochaine fois que chaque réponse-question des étudiants, la plupart des travaux ne sont pas distinguer strictement entre les connaissances contenues dans ses questions, qui n'ont pas le diagnostic cognitif nous avons besoin de ne convenait pas très d'interprétation en tant que diagnostic cognitif.
Dans ce contexte, nous proposons un diagnostic neurocognitif (Neural cognitive Diagnostic, NeuralCD) Cadre, l'utilisation prévue des réseaux de neurones, un effet de classe de bonne conception et très interprétable cadre de diagnostic cognitif générique par la forme de concise, directement à partir de les données en fonction d'apprentissage interactif entre les étudiants et les questions, au lieu d'une conception humaine. Et grâce au succès des réseaux de neurones dans divers domaines, le cadre peut tirer parti des données hétérogènes telles que des questions de texte, d'améliorer la capacité d'apprentissage du modèle.
Diagnostic cognitif basé sur le réseau de neurones
1. Définition du problème
N est fourni avec un étudiant, M questions d'examen, K point de connaissances dans un système d'apprentissage. Collections étudiants, une collection de questions, la collecte des connaissances. Les élèves répondent peut être représentée comme une collection d'enregistrements de triplets, dans lequel, le score est de questions sur (converties en pourcentage) de l'étudiant. De plus, il y a des questions de la matrice Q associés à la connaissance (par exemple, les experts en enseignement et de recherche ont marqué à l'avance).
Les dossiers des élèves et réponse donnée matrice Q, notre diagnostic des tâches cognitives a été prédites par les élèves répondent le processus d'obtention maîtrise des connaissances des élèves à différents points.
2, neurocognitif Cadre de diagnostic
L'utilisation d'un réseau de neurones pour faire le diagnostic cognitif n'est pas facile, une raison majeure est sa très critiquée fonctionnalité « boîte noire » qui est difficile à interpréter les paramètres du modèle, et les besoins de diagnostic cognitifs être sur la maîtrise des connaissances de chaque élève, et par conséquent c'est un obstacle à surmonter. En même temps, le réseau de neurones a également apporté de nouvelles opportunités, ses capacités puissantes pour lui permettre de tenir près de la réalité des données de l'école secondaire aux fonctions plus complexes et interactifs, réseaux de neurones et avec succès réalisés dans le traitement du langage naturel également les questions texte appliquée au diagnostic cognitif possible.
Presque toutes les méthodes classiques de diagnostic comprennent des paramètres étudiants cognitifs, des paramètres de test, des questions tester les élèves interagissent avec la fonction de ces trois parties, sa légitimité a été vérifié beaucoup de travail, de sorte que le diagnostic du cadre cognitif NeuralCD nerveux aussi suivre cette façon, sa structure 2:
NeuralCD diagnostic cognitif est divisé en trois parties: facteurs d'étudiants, les facteurs questions et fonctions interactives (chaque marqués d'une couleur différente dans la figure). facteur de l'étudiant est le plus vecteur de maîtrise de connaissances de base, les facteurs de test comprennent des connaissances de base liées vecteur et d'autres facteurs optionnels (tels que la difficulté de l'article, la discrimination, etc.). fonction interactive par la structure multicouche de réseau neuronal, qui est la plus grande différence avec la méthode traditionnelle. entrée NeuralCD aux questions de réponse et les dossiers des élèves du secondaire un chaud vecteur de sortie pour les étudiants à répondre aux questions de la probabilité prédite.
Pour veiller à ce que l'interprétation résultant après la formation (par exemple pour chaque dimension devrait maîtrise des connaissances des élèves sur le point correspondant), nous faisons les contraintes suivantes:
1. Les besoins de la couche d'entrée pour contenir ( « » indique la multiplication par des éléments), qui est de permettre à chacune correspond à la dimension à la dimension correspondante de la connaissance;
2. L'utilisation d'un réseau de neurones multicouche « si monotones » à contraindre. hypothèse est monotones la méthode couramment utilisée dans l'hypothèse de psychologie de l'éducation, son contenu: probabilité des questions des élèves de bonnes réponses avec les élèves d'une dimension maîtrise des connaissances de plus en plus de façon monotone (nécessité de ne pas être strictement monotone). En d'autres termes, dans le processus de formation, si moins que le score réel de modèle de prédiction de la valeur, il est nécessaire d'améliorer la valeur de cet étudiant, sinon la valeur est diminuée. Et quelle dimension de réglage spécifique, il est le contrôle.
3, le modèle de diagnostic neurocognitif (Neural Diagnostic cognitif Modèle, NeuralCDM)
Dans le cadre de NeuralCD, nous avons fait un modèle pour obtenir sa structure représentée sur la figure 3:
Le vecteur de connaissances de compétences des élèves (ce qui correspond à ce qui précède) ici en particulier, où les étudiants un vecteur chaud, la maîtrise de la matrice est tous les élèves. questions de connaissances facteurs vecteur de corrélation (correspondant à ce qui précède) directement à partir de l'annotation manuelle de la matrice Q, en particulier, où un examen de vecteur d'un chaud, et aussi des questions de connaissances en utilisant une représentation vectorielle de la difficulté des questions pour chaque connaissance difficulté inspection du point, ainsi que des questions de discrimination représentent différents niveaux de la capacité des élèves à distinguer entre les questions. A, B, D sont des données de formation disponibles pour les paramètres d'apprentissage. Ainsi, multicouche couche d'entrée du réseau neuronal est la suivante:
NeuralCDM ne pas poursuivre la complexité du modèle, mais de vérifier la validité des NeuralCD, et donc sa fonction d'interaction par le multi-couche la plus commune entièrement couche connectée. Pour répondre à l'hypothèse de monotonicité, on définit le poids de chaque couche est positif (partie peut être nulle), de sorte que, conformément à la valeur prédite de changement dans la direction de réglage de la compétence des valeurs de sortie de la direction du vecteur. Enfin, la valeur prédite et la vraie note croix entropie lors de la formation:
Après la formation, l'étudiant est le diagnostic des élèves correspondant à chaque dimension pour les étudiants devrait être la maîtrise des connaissances sur le point (plage (0,1)).
4, en utilisant le texte de l'extension des questions
des questions de texte et les questions sont des informations très pertinentes, par exemple par des questions pré-texte test Des questions difficiles de discrimination, points de connaissances. Nous ne sommes pas ici pour discuter de toutes les dépendances, mais choisissez une évolutivité de leur NeuralCD show.
Dans NeuralCDM et les méthodes traditionnelles (par exemple, DINA), les informations relatives à l'acquisition et des questions de connaissances par la matrice Q. Cependant, l'annotation manuelle de la Q matrix erreurs inévitablement subjectives et même. Par exemple, une solution de l'équation du problème, les experts ne peut marqué l'un des sites de test majeurs « équation », mais ignorer la connaissance que la multiplication et la division. Grâce à des questions de texte, trouvé contenir le symbole de la division « ÷ », cette connaissance peut être ajouté. Sur cette base, nous utilisons des textes aux questions NeuralCDM, étendent appelés NeuralCDM +, la structure représentée à la figure 4:
Nous avons d'abord convolution un réseau de neurones pré-formation (CNN), entrez le texte pour prédire les questions relatives aux questions de connaissances, ne importe quel point des connaissances de sortie Top-k de l'ensemble en raison de prédiction.
Ensuite, nous passons la matrice Q combiner Après à optimiser. Utiliser l'ordre partiel suivant représente la corrélation de chaque point de connaissances dans une question:
En effet, bien qu'il y ait un certain inconvénient de l'annotation manuelle de la matrice Q, mais il a encore une grande crédibilité, et donc Q matrice connaissance marquée sont les plus susceptibles d'avoir une corrélation plus élevée. La marque est pas non plus prévu ni la connaissance est considérée comme pertinente à ce sujet. Nous utilisons le modèle probabiliste pour atteindre cet ordre partiel, et éventuellement complétée par la prédiction de texte matrice de corrélation des connaissances, au lieu de NeuralCDM.
5, généralisation NeuralCD
NeuralCD cognitive solide cadre de diagnostic généralisé, certains modèles de diagnostic cognitif classique peut être considéré comme un cas particulier NeuralCD (par exemple, la décomposition de la matrice, IRT, MIRT etc.). Par exemple, avec la relation IRT NeuralCD peut se résumer dans la figure 5 ci-après,
Si la dégradation NeuralCD d'une dimension de vecteur de corrélation multidimensionnelle de la connaissance est fixé à 1, et la fonction interactive réseau neuronal constitué d'une seule fonction sigmoïde dégénéré, le modèle dégénérés IRT. D'autres exemples de spécifiques et d'en tirer des documents. Voir
expérience
Des expériences ont été réalisées sur deux ensembles de données. L'un est IFLYTEK réseau anthroposophie de plate-forme d'apprentissage en ligne pour fournir des ensembles de données privées mathématiques, épreuves finales contiennent plus que des études secondaires, et les dossiers de texte de réponse. Une autre est ensemble des données publiques ASSISTment 2009-2010 compétences Builder, les étudiants inclus répondre à des questions de mathématiques et enregistrer. Étant donné que ce dernier ne fournit pas des questions de texte, si NeuralCDM + Des expériences ont été effectuées sur aucun ensemble de données.
1, les élèves répondent prévisions
Les étudiants connaissance réelle ne sont pas acquis étiquette de compétence, donc nous utilisons une méthode indirecte pour mesurer la précision du diagnostic, qui est de prédire les questions de données de formation dans les étudiants non-scoring utiliser le diagnostic de l'étudiant, qui est le diagnostic cognitif traditionnel modèle de pratique classique. Les résultats expérimentaux dans le tableau 1 ci-dessous, notre modèle NeuralCD dans les deux ensembles de données par rapport aux modèles traditionnels ont fait une grande amélioration.
2, mesure d'interprétation
Nous espérons être en mesure de diagnostiquer les résultats des élèves conforme aux attentes sur l'intuition: si les questions élèves ont répondu correctement à intégrer les connaissances, mais les étudiants ne répondit pas, afin que les élèves dans la maîtrise des points de connaissances plus susceptibles d'être plus grande que cela. Pour ce faire, nous utilisons pour mesurer la DOA explicative (DOA plus la ligne avec les attentes):
Où sont les éléments normalisés. Si, par ailleurs. = 1 si les questions comprennent la connaissance, sinon. Si les élèves et les étudiants à répondre aux questions, sinon.
Diagnostic modèle de calcul DOA valeur moyenne pour chacune de la connaissance, les résultats de chaque modèle de la figure 6 comme suit:
(A) (partie du modèle standard sans les étudiants en raison de ses vecteurs ne correspondent pas avec les points de connaissances). (B) est un étudiant ASSIST ensemble de données instance de diagnostic.
La partie supérieure des trois questions matrice Q et le résultat de la réponse réelle correspondante, la moitié inférieure du graphique à barres que les élèves diagnostiqués compétences dans les connaissances respectives, le point de données représente les questions de connaissances incluses visites difficile. Le diagnostic, lorsque la maîtrise des élèves des points de connaissances plus que les questions requises, plus susceptibles de répondre à des questions. Par exemple, dans les questions 2 contient « Ajouter nombres entiers » et « valeur absolue » de ces deux points de connaissances, des difficultés étaient 0,47 et 0,48, et les étudiants de maîtrise en ces deux points de connaissances, respectivement 0,77 et 0,56, plus la difficulté la demande, donc répondre à la question. les résultats du diagnostic sont conformes à la cognition de bon sens.
épilogue
Avec la montée de la sagesse de l'éducation, la tâche de diagnostic cognitive sera très appréciée. méthodes diagnostiques traditionnelles cognitives ne répondent plus aux multidisciplinaire actuelle, une grande quantité de données, les types de données hétérogènes de scènes. diagnostic cognitif en utilisant le réseau de neurones est une valeur de direction explorer. Ou au début de l'exploration de cet article, en théorie, la structure du modèle peut améliorer de nombreux endroits laissés pour améliorer les travaux futurs.
NeuralCDM papier publié le code à https: // github .com / BigData-USTC / NeuralCD, la maison sagesse équipe Education Groupe de recherche sur la page: http : //Base.ustc.edu .cn /.
