Lire comme ci-dessus Li Wenjie (Pseudo communautaire: @ Cheng ce mois-ci ) en AI groupe Yanxishe CVPR départ original, j'ai essayé de faire en sorte que le point d'interprétation correcte de vue, précisément, mais peu profonde dragage bourse I après tout, s'il y a des lacunes critiques être de bienvenue texte. Toutes les méthodes d'interprétation des auteurs originaux de tous.

la figure tag ayant une efficacité de filtration élevée méthode d'apprentissage semi-supervisé

Cette interprétation de l'article de la direction du papier d'apprentissage semi-supervisé a reçu une Assemblée générale CVPR2019, Cliquez pour lire l'original] [AI Yanxishe CVPR Voir groupe original . Avant AI Yanxishe papiers CVPR en direct se partagent la réunion, co-auteur de l'enseignant Wu Xiaoming a fait un site à part, vous pouvez être le premier à sauter dans la lecture vidéo 01:59:23 Écoutez Wu sur le site pour expliquer. Sur la base du contenu original et du papier PPT de l'enseignant de l'article a été re-peignage et de l'interprétation, des niveaux modérés des détails, nous voulons aider.

l'article a étudié le problème d'apprentissage semi-supervisé « Label-efficace Semi-Supervisé par Graphique Filtrage d'apprentissage », les auteurs proposent un cadre d'apprentissage semi-supervisé basé sur la carte de filtrage et en utilisant le cadre de deux vue typique de la classification semi-supervisée LP GCN améliorée et, en même temps, non seulement une nouvelle méthode d'utiliser les informations de connexion et les informations de fonction du nud de. figure, mais aussi d'améliorer l'efficacité de l'étiquette, la méthode proposée est améliorée dans tous les ensembles de données expérimentales ont obtenu les meilleurs résultats . Auteur cadre unifié en vue des regards de filtre LP complètement différent et GCN, son point « filtre passe-bas » de vue a expliqué succinctement la raison pour laquelle ces deux méthodes de travail dans la pratique, de plus en plus les chercheurs reconnus pour ces méthodes niveau de connaissances.

1. Préliminaires

1.1 problème cible

La figure-à-dire la classification semi-supervisée graphe donné G, et la matrice signal X et la matrice d'étiquettes de noeud Y (matrice creuse, seule une partie de l'étiquette du noeud) matrice d'étiquette de sortie requise Y « (chaque noeud de catégorie donnée), l'exemple figure ci-dessous. :

1,3,4 noeuds dans le graphe qu'il existe un noeud marqué, le noeud 2 en tant que noeud non marqué. Un vecteur de caractéristique correspondant à chaque nud

Figure classification semi-supervisée basée sur la similitude entre l'étiquette du noeud de distribution, plus la similitude entre les nuds, ce qui est la même classe plus la probabilité, afin qu'ils puissent être donnés à l'un des noeuds à un autre noeud de la catégorie. noeud d'expression implicite est réfléchie uniquement par la similitude de la structure de connexion figure, les noeuds peuvent également être des caractéristiques, de sorte que les informations de connexion et des informations de caractéristique pour obtenir une meilleure utilisation du noeud similitude caractérisé, améliorant ainsi la précision de la répartition de l'étiquette .

1.2 Analyse du spectre graphique

L peut être un libre représente la matrice de Laplace, dans lequel la décomposition de L peut être obtenue d'un ensemble de vecteurs propres orthonormés (et peut être composé d'une base orthonormée matrice orthogonale), chaque vecteur de caractéristique a une correspondant à la Fig. valeurs propres

. la figure domaine du traitement du signal, qui est appelé base orthonormale de la Fig. groupe de Fourier (base de Fourier) Cette valeur caractéristique représente un groupe de signaux correspondant Fréquence (fréquence) . Connexes défini ci-dessous la formule:

L = D-W

Dans laquelle W est la matrice d'adjacence, D est une matrice

L est le vecteur de caractéristique rangés en colonnes matrice orthogonale,

L est un vecteur de caractéristique consistant en la matrice diagonale. Il est à noter que, la matrice de Laplace a une variété de définitions, la définition de la première formule ci-dessus que la forme la plus primitive. Une autre Laplace normalisée et normalisée Laplacien symétrique est défini comme suit:

L_ {norme} = D ^ {- 1} W

Ils diffèrent principalement par la « symétrie » et « normalisation », la différence est grande, afin d'éviter de confondre le lecteur ici d'abord ils sont répertoriés. La figure fréquence du signal indique le degré de variation de sa douceur de signal à basse fréquence, les valeurs de signal de noeuds voisins similarité élevé, le signal à haute fréquence varie plus grave, les valeurs de signal de noeuds voisins peuvent être différents. des fins d'analyse spectrale est de décomposer le signal complexe dans une certaine combinaison linéaire relativement simple du signal de base, en étudiant les propriétés de ces signaux et leur proportion simple dans le signal d'origine sera en mesure de déduire la nature du signal original, qui est un complexe de pour simplifier, il reflète de beaucoup plus petite philosophie de la déconstruction. Par exemple, une transformée de Fourier à une dimension de transformée pour décomposer un signal à une dimension comme une combinaison linéaire de la fonction exponentielle complexe (signaux discrets) ou de la somme intégrale (signal continu). Common image en deux dimensions et l'image transformée DCT est décomposée en une combinaison linéaire des signaux de base cosinus.

Semblable combinaison linéaire, dans ce concept de traitement de signal la figure, le signal devient la matrice de base Laplacien de vecteurs propres, arbitrairement signal de la figure peut être exprimée comme une combinaison linéaire (groupe peut orthonormé il représente tous les vecteurs dans l'espace à n dimensions).

f = \ Phi = c \ sum_ {i = 1} ^ {n} {c_i \ phi_i}

signal de la figure (signal de graphique) Est le signal, chacun des noeuds de la figure définies dans la figure correspond à une valeur réelle, le vecteur peut être utilisé

La figure représente un signal, dans lequel n représente le nombre de noeuds de la Fig. La figure multivariée ou les signaux peut être matrice multidimensionnelle de la Fig.

Il représente, à ce moment chaque chiffre correspond à un noeud de longueur m vecteur à une dimension, le vecteur représente le noeud caractéristique.

1,3 convolution filtrer la Fig.

Le soi-disant « filtration » se réfère à un composant de spectre de signal filtré particulier, par exemple un filtre passe-bas commun se réfère à conserver le signal de composante basse fréquence et filtrer les composantes à haute fréquence. Le filtrage peut être considérée comme une fonction de mappage de signal qui reçoit le signal d'origine et un signal de sortie filtré. Typiquement, par filtration dans le filtre est mis en oeuvre en multipliant le signal original, le document définit les éléments suivants filtre de convolution figure :

G = \ Phi p (\ Lambda) \ Phi ^ {- 1}

Lorsque la fonction

Il est appelé Fonction Réponse en fréquence . Convolution de ce filtre est convoluée signal de la figure f peuvent être obtenues:

\ Bar f = Gf = \ Phi p (\ Lambda) \ Phi ^ {- 1} \ cdot \ Phi = c \ sum_i ^ n p (\ lambda_i) c_i \ phi_i

Peut être trouvé, le signal filtré

La proportion de chaque signal de base,

sont des fonctions

Scaled. fonction de réponse en fréquence en réponse au groupe de contrôle de filtre des signaux de fréquences différentes, nous pouvons concevoir différentes réponse en fréquence des propriétés de filtrage répondent à la fonction de la demande des différents scénarios.

1.4 Filtrage et classification semi-supervisée figure.

L'hypothèse de base est la carte de classification semi-supervisée « étiquettes de noeuds adjacents comme » Cela signifie que nous voulons avoir dans le graphe de noeud de signal de marque est lisse, basse fréquence, nous nous attendons à apprendre un signal représentant basse fréquence, il doit être utilisé avec une faible filtre passe-bas et la réponse en fréquence des propriétés de fonction. Auteur est d'utiliser cette « carte du filtre passe-bas » interprétation uniforme en perspective de GCN et sur cette base LP et apporter des améliorations efficaces.

2. motivation

Étiquette classique algorithme de propagation ne peut utiliser diagramme de structure, vous ne pouvez pas utiliser le nud de fonction. Le nouveau graphique Convolution Étiquette réseau besoin de beaucoup de formation et de validation, mais le nombre d'étiquettes tâche d'apprentissage semi-supervisé est petit, il peut être difficile de travailler dans les données GCN moins l'étiquette, l'étiquette en raison de son efficacité est faible a. Afin de résoudre les problèmes des nuds LP ne peuvent pas utiliser les fonctions, les auteurs ont apporté des améliorations à son projet BPL. Pour adresse haute complexité du modèle de GCN et une faible utilisation de l'étiquette, l'auteur avait changé de main levée IGCN. Les deux méthodes sont proposées dans le cadre du filtrage figure, peut être expliquée collectivement en théorie, dans la pratique, a également un bon effet.

3. Procédé d'introduction

3.1 Le filtrage et la figure LPL) LP algorithme initial

algorithme de propagation d'étiquettes (Lable propagation) fait référence LP, il est une méthode simple et efficace Figure apprentissage semi-supervisé, la recherche scientifique et la pratique industrielle ont été largement utilisés. L'objet est d'obtenir un LP peut répondre à matrice réelle étiquette Y en assez lisse prédiction / matrice intégrée Z. Dans la figure. modèle objectif d'optimisation de LP sont les suivantes:

Z = \ arg min \ lbrace || Z-Y || _2 ^ 2 + \ alpha Tr (Z ^ TLZ) \ rbrace

Lorsque la matrice

qui

Représente le nombre de catégories, chaque rangée de la matrice représente la probabilité d'un noeud de prédiction multi-classe (noeud peut être considéré comme vecteur intégré). La première cible d'optimisation de la matrice de contraintes d'erreur de prédiction et la vraie matrice de l'étiquette aussi petite que possible, la deuxième matrice de contrainte cible

Conversion sur le graphique aussi lisse que possible, est appelé terme de régularisation Laplacien, paramètre d'intensité régulière

Contrôle. Ceci est un problème d'optimisation quadratique sans contrainte, il existe des solutions analytiques:

Z = (I + \ alpha L) ^ {- 1} Y

Après avoir obtenu, dans chaque rangée peuvent être sélectionnées directement atteindre une valeur maximale en tant que classe de nud de catégorie ou de plusieurs colonnes de fonctionnement de l'étape normalisée avant.

2) Filtre LP dans la perspective de la Fig.

Vu de la perspective de la figure filtre, algorithme LP peut être divisé en trois parties:

1. Signal FIG: Label Matrix

2. Filtre: un filtre passe-bas

3. Classifier:

Dans lequel le filtre:

p_ {ar} (L) = (I + \ alpha L) ^ {- 1} = \ Phi (I + \ alpha \ Lambda) ^ {- 1} \ Phi ^ {- 1}

Pour répondre à la définition ci-dessus du filtre de convolution, appelé filtre autorégressif (Auto-régressives) dont la fonction est activée réponse:

p_ {ar} (\ lambda_i) = \ frac {1} {1+ \ alpha \ lambda_i}

D'après le tableau, le filtre passe-bas autorégressif est évidemment de supprimer haute fréquence, avec laquelle l'intensité augmente de lissage.

3) la promotion de l'algorithme de propagation de l'étiquette GLP

Les trois principales composantes de la vue perspective du LP du filtre est généralisation généralisé proposé algorithme de propagation de l'étiquette généralisée (étiquette Généralisée propagation) BPL. promotion spécifique sont les suivantes:

1. Signal figure: l'utilisation d'un vecteur caractéristique constitué de tous les noeuds en tant que matrice de fonction signal d'entrée X

2. Filtre: répondre à la définition peut être une figure de convolution de filtre passe-bas.

3. classificateur: ceinture peut être monté sur l'étiquette du noeud de formation de classificateur obtenu caractérisant

Cette promotion très naturel, très facile à comprendre, l'étape clé est un filtre passe-bas de la matrice de fonction noeud sur la figure. Cette étape peut être considérée comme processus d'extraction de caractéristiques, du filtre passe-bas pour extraire des données de caractérisation plus lisse, et en tenant compte des informations d'informations de liaison et le noeud de fonction figure, constituent les défauts du nud d'origine ne peuvent pas bénéficier des fonctionnalités de LP. Le filtre et classificateur promouvoir la généralisation de l'algorithme augmente considérablement la flexibilité du GLP peut facilement être intégré dans différents problèmes.

3.2 Filtrage et figure GCN1) Original GCN

GCN est une définition d'une convolution de diagramme de réseau dans le spectre, il est simple et plus efficace, a d'excellentes performances dans la classification semi-supervisée. Tout d'abord, la matrice d'adjacence GCN a été ajouté et l'auto-ligature pour obtenir la matrice de normalisation symétrique renormalisation:

\ Tilde {W} = W + I

La première équation est équivalente à la mise en place de chaque noeud est relié à lui-même, il est la seconde équation matricielle

Symétrie normalisé matrice laplacienne. Sur la base de la définition originale de la hiérarchie du processus de communication GCN:

H ^ {(t + 1)} = \ sigma \ left (\ tilde {W} H _S ^ {(t)} \ Theta ^ {(t)} \ right)

parmi

T représente la première couche d'entrée,

T est la première couche à des paramètres d'apprentissage, peut être un réseau neuronal diverses fonctions d'activation.

matrice de convolution de la figure couche est d'abord multiplié par un signal d'entrée de renormalisation à gauche, puis le paramètre de matrice de transformation de projection, et enfin à l'aide d'une fonction d'activation non linéaire transformation. Enfin, en utilisant la fonction d'activation softmax pour classer une pluralité de couches empilées en convolution figure, tels que la double convolution de la figure:

Z = softmax \ left (\ tilde W_s RELU (\ tilde W_s X \ ^ {Theta (0)}) \ theta ^ {(1)} \ right)

Vous pouvez utiliser cet algorithme rétropropagation GCN formé pour obtenir le modèle final.

2) GCN Perspective filtre figure

Peut être vu à partir de l'équation bicouche GCN, GCN fait, constamment répétée 1) laissée par 2) 3 transformation d'homographie) convertir trois étapes d'activation. Dans lequel la projection de transformer et de transformer l'activation est une opération commune de courant dans le réseau de neurones, et « gauche par » matrice de renormalisation on peut le voir sur la figure filtrer le signal d'entrée, étant donné que la matrice répond à la renormalisation:

\ Tilde W_s = I- \ tilde L = \ Theta (I- \ tilde \ Lambda) \ theta ^ {- 1}

parmi

Est une matrice symétrique normalisée Laplacien. La réponse en fréquence de la fonction de filtrage est la suivante:

p (\ tilde \ lambda_i) = 1- \ tilde \ lambda_i

Si on double GCN dans la séquence de trois opérations Sinon peu, tous les deux sur la première étape de couches de filtre figure, tels que:

Z = softmax \ left (RELU (\ tilde W_s ^ 2 X \ ^ {Theta (0)}) \ theta ^ {(1)} \ right)

GCN cette fois-ci devient un cas particulier de BPL, qui filtre

, Le signal d'entrée X, un classificateur perceptron à deux couches,

Perceptron est le droit de chaque matrice de poids de la couche. couche GCN-k peut être considéré comme filtre

, Le signal d'entrée en tant que X, le classificateur est une couche GLP k perceptron, la fonction de réponse en fréquence du filtre est:

p (\ tilde \ lambda_i) = (1- \ tilde \ lambda_i) ^ k

Peut être vu de la figure, le filtre est un filtre passe-bas dans la section plage, et d'augmenter leur degré de passe-bas sur k augmente. Par conséquent, le GCN multicouche plusieurs filtres passe-bas, une seule couche est plus grande que l'intensité du GCN de filtre de lissage.

Dans la perspective de filtrage figure, on peut expliquer la GCN 1) l'utilisation de 2) Laplace des raisons de symétrie normalisées définies en utilisant les techniques de renormalisation (ajouter de connexion personnalisée) avec la nature de la fonction de réponse en fréquence. valeurs caractéristiques normalisées peuvent symétriques limites de matrice laplacienne la plage comprise entre , et les techniques de renormalisation peuvent affiner davantage la gamme de valeurs de caractéristiques, ce qui provoque le filtre plus proche de la passe-bas complètement. Cora ensemble de données sur la visualisation, comme représenté sur la fonction de réponse en fréquence avant de renormalisation GCN comme indiqué:

On peut voir que les deux monocouche ou double couche, retour aux valeurs propres d'une matrice de Laplace sont limitées à moins de 1,5, vérifier que les auteurs expliquent les techniques de renormalisation pour le travail dans l'application. En fait, il peut se révéler plage de valeur caractéristique de la technique de renormalisation est comprimé à la section de la matrice de Laplace:

parmi

la figure noeud représente la valeur maximale de (degré) de

Symétrique retourner une plus grande valeur propre de la matrice Laplacien.

3) majoré filtre figure GCN

Bien qu'une pluralité de couches empilées peut être augmentée de la force du filtre de GCN, mais présente également plusieurs paramètres à tirer, il rend le réseau davantage de données sont nécessaires pour éviter la mise en place du formation. Pour résoudre ce problème, l'auteur propose IGCN (Amélioration graphique Convolutif réseau). IGCN GCN dans la matrice de renormalisation remplacé par tout filtre normalisé, à savoir:

Z = softmax \ left (\ tilde W_s ^ k RELU (\ tilde W_s ^ k X \ ^ {Theta (0)}) \ theta ^ {(1)} \ right)

Les auteurs disent Filtres:

p_ {} RNM (\ tilde L_S) = \ tilde W_s ^ k

Renormalisation est (renormalisation) filtre, la fonction de réponse en fréquence est la suivante:

p_ {} RNM (\ lambda) = (1- \ tilde \ lambda) ^ k

De toute évidence, IGCN peut être commandé directement en réglant l'intensité de la k filtrée lisse et ne présente pas de paramètres supplémentaires à apprendre, il peut être maintenu à un niveau peu profond du modèle, sans trop de données pour obtenir l'effet d'entraînement souhaité, l'amélioration du modèle étiquette efficacité de l'utilisation.

4. Mise en uvre et vérification

4.1 lisser l'intensité et la puissance de calcul

Que ce soit ou GLP IGCN, peuvent être contrôlés en contrôlant la façon dont il doit être ajusté paramètre de résistance de filtre de lissage ou des paramètres k, selon le scénario d'application en douceur de l'intensité? Les auteurs ont noté que les données d'ensemble d'étiquettes d'intensité d'un ajustement parfait de la clé de référence, l'étiquette est faible lorsque le rapport d'intensité de lissage doit être plus grand, jusqu'à présent, aucune étiquette de noeud peut être obtenue des caractéristiques similaires représentés par le label de noeud; lorsque le taux d'étiquette grande, l'intensité lisse devrait être faible, pas trop loin de la plage de propagation de l'étiquette, afin de maintenir la diversité des caractéristiques. L'utilisation de différents filtres de lissage RNM d'intensité dans le jeu de données Cora et de faire l'expérience fait la visualisation t-SNE, les résultats suivants:

Vous trouverez, ainsi que des efforts pour lisser l'augmentation des résultats de filtrage groupe de classes deviennent de plus en plus compact, de plus en plus grand espacement des grappes, la frontière de classification est devenue plus claire, à ce moment seulement une petite quantité d'étiquette peut être classée, Ceci explique visuellement la relation entre l'intensité du taux de lissage est prévu pour la variable de données.

En plus de l'intensité de lissage, décrit également le rendement du calcul du filtre deux. Etant donné que le filtre AR selon une opération inverse de la matrice de coût d'exploitation élevé, l'utilisation d'un polynôme d'ordre k expand approchée pour réduire la complexité de calcul. Pour la commande de filtre k RNM, matrice Laplacien peut être utilisé dans des applications pratiques sont souvent des caractéristiques d'accélération calculée clairsemée. L'auteur analyse la complexité de calcul des deux filtres dans le texte, en théorie, destinée à illustrer son utilité.

4.2 tâche classification semi-supervisée comparaison expérimentale

Auteur réseau de citations dans les quatre ensembles de données et un ensemble de tâches de connaissances cartographie des données expérimentales de classification semi-supervisée, et par rapport à de nombreux modèles excellents, y compris l'équipe Youshua Bengio de GAT. Taille du nud de plusieurs ensembles de données, le nombre de catégories et le nombre de fonctionnalités ne sont pas les mêmes, de sorte que le dispositif expérimental permet de mesurer la performance du modèle selon divers scénarios, plus complets. Chaque ensemble de données d'indicateurs statistiques dans le tableau suivant:

Afin de faciliter la compréhension de l'importance des données, j'utilise k (mille) et w (millions) une représentation simplifiée des données. En plus du choix de différentes tailles d'ensembles de données, les ensembles de données d'une autre série de balises différentes pour observer la relation entre la force et la douceur de l'étiquette, qui est défini comme suit:

Chaque modèle de la précision de la classification pour chaque ensemble de données comme suit:

Les résultats expérimentaux montrent que la transformation par le procédé de filtrage de la figure rendement est supérieur à tous les autres scénarios, le modèle de comparaison. Mais du point de vue du temps sur la piste, et GLP IGCN de toute évidence beaucoup plus de temps, le plus notable sur les ensembles de données plus grandes NELL, mais elle est généralement dans une plage acceptable.

4.3 Zéro-Shot tâche de comparaison expérimentale de régression semi-supervisé

En plus de la classification, GLP et IGCN peuvent également être utilisés pour la régression semi-supervisé. 2018 papier CVPR fait usage de GCN 0 identification d'image échantillon (reconnaissance d'image zéro-Shot) tâche, à savoir d'utiliser uniquement la relation entre la description de texte et catégorie catégorie de la catégorie est pas d'échantillons de formation (classe Unseen) L'apprentissage d'une classificateur visuel. Le document donné à une classe connue à la classification du site, l'utilisation de la description de texte intégré de chaque catégorie d'entités et les relations de catégorie en entrée, et un poids cible de la couche classificateur dernier connu est formé une couche arrière 6 le GCN, GCN et sortie comme un type inconnu de poids dernière couche classificateur et la composition de la nouvelle classification du poids prédisent toutes les catégories. Dans cet article, le zéro-Shot apprentissage habilement transformé en figure problèmes de régression semi-supervisés, ce qui rend de nombreuses méthodes de régression semi-supervisés peuvent être appliqués à 0 tâche d'apprentissage échantillon, la méthode proposée (GCNZ) du processus global, comme indiqué ci-dessous:

L'utilisation de GLP IGCN et remplacer l'article GCN, et en utilisant un échantillon pré-formé réseau ResNet-50 expérience 0 AWA2 les tâches d'apprentissage dans l'ensemble de données, les résultats de la comparaison des performances du modèle comme suit:

Nous pouvons voir, IGCN mieux. Depuis GCNZ Dans son déjà État de l'art niveau, et ses composants de base est GCN, le bon effet de GLP et IGCN hors de GCN, donc pour leur promotion dans les tâches de reconnaissance d'image 0 échantillons sont attendus de la cette expérience illustre l'application du procédé de filtrage de la figure généralisée. Auteur a publié le code source à son dépôt GitHub.

5. Résumé

Dans l'ensemble, l'idée est de cartographier le filtre et concis et pratique, bien qu'il semble compréhension simple mais très profonde, il y a une forte orientation théorique et la portée pratique. Le papier fermé, rappelez-vous que le « filtrage passe-bas, » le mot essence. Étant donné que le problème de classification semi-supervisée est la poursuite de la lisse et passe-bas, de sorte que l'article sur un filtre passe-bas, par exemple pour nous montrer une carte de filtrage concis et puissant, mais la vue du cadre du filtre et des idées sur la « passe non-bas, » le problème est appliquée de manière cohérente, par exemple, nous pouvons concevoir passe, le filtre passe-haut pour résoudre les problèmes connexes. Je pense que ce document est une contribution importante à l'élaboration d'apprentissage semi-supervisé ouvre la porte, offre une gamme large, nous croyons que basée sur le filtre figure peut faire beaucoup d'articles. Encore une fois, sur l'importance que je ressentais du principe de la pensée et d'explorer de cet article, toutes les améliorations et la modernisation sont inséparables des principes et des mécanismes opérationnels une compréhension plus profonde. J'espère voir à l'avenir CVPR plus perspicace, fort article explicatif.

2019 Sommet mondial sur l'intelligence artificielle et robotique

Organisé par la Fédération chinoise informatique, Lei Feng réseau et l'Université chinoise (Shenzhen) Hong Kong co-hôte du Sommet mondial 2019 sur l'intelligence artificielle et robotique (CCF-GAIR 2019), sera 2019 Nian 12 Juillet à 14 Tenue à Shenzhen.

D'ici là, le lauréat du prix Nobel JamesJ. Heckman, académicien étranger, président du haut du monde, bien connu Fellow, un certain nombre d'invités poids lourds seront personnellement Zuozhen , Pour discuter de l'intelligence artificielle et sur le terrain complexe de situation de survie de la robotique, la production, l'investissement et ainsi de suite.