"Alibaba Technology Live" est un programme vidéo en direct spécialement conçu pour les techniciens, visant à partager les tendances de pointe de l'industrie, les produits secs techniques et la vie technique. Aujourd'hui, je vous présente le merveilleux contenu en direct de Jing Shi, un expert senior en algorithmes d'Alibaba.

L'émission en direct de Jing Shi, un expert senior en algorithmes à Ali

Bonjour à tous, je m'appelle Gai Kun et mon nom de fleur est Jing Shi in Ali. Il a étudié à l'Université Tsinghua pour le premier cycle et le doctorat en apprentissage automatique et en intelligence artificielle. Après l'obtention de mon diplôme, j'ai travaillé sur des algorithmes publicitaires chez Alibaba.Maintenant, je suis en charge de la technologie de publicité display concurrente chez Alimama.Le travail que je fais comprend des algorithmes publicitaires, qui incluent des algorithmes de correspondance, des modèles d'estimation, des algorithmes de tri et de l'ingénierie publicitaire. Il existe d'autres parties liées à l'intelligence artificielle, notamment les plateformes d'apprentissage automatique, notamment la reconnaissance d'images en vision par ordinateur, etc., ainsi que certaines technologies de la PNL.

Il y a trois parties dans mon partage d'aujourd'hui, j'espère qu'il sera utile à tout le monde.

1. Du choix d'Alibaba lors de la recherche d'un emploi, au parcours et à l'expérience de travail pendant six ans.

2. Faites les idées derrière l'IA, certaines réalisations et la réflexion derrière l'IA.

3. Enfin, je vous suggérerai ce que vous devriez préparer avant d'interviewer Ali.

Origine d'Ali : la recherche et l'application se rejoignent parfaitement

Parlons d'un début avec Alibaba. En fait, lorsque j'étais étudiant, je faisais de l'apprentissage automatique et de la vision par ordinateur, et j'ai également publié des articles dans des conférences et des revues internationales. Quand j'ai obtenu mon diplôme, j'en avais un, ou j'avais un souhait quand j'étais étudiant, que j'espérais que ce que j'avais fait serait non seulement partagé avec d'autres sous la forme d'une thèse, mais espérait aussi avoir un plus grand impact sur le monde. Alors à cette époque, j'espérais trouver un meilleur endroit pour allier recherche et application. Au début, l'objectif était surtout de se concentrer sur les instituts de recherche de certaines entreprises étrangères, et j'ai également parlé de certains instituts de recherche à l'époque.

Le début du destin avec Alibaba était aussi une coïncidence. Le forum auquel les étudiants de Tsinghua avaient l'habitude d'aller s'appelait Shuimu Community, qui s'appelait Shuimu Tsinghua à l'époque. J'ai trouvé une personne sur la version AI là-bas qui a fait un post disant qu'Alibaba va faire un système d'apprentissage automatique à grande échelle, il y a beaucoup de défis ici. J'ai aussi répondu à une lettre privée très tard dans la nuit, et je n'y ai pas beaucoup réfléchi à l'époque, et quand j'étais étudiant, pour être honnête, j'avais l'habitude de jouer à des jeux la nuit, puis après mon retour , j'ai joué à des jeux jusqu'à deux ou trois heures, et j'ai relativement bien dormi. En conséquence, j'ai été réveillé par les RH d'Alibaba à huit ou neuf heures du matin le lendemain pour un entretien.C'était le début de mon destin avec Alibaba.

Après avoir reçu l'offre d'Alibaba, j'ai beaucoup réfléchi et lutté pendant longtemps. J'ai finalement choisi Alibaba parce que je sentais qu'Alibaba est en plein essor dans le commerce de détail en Chine et que ses perspectives commerciales sont très bonnes. La deuxième chose la plus importante dans l'apprentissage automatique, ce sont les données.Alibaba a une catégorie complète de données sur les consommateurs de détail, du shopping à l'achat, puis au comportement de suivi après l'achat.

L'utilisation de méthodes d'intelligence artificielle sur cette catégorie de données peut faire beaucoup de choses, et il y a beaucoup de possibilités, donc je pense que l'intelligence artificielle aura un espace spécial à Alibaba. Il y a un dernier point. A cette époque, je discutais aussi beaucoup avec mes camarades de classe d'Ali. J'avais l'impression que peu importe l'équipe ou tous les aspects d'Ali, ils disaient tous qu'ils étaient plus intéressés par la recherche, et ils encourageraient recherche en plus de l'application, y compris : Encouragez tout le monde à sortir et à publier des résultats de recherche. Donc ça ressemblerait à ça :

1. La perspective d'application de l'entreprise est très large ;

2. La recherche et l'application peuvent être combinées.

A cette époque, Alibaba a été choisi sur la base de ces deux considérations.

Je partagerai mon expérience tout au long du parcours chez Alibaba, y compris certaines des choses que j'ai faites. J'espère vous donner quelques références. Enfin, je ferai un résumé par étapes. Si vous voulez avoir plus de succès, quelles caractéristiques devriez-vous avoir .

L'expérience de 6 ans d'Ali : du silence pendant six mois à deux augmentations consécutives de 10 %, affectant des centaines de millions d'utilisateurs chaque jour

Après avoir rejoint Alibaba, j'ai en fait senti que je ne savais rien au cours du premier semestre de l'année, puis je suis entré dans l'entreprise réelle, les données réelles, bien que j'aie appris beaucoup de connaissances liées à l'apprentissage automatique auparavant, puis j'ai trouvé que ces connaissances peuvent être liées aux affaires et aux affaires. Les données réelles ne correspondent pas encore bien. Ainsi, la première moitié de l'année était en fait une période d'immersion dans les affaires et les données, et c'était une période relativement ennuyeuse et solitaire. Mais plus tard, j'ai découvert qu'en fait, il doit s'enfoncer dans l'entreprise réelle et qu'il est possible de faire quelque chose de différent dans les données réelles. Ce processus doit être expérimenté. C'est l'expérience de nombreuses personnes qui travaillent dans la pratique.

Mais pour être honnête, au cours des six derniers mois, bien qu'il n'y ait peut-être pas eu de choses bouleversantes, il y a une chose à laquelle j'ai pensé. En fait, lorsque j'ai rejoint Alibaba, l'apprentissage automatique était utilisé dans la publicité et le système d'estimation du CTR a commencé à être utilisé à grande échelle, puis diverses entreprises nationales ont commencé à créer des équipes pour développer ce domaine. Cette pièce peut également être considérée comme le début des entreprises nationales de l'industrie traditionnelle qui investissent beaucoup de ressources dans l'apprentissage automatique ces dernières années.

Car tout le monde sait peut-être aussi que dans toute l'industrie de l'Internet, il y a deux secteurs qui génèrent les revenus les plus importants : l'un est la publicité et l'autre les jeux. La publicité devrait être plus avancée que les jeux, et toutes les entreprises, y compris les grandes entreprises, ne font pas de jeux. Le revenu pilier de la plupart des entreprises est en fait la publicité. Pour une activité aussi importante de diverses entreprises, l'estimation du CTR est en fait une situation gagnant-gagnant pour les annonceurs, les téléspectateurs et les revenus de la plate-forme. Si elle est bien faite, c'est une situation gagnant-gagnant, de sorte que chaque entreprise a investi beaucoup de ressources pour faire ça. .

Cette pièce est donc l'occasion pour le machine learning d'être pour la première fois à très grande échelle, et de jouer un rôle très central dans la grande entreprise actuelle, qui est également un point de départ ces dernières années. L'apprentissage automatique est à l'arrière-plan et jouera un rôle plus important dans davantage d'entreprises, ce qui viendra plus tard.

Dans l'estimation du taux de clics, il existait une pratique classique à l'époque, qui s'appelait les fonctionnalités à grande échelle plus un modèle linéaire simple et une régression logistique. Comment comprendre cette pratique ? En fait, à cette époque, les éléments à grande échelle étaient une forme d'éléments d'identification. Par exemple, disons qu'il y a maintenant 1,3 milliard de personnes en Chine et que nous avons 1,3 milliard d'utilisateurs. Nous devons utiliser un vecteur, il y a le concept d'échantillon et d'étiquette, utiliser un vecteur et utiliser des échantillons pour le représenter. Qu'en est-il des fonctionnalités de cet exemple ? J'ai 1,3 milliard d'utilisateurs, et j'utilise un vecteur de coefficient de 1,3 milliard pour représenter cet utilisateur, puis 1,3 milliard de dimensions, à quel utilisateur cet échantillon correspond est marqué comme 1 dans quelle dimension, et toutes les autres dimensions sont 1, ce qui est un à très grande échelle une représentation clairsemée de .

En fait, les utilisateurs peuvent s'exprimer de cette manière, les produits peuvent s'exprimer de cette manière et, fondamentalement, toutes les informations peuvent être exprimées par le code de One hot. Donc, en fait, certaines valeurs statistiques continues ou certaines valeurs continues peuvent également être discrétisées, quelle section peut être changée en, et continuer à être représentée par One hot, nous encoderons une grande quantité d'informations avec One hot ou utiliser les fonctionnalités d'identification Cela peut être exprimé comme une méthode pour la transformer en une fonctionnalité à très grande échelle, et la dimension de la fonctionnalité est également très grande. Il peut s'agir d'un concept qui n'a pas été exposé à l'industrie réelle. Par exemple, les étudiants de le système de prédiction CTR peut ne pas connaître un concept auparavant, c'est pourquoi l'industrie a besoin d'un si grand nombre de fonctionnalités.

Si de telles caractéristiques sont réalisées avec une simple régression logistique, il y a un problème. Bien sûr, il y a aussi de grands défis. Il y a deux défis :

1. La taille de l'échantillon est particulièrement grande et la dimension des caractéristiques est particulièrement grande.

Que signifie la taille de l'échantillon ? Par exemple, si le taux de clics est estimé, notre échantillon correspond au comportement historique de l'utilisateur. Si l'utilisateur n'a pas cliqué, le libellé est 0, ce qui correspond à un échantillon négatif ; si l'utilisateur a de nouveau cliqué, cet échantillon est un échantillon positif. En fait, vous regardez beaucoup de choses chaque jour, et beaucoup d'utilisateurs parcourent le site, nous avons donc beaucoup d'échantillons. La deuxième dimension caractéristique est particulièrement grande. Donc, pour la régression logistique, un défi est de savoir comment prendre en charge un échantillon aussi large et une dimension aussi élevée. C'est le premier défi. Ensuite, il y aura beaucoup d'algorithmes parallèles liés à l'apprentissage automatique.

2, régularisation, comment comprendre ?

C'est-à-dire que la régression logistique est généralement utilisée avec une norme L1. Il y a en fait deux objectifs derrière cela. Le premier objectif est qu'un si grand nombre de fonctionnalités sont sujettes au surajustement, donc j'utilise une méthode, C'est une méthode très classique dans apprentissage automatique La méthode de régularisation est utilisée pour supprimer le surajustement, afin que le modèle puisse mieux fonctionner dans les cas d'utilisation futurs. Le surajustement signifie que je ne me souviens que de ce que j'ai vu, mais ce n'est pas très bon pour prédire de nouvelles choses dans le futur.

Le deuxième fait est que lorsque la bibliothèque de fonctionnalités est très grande, nous pouvons être en mesure de supporter des fonctionnalités à grande échelle lors d'une formation hors ligne, mais lorsque nous prévoyons en ligne, nous voulons que les performances soient aussi bonnes que possible. Nous voulons donc faire une sélection de fonctionnalités pendant la formation. Faut-il autant de fonctionnalités ? Il y a de fortes chances que nous n'ayons en fait besoin que d'une fraction d'entre eux. Pouvez-vous laisser le modèle le faire automatiquement pendant l'entraînement ? Il s'agit d'une méthode de régularisation. Cela, plus la méthode de régularisation, apportera également des défis à l'ensemble du problème d'optimisation, qui sont les deux défis et difficultés de la régression logistique.

En plus de ces deux défis et difficultés qui ont résolu un problème majeur, il y a un autre problème de régression logistique auquel j'ai réfléchi. Un tel système de caractéristiques utilisant un modèle linéaire est-il suffisant ? En fait, ce problème est actuellement en apprentissage profond. Aujourd'hui, en plein essor, plus personne n'aura de doute, la non-linéarité fera certainement mieux, tout le monde peut le penser. Mais il y avait en fait pas mal de controverses à cette époque.Beaucoup de gens avaient un concept, y compris certains articles qui énonçaient clairement cette conclusion, c'est-à-dire que lorsque la dimension de la caractéristique est relativement élevée, un modèle linéaire suffit.

À cette époque, il y a quelques années, Google était encore le leader technique des entreprises nationales à certains égards, et tout le monde dans certains aspects de la technologie était à égalité avec Google. À cette époque, Google utilisait également une fonctionnalité à grande échelle plus un modèle linéaire. Par conséquent, si vous souhaitez créer un modèle non linéaire, de nombreuses personnes se demanderont pourquoi le modèle non linéaire est utile et si le modèle linéaire est suffisant. Maintenant, ce concept ne semble pas si unifié, tout le monde pense que l'apprentissage en profondeur a été utilisé, et la non-linéarité est plus forte, et la non-linéarité doit être utile.

Mais à cette époque, briser cet état d'esprit équivalait en fait à remettre en question les concepts faisant autorité à l'intérieur et à l'extérieur de l'entreprise, de l'industrie et du milieu universitaire. À ce moment-là, je me demandais si c'était suffisant. En fait, nous savons qu'une des pratiques est très révélatrice, c'est-à-dire qu'en utilisant la régression logistique, nos fonctionnalités sont les fonctionnalités d'origine, c'est-à-dire le One hot code ou La fonctionnalité d'identification a une grande dimension, mais j'ai encore besoin de faire du traitement de fonctionnalités, de l'ingénierie de fonctionnalités. Par exemple, la cible de notre cible est liée à deux, et il peut être nécessaire de faire un produit cartésien de ces deux identifiants.Faire un produit cartésien est un processus de caractéristiques très explosif.

Par exemple, 100 millions de fonctionnalités utilisateur dimensionnelles et 100 millions de fonctionnalités bébé dimensionnelles, si nous voulons faire leur relation, c'est 100 millions × 100 millions de possibilités dans le cas d'une réunion de produit cartésienne, et cela va soudainement exploser à 100 millions de dimensions. . Dans notre travail actuel, de nombreuses entreprises ont fait ce genre de choses. Nous utilisons des ingénieurs en algorithmes pour faire la combinaison de caractéristiques, le traitement des caractéristiques, et surtout le produit cartésien, etc. C'est très compliqué et deux ou deux fonctionnalités peuvent être combinées, si trois fonctionnalités peuvent être combinées et s'il existe d'autres méthodes de traitement. Il y a donc beaucoup de travail compliqué à faire.

C'est en fait un bon exemple, c'est-à-dire que le modèle linéaire ne suffit pas. Si le modèle linéaire est suffisant, pourquoi devons-nous effectuer un traitement des caractéristiques et le compléter manuellement ? En fait, c'est une pratique classique dans l'industrie à ce moment-là. temps, un Potentiel de pensée classique, un paradoxe de la pensée intérieure. Ensuite, ce à quoi je pense en fait, c'est comment enregistrer ces projets de traitement manuel compliqués, et le traitement manuel doit être limité au traitement des caractéristiques. Pouvons-nous réellement utiliser l'IA et des méthodes intelligentes pour extraire plus précisément des informations pour faire de meilleures prédictions, cela peut être en fait quelque chose qu'une personne faisant de l'IA poursuit vraiment dans son cur.

Donc, ce à quoi nous réfléchissons réellement, c'est si nous pouvons créer un modèle d'intelligence artificielle plus puissant, pour être précis, un modèle d'apprentissage automatique pour remplacer le modèle linéaire simple d'origine de l'ingénierie lourde. Deux objectifs : l'un est d'économiser les actions de traitement laborieuses et compliquées ; le second est d'obtenir de meilleurs résultats. Un autre objectif, si nous faisons un travail intelligent, nous pouvons réaliser un apprentissage de bout en bout, comme l'apprentissage en profondeur maintenant, peut rendre beaucoup de choses plus automatisées.

En fait, j'ai pensé à cette question dans mon esprit pendant le premier semestre de l'année, même si je n'ai rien fait de particulièrement bouleversant au cours du premier semestre de l'année, puis dans l'investissement quotidien dans les projets et la compréhension des affaires, J'ai réfléchi à la réponse à cette question. Trouvez un moyen plus tard. Il s'agit de faire un apprentissage non linéaire sur des caractéristiques à grande échelle et des échantillons à grande échelle, tout en obtenant l'effet.

Ce qui suit est une brève introduction à la méthode suivante, appelée méthode linéaire de fragmentation. Pour être précis, il s'agit de l'ensemble de l'espace de grande dimension. Si la dimension est particulièrement élevée, l'espace est divisé en plusieurs zones différentes, et chaque zone a son propre modèle linéaire indépendant. De cette manière, l'espace entier devient un modèle linéaire par morceaux. S'il est bidimensionnel, il est plus facile à comprendre. Il s'agissait auparavant d'une ligne, mais il devient maintenant une polyligne par morceaux. Il y a suffisamment de polylignes pour approximer un modèle très complexe. courbe en deux dimensions, et il peut approximer n'importe quelle courbe arbitraire. fonction complexe.

En fait, l'idée sous-jacente est assez simple et directe. Nous aurons deux défis :

1. Comment pouvons-nous rendre la division spatiale et chaque division finale linéaires par morceaux, et utiliser la méthode d'apprentissage automatique pour apprendre tout cela ensemble, puis l'apprendre à travers la méthode des données ;

2. L'échelle des données que nous traitons est très grande, et l'échelle des caractéristiques est également très grande. Est-il possible de développer une méthode très efficace pour ce faire ? Il existe une méthode appelée régression logistique mixte, qui est vraiment utilisée dans Alimama, en utilisant la fonction Softmax utilisée dans le sharding, et enfin en faisant une combinaison de régression logistique linéaire de classification dans chaque domaine. En fait, j'aurais dû développer plus d'une dizaine de modèles différents à cette époque, il existe diverses méthodes de fragmentation, des méthodes de fragmentation, y compris apprendre ensemble en parallèle, et aussi un fragment tel que GBBT One piece to learn, piece to piece to continue apprendre de nombreux algorithmes différents.

Il y a en fait beaucoup de problèmes derrière cela. Par exemple, si le modèle fonctionne ou non. Si le modèle fonctionne, nos fonctions complexes correspondent généralement à un problème d'optimisation. Le problème d'optimisation n'est pas capable de trouver une bonne solution. En fait, ce modèle limitera également l'algorithme, si cet algorithme peut converger rapidement. En fait, ceux-ci ont rencontré beaucoup de problèmes. En fin de compte, ce que nous avons réellement laissé maintenant, bien que cela semble très simple et simple, était l'une des nombreuses méthodes réalisables après avoir testé de nombreuses méthodes à l'époque. Il y a beaucoup de cas d'échec derrière cela, et c'est peut-être l'histoire derrière que d'autres ne savent pas grand-chose.

Après cela, il a essentiellement résolu certains des problèmes mentionnés précédemment. Le premier est que l'apprentissage non linéaire peut permettre au modèle d'extraire automatiquement et intelligemment des connaissances qui ne peuvent pas être exploitées par des êtres humains dans les données, ce qui permet d'économiser du travail manuel. méthode intelligente, une méthode d'intelligence artificielle très puissante est utilisée pour creuser un très bon effet.

Après cela, l'effet commercial de la première phase aurait dû être d'environ six mois depuis que j'ai rejoint l'entreprise. A cette époque, sur le secteur d'activité en ligne, les revenus publicitaires, y compris le taux de clics, ont augmenté de plus de dix%. Et il est divisé en deux phases, dont chacune est supérieure à 10%. Le chiffre exact à l'époque était beaucoup plus élevé que cela, mais le chiffre exact est maintenant inexact. À ce moment-là, je me suis senti très excité pour la première fois.Enfin, j'ai appliqué mes connaissances à l'endroit réel, ce qui a non seulement amélioré l'expérience utilisateur, mais a également considérablement augmenté les revenus de la plateforme. Ce que vous faites vous-même peut affecter des centaines de millions d'utilisateurs chaque jour. J'ai vraiment l'impression d'avoir utilisé mes connaissances professionnelles pour faire quelque chose qui peut affecter davantage la société et les utilisateurs, ce qui est très gratifiant. C'est la première chose que ceux qui ont rejoint Ali ont voulu partager.

Résumé de la situation actuelle et des lois de l'apprentissage en profondeur

Permettez-moi maintenant de parler de l'apprentissage en profondeur. Que diriez-vous de l'apprentissage en profondeur? Je partage mon avis.

L'apprentissage en profondeur est particulièrement à la mode en ce moment. En fait, nous extrayons ici quelques règles. Le deep learning a les propriétés suivantes :

1. L'apprentissage en profondeur associe en fait le modèle d'origine au couplage d'algorithmes. Par exemple, l'algorithme de propagation de gradient derrière l'apprentissage en profondeur est essentiellement la méthode de SGD. Sur la base de SGD, il y aura un élan supplémentaire, un élan adaptatif, certains algorithmes comme celui-ci . Ensuite, ces algorithmes sont devenus des algorithmes standardisés. Vous pouvez choisir n'importe quel modèle parmi ces algorithmes. Vous n'aurez peut-être pas besoin d'approfondir ces algorithmes ou de créer un ensemble d'algorithmes avec une probabilité élevée. Ce mode de couplage est en fait un concept complètement différent du modèle d'apprentissage automatique d'origine.

Si vous connaissez vraiment l'apprentissage automatique ou avez étudié des disciplines connexes, vous saurez que SVM est en fait une méthode systématique allant du modèle à l'algorithme, la régression logistique est également une méthode intégrée et le GBDT est également une méthode intégrée. Bien sûr, son intégrité sera très bonne, mais le coût de le faire est très lourd. Il doit s'agir d'une personne avec une capacité professionnelle très forte. De la compréhension du modèle, de la compréhension des données à la conception de l'algorithme dans son ensemble, cela nécessite des connaissances professionnelles très solides. fais ça. Ceci est limité en termes de productivité. L'apprentissage en profondeur associe en fait le modèle à l'algorithme, l'algorithme est standardisé, le modèle peut être arbitrairement modifié et construit, ce qui libère considérablement la productivité, permet à plus d'étudiants de participer et d'essayer des modèles plus complexes et différents.

2. La méthode d'apprentissage en profondeur est un peu comme des blocs de construction. J'ai en fait beaucoup de modules. En fait, les entreprises et les institutions académiques continuent de créer de nouveaux modules basés sur des problèmes et des données réels.

Dans de nombreux cas, en effet, l'essentiel du travail consiste à combiner librement ces modules en fonction de leurs propres problématiques métiers. C'est différent de l'original. Il s'est avéré qu'il n'y avait pas de modules. Vous devez construire un bâtiment, et tout le bâtiment est construit par vous-même. Maintenant, vous avez beaucoup de murs et de sols. Vous pouvez utiliser ce sol pour le construire. En fait, cela s'appelle la composantisation dans notre module de base actuel.. Il peut être divisé en composants et standardisé pour construire un système complexe qui était auparavant inimaginable.

Ces deux caractéristiques, l'une est le couplage, et l'autre est la composition du modèle lui-même.Dans le cadre de l'apprentissage en profondeur, nos ingénieurs peuvent construire des modèles complexes qui étaient complètement inimaginables, et résoudre les problèmes qui ne pouvaient pas être résolus auparavant, ou les effet ne répond pas à nos attentes. Voici quelques-unes des opportunités derrière l'apprentissage en profondeur, qui, à mon avis, est un énorme coup de pouce pour la productivité.

Donc, à ce stade, dans le cadre de l'apprentissage en profondeur, Alibaba a également lancé de nombreuses recherches et applications. Ici, je vais parler d'une idée que nous sommes en train d'apprendre en profondeur maintenant. L'apprentissage en profondeur est très simple, c'est Deep, un réseau de neurones très profond. Alors, il y aura un problème ici, c'est-à-dire que le niveau profond est tout, ou est-ce suffisant que nous ayons seulement besoin d'être profond ? Ici, permettez-moi de donner une autre réflexion. Par exemple, la reconnaissance d'image dans l'industrie. En fait, la reconnaissance d'image comporte deux éléments. Le premier élément est constitué de structures de réseau bien connues ou de base, telles que le CNN monocouche, des structures telles que le pooling, etc., en particulier le CNN, qui est représenté par des réseaux de neurones convolutifs. applications dans l'image. Tout le monde construit des réseaux profonds sur la base de cette structure.

Si le Web profond suffit, pourquoi ne pas créer un tel Web profond avec des liens complets ? C'est le premier exemple. En fait, il y a d'autres exemples plus tard, comme dans les séries chronologiques, en PNL, etc., il y aura de nombreuses structures de ce type, comme RNN dans les séries chronologiques, ou LSTM, un modèle légèrement plus complexe qui peut être plus efficace dans de nombreux des champs.

Il y a deux éléments ici : Le premier élément est une structure de réseau qui correspond aux données. Pourquoi dites-vous que cela correspond aux données ? En prenant CNN comme exemple, CNN est une fenêtre de convolution locale.Cette fenêtre de convolution locale représente un paramètre, et le paramètre est partagé lorsque la fenêtre de convolution se déplace. Il représente en fait la nature de l'image appelée invariance parallèle, qui est une image d'un visage humain ou d'un chien. Dans le coin supérieur gauche de l'image, c'est encore un chien dans le coin inférieur droit. C'est ce qu'on appelle l'invariance parallèle, qui est l'incapacité à reconnaître les objets. Des changements importants se produiront en raison du mouvement global de cette zone. Une autre reconnaissance d'objet est également locale, si cette position de fenêtre est entièrement incluse dans un visage, alors l'information de cette fenêtre suffit, c'est un domaine. En fait, comme dans le domaine de l'image ou dans les domaines où le deep learning a réussi, la structure du réseau est très adaptée aux caractéristiques de son problème et à ses caractéristiques de données.

Ce sur quoi nous nous concentrons actuellement, c'est comment trouver une structure de réseau qui peut s'adapter à de telles caractéristiques de données sur Internet, comment trouver une structure de réseau basée sur les données utilisateur basées sur Internet, telles que les données à grande échelle codées par le numéro d'identification tout à l'heure, puis Nous utiliserons des méthodes approfondies pour améliorer la capacité de généralisation ou la capacité d'ajustement de cette structure afin d'obtenir de meilleurs résultats. C'est l'une de nos réflexions sur l'apprentissage en profondeur et une chose que nous faisons maintenant.

Quelle est la fonctionnalité ici ? Deux exemples :

1. Il y a une donnée très importante derrière notre recommandation, qui est le comportement de l'utilisateur, ce que l'utilisateur a parcouru dans l'historique, ce qui a été acheté, ou sur quelles pages vous êtes resté plus longtemps.Cela nous aidera à analyser ce que vous ferez à l'avenir Plus intéressé, est très utile. Le premier concept est structurant, derrière lequel se cachent des données structurées très complexes. Par exemple, le comportement de l'utilisateur sur Taobao, vous cliquez sur certains trésors, en plus de cliquer sur l'identifiant du bébé lui-même, quel est le bébé, en fait, il y a des données connexes derrière le bébé, telles que des images du bébé, vous pouvez voir aussi Lorsque vous arriverez à cette image, vous aurez une réflexion et une interaction avec l'image, et vous déciderez de cliquer, d'acheter ou non, et d'interagir avec le marchand.

Par exemple, si le bébé a un titre, et si vous commandez le bébé, le moment de la commande du bébé dans l'histoire compte également. Par exemple, la page des détails du bébé contient de nombreuses introductions et vous lirez également ses commentaires. Tout le monde trouve qu'il est lié à un certain bébé, il s'agit donc d'une donnée très structurée.Des données provenant de différentes sources sont en fait fortement corrélées en interne, et des données hétérogènes sont liées. Si nous concevons une meilleure structure de réseau d'apprentissage en profondeur et faisons bon usage de ces données hétérogènes, c'est un grand défi et problème.

2. L'autre est le timing. Dans notre environnement de commerce électronique, un utilisateur peut parcourir de nombreux trésors. Il peut regarder des téléphones portables et acheter un sac pour sa petite amie en même temps. Que pouvons-nous faire en termes de comportement C'est également un défi pour l'apprentissage en profondeur d'analyser et de concevoir quel type de structure de réseau peut mieux et plus précisément extraire ce qui intéresse vraiment les utilisateurs.

Ces deux exemples montrent en fait que pour un problème commercial pratique, tel que le commerce électronique, ce que vous pouvez utiliser peut en fait être plus étendu que l'ensemble de données qui vous a été fourni par le milieu universitaire. Ici, vous pouvez penser de différentes manières, vous pouvez être plus créatif pour résoudre ce problème. En fait, nous avons publié il y a quelque temps un travail intitulé : user multi-interest distribution model Nous allons faire des structures de réseau sur l'ensemble de la séquence d'utilisateurs pour extraire plus raisonnablement les informations d'intérêt de l'utilisateur. Nous avons également publié ce résultat, qui a été posté sur arXiv, et il devrait y avoir quelques explications sur Internet. Si vous êtes intéressé par les détails, vous pouvez voir ce modèle.

Voici mon point de vue sur l'apprentissage en profondeur et certaines des choses que nous faisons.

Les trois processus avancés de la technologie, où est Ali ?

Enfin, permettez-moi de parler de ma compréhension de la technologie. Je vais procéder en trois étapes :

1. L'étape de l'application, l'amélioration des résultats commerciaux et une meilleure résolution des problèmes. C'est ce que tout le monde fait le plus, qu'il s'agisse de recherche ou d'affaires réelles. Il suffit de regarder ce que fait l'industrie, comment les différentes entreprises le font, quelles entreprises sont les plus avancées et si nous pouvons apprendre de ces pratiques avancées, les appliquer à notre propre entreprise et faire mieux, c'est la première étape A, qui est aussi la base d'un travail de recherche, est de connaître toutes les méthodes de pointe actuelles.

2. Faire des innovations technologiques Qu'il s'agisse de notre compréhension de la technologie ou de notre compréhension du problème, comment pouvons-nous être créatifs et proposer des solutions plus récentes et meilleures pour mieux résoudre ce problème. Cette étape, nous l'appelons l'innovation technologique.

3. Ce que je comprends peut être un niveau plus large, c'est-à-dire l'étape d'utilisation de la technologie pour entraîner des changements dans l'ensemble de la chaîne causale et de la chaîne commerciale. Qu'est-ce que ça veut dire? En fait, quel que soit le problème que nous résolvons, il y a une chaîne causale derrière nous, à cause de quoi, qu'arrivera-t-il aux utilisateurs, qu'arrivera-t-il aux commerçants, qu'arrivera-t-il à la plateforme, et une série de chaînes causales.

Le processus d'établissement de cette chaîne causale consiste à éliminer de nombreuses possibilités dans les conditions techniques de l'époque, car de nombreuses technologies ont déterminé que certaines choses ne pouvaient pas être réalisées, nous allons donc éliminer de nombreuses possibilités et établir une chaîne causale sous un tel filtrage. une entreprise existante. La raison pour laquelle Alibaba investit autant dans la technologie est que le changement de technologie conduira en fait à la causalité que nous avons exclue à l'avenir. Le processus de pensée de toute la chaîne causale sera différent de l'original. La forme de l'ensemble l'entreprise sera également différente, ou une nouvelle entreprise complètement différente verra le jour. C'est pourquoi les grandes entreprises investissent autant dans la technologie.

Alibaba a en fait beaucoup fait dans la première étape, et notre volume d'affaires est également très bon. La deuxième étape est une chose qui se fait actuellement dans l'innovation technologique. Vous pouvez voir qu'au cours des dernières années, comme dans les domaines liés à l'apprentissage automatique et à l'exploration de données, Alibaba a en fait publié de nombreux articles lors de conférences internationales de premier plan. Nous avons déjà commencé à faire beaucoup de beaux articles dans la deuxième étape. résultat.

Notre idéal est d'établir dans la troisième étape. Nous espérons apporter notre propre force dans les changements technologiques et industriels, pour promouvoir davantage de changements dans l'ensemble de la chaîne causale de l'entreprise causés par des changements dans les contraintes causales, en pensant que les changements ont engendré de nouvelles formes d'entreprise. C'est notre mise en page. C'est l'étape actuelle d'Alibaba.

À quel genre de techniciens Ali s'attend-il ?

Je suis intervieweur pour le poste technique d'Alibaba et responsable technique d'une équipe.Quant à ces deux rôles, que penses-je des caractéristiques des personnes qui pensent que l'équipe a besoin de plus ou que l'entreprise a besoin de plus. En fait, Alibaba a deux très bons résumés : il y a un résumé intitulé "des gens extraordinaires font des choses extraordinaires avec des curs ordinaires".

Que veut dire personne extraordinaire ? Nous espérons que cette personne a de très bonnes caractéristiques, tout d'abord, elle est plus intelligente, résiliente, persistante et motivée, capable de mieux résoudre les problèmes, puis même de résoudre les problèmes de manière créative. Des personnes extraordinaires nous résumerons plusieurs caractéristiques : intelligentes, solides, optimistes, introspectives. Si vous êtes optimiste et ne pouvez pas rencontrer de problèmes, vous serez très triste et vous ne pourrez rien faire. Si vous êtes intelligent, vous devez avoir un certain degré de professionnalisme, voire vous devez avoir suffisamment de potentiel, même si vous n'êtes pas très doué pour cela, vous pouvez rapidement vous améliorer dans des problèmes pratiques ou par votre propre apprentissage. La vérité est que tout ce que nous faisons n'est pas facile.

Par exemple, la stratégie cloud d'Alibaba. En fait, une personne célèbre à Alibaba est le Dr Wang Jian. Lorsque le Dr Wang Jian travaille sur la stratégie cloud d'Alibaba, il faut dire qu'il subit encore beaucoup de pression. Les personnes qui suivent l'industrie savent qu'il n'y avait pas beaucoup d'entreprises qui croyaient au cloud à l'époque. Il y a eu beaucoup de critiques de la part de tout le monde, et le Dr Wang a dû subir beaucoup de pression à ce moment-là. En fait, le cloud d'Alibaba a fait tout son chemin, en Chine, il devrait être le plus grand par étapes, et il continue d'investir plus de ressources, dans l'espoir de faire mieux.

À l'heure actuelle, tout le monde croit fondamentalement au cloud. En cours de route, je pense en fait que ce que j'admire chez le Dr Wang Jian, c'est que sous diverses pressions, de nombreuses personnes peuvent même remettre en question la propre compréhension du Dr Wang de la technologie cloud. En fait, le Dr Wang Jian, avec sa ferme croyance en Yun, a insisté et a vraiment fait en sorte que cela se produise. Peu importe ce que les autres grosses vaches peuvent penser, il n'y a peut-être personne d'autre que le Dr Wang qui peut vraiment faire en sorte que cela se produise. Parce que la pression à supporter est très élevée, c'est vraiment la persévérance intérieure et la conviction intérieure en la matière qui peuvent faire en sorte que quelque chose de très difficile se produise.

Par conséquent, nous devons avoir ce genre d'esprit solide. Lorsque nous rencontrons des difficultés, nous reculons. Cette grande chose ne doit pas être la vôtre. Si une grande chose n'a pas encore été faite, cela ne doit pas être si facile. L'introspection signifie que dans tout le processus de faire les choses, vous devez réfléchir à plusieurs reprises sur vous-même et absorber ce type de rétroaction du monde extérieur pour réfléchir à la façon de mieux faire cela et si votre intention initiale est bonne et si votre direction est basée sur votre intention initiale. C'est donc une exigence des gens.

La seconde est que chacun doit garder un esprit normal lorsqu'il entre dans la phase de travail.En effet, en passant du milieu universitaire ou d'un environnement à un nouvel environnement, vous êtes confronté à des données et à des activités potentiellement très complexes. Il peut être nécessaire d'utiliser un sentiment de normalité et de persévérance, d'être capable de supporter la solitude, de pouvoir s'enfoncer, de comprendre ces choses à fond et de comprendre clairement les données. C'est la première étape.Si vous êtes particulièrement arrogant et arrogant, vous aurez toujours l'impression de ne pas vouloir faire beaucoup de choses, vous ne pourrez peut-être jamais vous enfoncer, et il sera alors difficile de vraiment faire de grandes choses.

Le dernier est une suggestion, tout en étant normal, il doit y avoir un cur de poursuite de l'excellence. Tout d'abord, nous devons couler. Après avoir coulé, nous devrons peut-être réfléchir à la meilleure façon de changer le statu quo. Comment faire des affaires, à la technologie est un avenir meilleur. Ensuite, continuez à réfléchir à des questions difficiles et à des questions précieuses. Cette poursuite de l'excellence doit être possédée. Des gens extraordinaires, des esprits ordinaires, faisant des choses extraordinaires, voilà comment nous le voyons, de quel genre de personnes nous avons besoin. En plus d'être intelligent, optimiste, pragmatique et introspectif sont tous de très bons résumés.

Comment puis-je mieux me présenter lors d'un entretien ?

En effet, je rencontre chaque année de nombreux étudiants à la recherche d'un emploi, je vais donner quelques suggestions ci-dessous.

Tout d'abord, quels sont les points forts de votre CV qui peuvent attirer l'attention des directeurs RH et techniques, comme le parcours scolaire, tout le monde le verra certainement, mais ce qui est plus accrocheur, ce sont les choses qui peuvent vraiment prouver votre capacité sur un à plus grande échelle. Cela inclut, par exemple, des articles académiques de haute qualité, tels que des classements ou des récompenses dans certains concours internationaux tels que les données. Un autre exemple est de savoir si vous avez un code qui a été reconnu par tout le monde, par exemple, les plus classiques sont certains projets open source, le mode de participation, etc.

Ce n'est pas grave si ce n'est pas le cas, il y a quelques conseils d'entrevue à garder à l'esprit.

Le premier est l'étape préparatoire. Dans l'étape préparatoire, il y a quelques notions de base, telles que la capacité de programmation. Certains étudiants peuvent utiliser un langage de haut niveau pour faire des recherches plus tard, ce qui peut modifier la capacité de programmation sous-jacente, comme certaines choses apprises. Oubliez ça, beaucoup de travail réel doit être fait par vous-même, et cette chose est encore reprise un peu avant l'entretien. Pour donner quelques exemples, le premier est la capacité de programmation de base, et le second est la connaissance la plus basique telle que la structure des données.Par exemple, vous ne connaissez pas la liste chaînée lors de l'entretien, ce qui peut encore décevoir l'intervieweur. Troisièmement, si vous passez un entretien pour un poste d'algorithme, en plus des connaissances professionnelles de l'apprentissage automatique ou de la vision ou de la recherche opérationnelle que nous venons de mentionner, il est préférable de préparer quelques algorithmes de base.

En fait, je recommande certains livres classiques de l'industrie tels que "Introduction to Algorithms". Même si vous ne passez que deux heures ou un après-midi à revoir les concepts de base du ou des deux premiers chapitres, c'est très bénéfique pour les entretiens. Les capacités de base peuvent être perdues pendant longtemps aux niveaux postdoctoral et doctoral, il est suggéré que vous puissiez passer une heure ou deux ou un après-midi à les réviser et ce sera beaucoup mieux.

La deuxième est la compétence professionnelle, qui est routinière.Les expériences antérieures, les projets de recherche, les travaux de recherche effectués pendant les journées étudiantes, y compris les stages, peuvent être très révélateurs.

Enfin, parlons des techniques d'entrevue. Pendant le processus d'entretien, en fait, chacun peut s'inquiéter de ses propres lacunes.Je pense que ce n'est pas la chose la plus importante.Le plus important est que vous pensiez que vos propres points forts sont vraiment montrés à l'intervieweur pendant le processus d'entretien. Par exemple, après tout l'entretien, l'intervieweur ne vous a pas demandé ce que vous pensez être le meilleur et le plus puissant. Après l'entretien normal, il peut encore y avoir des problèmes dans ce domaine.

En fait, l'intervieweur examinera le potentiel de cette personne et verra si cette personne peut mieux se développer à l'avenir sous tous les aspects.Il discutera avec vous avec une telle mentalité. Par conséquent, vous pouvez également essayer de guider l'intervieweur avec un meilleur langage, vous guider vers l'endroit où vous vous sentez le plus éblouissant et le plus fort, et avoir des discussions et des discussions avec l'intervieweur à ce sujet, ce qui est très utile pour vous montrer. . Pas peur des lacunes, mais peur de ne pas dire vos points forts.

Voilà pour mon partage, merci à tous.