[Texte/Observer.com Zhou Yi éditeur Zhang Guangkai]
Microsoft lance une fois de plus la "bombe royale".
Le 23 mai, lors de la conférence des développeurs Microsoft Build 2023 à Seattle, le PDG de Microsoft, Nadella, a officiellement annoncé qu'il ajoutait un assistant d'intelligence artificielle "Windows Copilot" à Windows 11, et les utilisateurs peuvent utiliser des chatbots dans les systèmes Windows.
Dans le domaine de ChatGPT, la Chine a déjà Ali Tongyi Qianwen, Baidu Wenxin Yiyan, Jingdong Lingxi et d'autres produits.
Dans le cadre de la nouvelle tendance AIGC, comment voyez-vous les défis et les opportunités des entreprises chinoises ?
Le 22 mai, le Forum sur l'économie numérique 2023 (East Lake) s'est tenu à Wuhan. Lors du forum, Xiao Yanghua, professeur à l'Université de Fudan et directeur du Shanghai Key Laboratory of Data Science, a déclaré à Observer.com : Comparés à leurs homologues internationaux, les modèles, les données et la puissance de calcul ne sont pas les principaux inconvénients de la Chine, le véritable défaut réside dans la maîtrise du processus de « raffinage » des grands modèles. , y compris la formulation des données, le nettoyage des données et le paramétrage, etc.
Xiao Yanghua a déclaré que le processus de "raffinage" du modèle à grande échelle détermine fondamentalement l'effet du modèle à grande échelle. Cependant, par rapport à des entreprises comme OpenAI, nous avons encore un certain décalage temporel. Mais la Chine a aussi ses propres avantages, comme le système national. Nous pouvons mettre en place une alliance industrielle pour progresser sur plusieurs lignes et raccourcir le cycle d'essais et d'erreurs.
Source de l'image Forum sur l'économie numérique 2023 (East Lake)
Xiao Yanghua a également rappelé qu'il ne fallait pas ignorer d'autres pistes telles que l'intelligence incarnée juste à cause du battage médiatique autour de ChatGPT.
Point faible digne d'attention : une technologie de pointe
Selon Xiao Yanghua, la technologie d'intelligence artificielle générative (AIGC) représentée par ChatGPT deviendra un moteur important pour promouvoir le progrès de l'économie numérique de mon pays et parvenir à un développement de haute qualité. Avant ChatGPT, l'intelligence artificielle était dans une phase industrielle immature ; l'émergence de ChatGPT a amené l'intelligence artificielle dans une phase de développement rapide et de réalisation rapide du développement de l'industrie lourde.
Cependant, dans le domaine des grands modèles tels que ChatGPT, la Chine en est encore à ses balbutiements et a besoin d'une planification et d'une coordination supplémentaires.
Xiao Yanghua estime que le développement de la grande industrie du modélisme dépend de plusieurs facteurs.
Le premier est le modèle. Le modèle est comme la "force interne" dans le kung fu. Plus le modèle est grand, plus le potentiel est fort ; le second est la puissance de calcul, qui est le cur de la compétitivité des grands modèles, et la concurrence des grands modèles est finalement une compétition de calcul le pouvoir ; le troisième, ce sont les données. Seules des données de haute qualité peuvent alimenter un modèle à grande échelle de haut niveau. Cependant, aucun d'entre eux n'est le véritable défaut de l'industrie chinoise des modèles à grande échelle.
SourceMicrosoft
"L'industrie du modèle à grande échelle de mon pays a des avantages dans les données et une base dans la puissance de calcul. Il n'y a pas de secrets dans le modèle lui-même. Ce qui nous manque vraiment, c'est une technologie de pointe", a déclaré Xiao Yanghua.
Il a expliqué que le processus de "raffinage" du grand modèle est crucial, Il comprend la formulation des données, le nettoyage des données, le paramétrage, la conception des processus et le contrôle qualité etc. Il détermine fondamentalement l'effet du grand modèle et est un facteur important dans le développement de l'industrie du grand modèle. À l'heure actuelle, le développement de l'industrie du modèle à grande échelle de mon pays manque de processus technologiques avancés, ce qui est difficile à suivre à court terme et nécessite un prix énorme à explorer.
La formulation des données fait référence à la détermination de la proportion de données dans différents domaines, différents types et différentes modalités selon les objectifs d'apprentissage du modèle ; le nettoyage des données fait référence à la réalisation d'opérations telles que le débruitage, la déduplication, le filtrage et la normalisation sur le corpus d'origine pour améliorer Cohérence, diversité et complétude du corpus.
Le soi-disant paramétrage consiste à sélectionner les hyperparamètres appropriés en fonction de la structure et de l'échelle du modèle, tels que le taux d'apprentissage, la taille du lot, l'optimiseur, la fonction d'activation, etc. Ces choix affecteront l'efficacité et l'effet de la formation du modèle.
La conception de processus consiste à concevoir la disposition du processus, la définition des objectifs, la stratégie de formation, etc. parmi les composants connexes en fonction des objectifs de formation et des contraintes de ressources du modèle, afin d'améliorer la capacité de généralisation et l'adaptabilité du modèle.
Le contrôle de la qualité fait référence au suivi et à l'évaluation du processus de formation et des résultats du modèle, à la surveillance d'indicateurs clés tels que la précision et la perplexité, et à la comparaison des performances de différents modèles ou versions pour garantir la qualité et la stabilité de la formation de grands modèles.
Xiao Yanghua a déclaré que la Chine sait en fait comment faire chacun des modules spécifiques mentionnés ci-dessus, mais qu'il existe un écart entre l'effet global et les pays étrangers lorsqu'ils sont intégrés. "Ce n'est pas une question de savoir si cela peut être fait ou non, mais l'effet est la différence entre 70 points et 100 points." Xiao Yanghua a déclaré que nous devons suivre les derniers scores et que nous devons continuer à faire des essais et des erreurs. , évaluer et améliorer.
Xiao Yanghua a déclaré à Observer.com que la maîtrise de la technologie de pointe nécessite des essais et des erreurs et une accumulation de temps. OpenAI a été créé en 2015 et a investi dans le développement de modèles à grande échelle en 2018. Cela a pris cinq ans cette année, et ils ont passé beaucoup d'essais et d'erreurs et d'exploration. Même si de nombreuses entreprises chinoises tentent de rattraper leur retard, ce "décalage horaire" est difficile à rattraper du jour au lendemain.
Capture d'écran du site Web d'OpenAI
Cependant, la Chine a aussi un avantage : le système national.
"Nous pouvons transformer les essais et erreurs en série en essais et erreurs parallèles, et même essayer 10 itinéraires techniques en même temps", a expliqué Xiao Yanghua. Lorsque certaines personnes vérifient un certain itinéraire, d'autres n'ont pas à vérifier à plusieurs reprises l'itinéraire. , Vous pouvez vous tourner pour vérifier la recherche de la route B et de la route C... C'est la puissance du système national chinois.
Xiao Yanghua a mentionné, Les essais et erreurs parallèles nécessitent que les institutions de R&D liées forment une alliance , telles que l'alliance de la puissance informatique, l'alliance des données et l'alliance technologique. Si tout le monde peut réaliser le partage de technologie et la recherche et le développement collaboratifs, le coût des essais et des erreurs peut être considérablement réduit et le cycle d'essais et d'erreurs peut être considérablement raccourci. "Les gens doivent l'utiliser pendant cinq ans, mais nous ne pouvons l'utiliser que pendant un an. Il y a une stratégie de rattrapage. La clé est de savoir si nous pouvons promouvoir l'unité de ces alliances."
"Vous ne pouvez pas manquer le prochain ChatGPT juste pour suivre ChatGPT"
Dans l'interview, Xiao Yanghua a déclaré que plus ChatGPT est populaire, plus nous sommes stratégiquement déterminés dans le domaine de l'IA que jamais auparavant.
"Nous devons faire attention à une chose : nous ne pouvons pas manquer le prochain "ChatGPT" juste pour suivre ChatGPT ; nous ne pouvons pas nous précipiter pour faire le buzz sur un point chaud tout en ignorant les autres points chauds. C'est contre cela que nous devons prendre des précautions. Nouveau les points chauds doivent faire attention à la stratégie, mais ne perturbent pas votre disposition existante. » Xiao Yanghua a déclaré que de nombreux petits modèles traditionnels devraient également être étudiés et que d'autres technologies informatiques doivent continuer à progresser.
Au stade de l'intelligence artificielle générale, il existe en fait de nombreux points chauds. En plus de ChatGPT sur la scène du chat, il existe également une génération graphique, telle que des produits représentatifs et des entreprises telles que Midjourney ; il existe également une intelligence incarnée - la combinaison de grands modèles et de machines pour manipuler le monde réel, afin que les robots puissent mieux servir Nous servons.
Source de l'Intelligence Embodiée (Intelligence Embodiée)
"Tout le monde se précipite pour s'engager dans ChatGPT, ce qui va distraire notre énergie et perturber le rythme de nos recherches scientifiques."
Xiao Yanghua a expliqué que le chat ouvert où se trouve ChatGPT a une valeur commerciale, mais une prise de décision sérieuse dans le domaine vertical a en fait plus de valeur commerciale. Par exemple, dans le domaine médical, tous les milieux ont toujours espéré avoir un robot de consultation qui libère les médecins ; dans le domaine de l'investissement, les gens espèrent avoir un robot de conseil en investissement ; dans le domaine judiciaire, tout le monde espère aussi avoir un robot judiciaire robot consultant... Ce sont des scénarios d'application sérieux dans des domaines verticaux.
"Ces exigences vont au-delà des capacités d'une simple fonction de chat. Il est nécessaire de doter les machines ou les grands modèles de capacités telles que des connaissances professionnelles, une expérience d'expert et une logique complexe. Compenser ses lacunes et promouvoir activement la mise en uvre de systèmes à grande échelle modèles dans des milliers d'industries. Les modèles à grande échelle permettent des scénarios de prise de décision complexes et sont au centre du développement futur de l'industrie de l'intelligence artificielle.
Source de l'image Site Web de Tencent
Xiao Yanghua estime qu'il existe à ce stade quatre problèmes principaux dans l'industrie chinoise des modèles à grande échelle.
Premièrement, l'homogénéisation de la technologie est sérieuse, et de nombreux grands modèles utilisent ChatGPT pour se nourrir ; deuxièmement, l'écologie des données n'est pas parfaite. L'écologie des données chinoise est particulièrement importante, mais elle fait relativement défaut actuellement ; troisièmement, la puissance de calcul est limitée ; quatrièmement, l'innovation des modèles est insuffisante. Aujourd'hui, de nombreux grands modèles nationaux sont basés sur des modèles de communauté open source étrangers. S'il est interdit à l'avenir, nous serons très passifs.
Ces problèmes méritent notre attention et les compensent. En même temps, nous devons réfléchir davantage. Par exemple, si un grand modèle veut créer de la valeur, il y a en fait deux exigences de base : l'une est la capacité du modèle de base, c'est-à-dire les quatre domaines ci-dessus que nous devons rattraper ; l'autre est l'application industrielle.
Xiao Yanghua a déclaré que l'industrie étrangère des modèles à grande échelle a formé une écologie et se développe très rapidement. En revanche, en Chine, l'homogénéisation est sérieuse, et de nombreuses entreprises étudient le modèle de base. En fait, du point de vue de la tendance de développement de notre pays, c'est précisément l'application qui devrait être utilisée pour conduire la recherche sur le modèle de base. "Le marché chinois est immense, riche en données et diversifié en scénarios d'application. Le développement d'applications peut être utilisé pour faire progresser le modèle, en empruntant la voie des « villes environnantes à partir des zones rurales » . "
"Nous pouvons faire du bon travail dans les applications périphériques et l'écologie, combler constamment les lacunes en matière de données, de puissance de calcul, de modèles et de processus, et enfin former notre propre compétitivité de base en termes de modèles techniques." Xiao Yanghua a déclaré que le grand modèle n'est en aucun cas de la propagande Le truc du copywriting ne doit pas devenir un magnifique feu d'artifice, mais il doit vraiment devenir une force productive avancée qui favorise le développement et le progrès social.
