Responsable: Tencent équipe algorithme publicitaire sur les stocks de papier estimation de « grande échelle Visites utilisateur Comprendre et de prévision profonde spatio-temporel Tensor cadre factorisation » est CCF A conférences de classe KDD2019 embauchée. présente en papier algorithme d'apprentissage en profondeur pour les estimations de l'inventaire publicitaire à grande échelle, les caractéristiques de la modélisation croix et la fonction du temps, l'inventaire publicitaire ainsi des estimations précises.

introduction

Tencent équipe algorithme publicitaire sur les stocks de papier estimation de « grande échelle Visites utilisateur Comprendre et de prévision profonde spatio-temporel Tensor cadre factorisation » est CCF A conférences de classe KDD2019 embauchée. présente en papier algorithme d'apprentissage en profondeur pour les estimations de l'inventaire publicitaire à grande échelle, les caractéristiques de la modélisation croix et la fonction du temps, l'inventaire publicitaire ainsi des estimations précises.

1. Contexte

À l'heure actuelle le principal modèle d'affaires du centre de service Internet est toujours le besoin de la publicité côté service pour prévoir à l'avance le montant de l'accès des utilisateurs pour assurer la vente de la publicité, ce qui nécessite l'inventaire publicitaire compréhension et la prévision. Un des modèles de prévision largement utilisés peuvent être grossièrement divisées en deux catégories: 1) l'utilisation du modèle de prévision du temps traditionnel (ARIMA, GARCH, TBATS, etc.), ces modèles sur un modèle de série chronologique de traitement à grande échelle devient très inefficace; 2) étude approfondie du modèle prédictif (ST-RESNET, TRMF, etc.) sur la base, peut être très bon travail de prévision des séries chronologiques de grande dimension, mais la plupart de ces modèles se concentrer uniquement sur les caractéristiques du temps et ignorer la combinaison d'attributs et d'autres caractéristiques. Afin de mieux remplir les prévisions des stocks de temps de publicité, nous devons répondre aux questions suivantes:

• Un grand nombre de portefeuille immobilier et peut changer à tout moment. Nous utilisons habituellement pour décrire l'accès d'un utilisateur à plusieurs combinaisons de fonctionnalités, telles que la géographie, la plate-forme, l'âge et le sexe. Avec l'augmentation des caractéristiques, ces caractéristiques la croissance combinée du nombre de niveaux d'index, donc nous avons besoin d'un modèle efficace et évolutive.

• Association entre les combinaisons d'attributs, différentes combinaisons de propriétés ne sont pas toujours un traitement équivalent. Tels que l'âge et les plates-formes fortement corrélées, mais la corrélation entre l'âge et le contenu est relativement faible.

• L'inventaire d'annonces tout en ayant un long cycle et leurs caractéristiques à cycle court, comme la longue période annuelle de la Fête du Printemps, les vacances d'été, etc., sont beaucoup plus courts métrages au niveau de la semaine période, les algorithmes nécessitent la prise en compte des caractéristiques des deux.

Figure 1: Vue d'ensemble du problème

2. Modèle Présentation

Pour résoudre les problèmes ci-dessus, nous avons proposé une DEEP spatiotemporel FACTORISATION CADRE, alors que des combinaisons de caractéristiques et attributs des fonctions de modélisation de temps, et peuvent tirer parti des données de longue période. Les idées de conception de base dérivés tenseur décomposition, peut être vu de la figure 1, on peut représenter les données qui est une vue d'un tenseur (Année, attribut, temps), nous devons estimer la partie marquée en rouge. la figure châssis généralement représentés comme suit:

Figure 2: tenseur d'ordre 3 décomposition

parmi

Exprimons notre fichier d'inventaire,

Le nombre total de propriétés en combinaison,

Il représente un laps de temps,

Il représente des années de données historiques. Basé sur le modèle PVD (population Valeur de décomposition), on peut se décomposer en un tenseur U

,

Et un tenseur de base

,

,

,

Attribut représentent la combinaison de caractéristiques, la longue période de temps et la séquence de fonctions. nous utilisons

Il représente un élément de U, alors nous pouvons

Calculé. Par conséquent, pour l'inconnu (la partie rouge du dessin), nous avons besoin d'optimiser la fonction de perte à résoudre comme suit:

qui représente tous les éléments connus de l'ensemble, et la matrice factorisation connus (tels que TRMF) basée sur la comparaison, nous avons rejoint dans cette dimension, en tenant compte des lois de l'histoire d'influer sur l'estimation de l'année en cours, ce qui rend non seulement le modèle cadre plus général, et il peut être une bonne combinaison de données historiques pour prédire une longue période.

Figure 3: Deep tenseur spatio-temporelle factorisation forecastingframework

Nous allons mourir comme ci-dessus la décomposition du tenseur notre cadre de corps, nous avons conçu notre modèle montre la figure 3, qui comprend trois parties principales:

Modèle spatial: Cette combinaison de caractéristiques pour extraire certaines des propriétés. Pour la combinaison des attributs d'entrée, nous utilisons d'abord l'attention extraite Intégration des relations entre les différentes valeurs du même attribut de la catégorie, la présence du mécanisme peut être telle que nous accordons plus d'attention à la partie d'entrée clé. Après avoir obtenu tous les attributs de codage, et nous rejoint en tant qu'entrée réseau DeepCross, pour extraire les relations entre les différents types de propriétés. Pour le réseau DeepCross, généralement appelée entrée d'initialisation

, G-ème couche peut être exprimée sous la forme récursive

qui

Il est un réseau de neurones de paramètres.

Modélisation de fonction temporelle: inspirée par CLDNN, nous CNN, les fonctions de synchronisation RNN se combinent pour extraire des données historiques. Tout d'abord CNN peu profonde pour l'extraction de caractéristiques, en tant que caractéristique RNN puis entrée, obtenir des caractéristiques de synchronisation. parmi

M représente tous les ans jour connues de données historiques, dans lequel la partie d'extraction d'une caractéristique de synchronisation et de cycle,

Elle représente la partie des données historiques sur la même période, la longue période à des fonctions d'extraction.

Multi-tâche: la figure 3, nous avons deux tâches: 1) l'utilisation des données historiques de la reconstruction du codeur; 2) l'utilisation du tenseur décomposition de l'inventaire publicitaire future estimée. Nous réduisons au minimum la perte de fonction à la fois par l'équation suivante:

Son droit de peser à nouveau les deux tâches. En général, nous avons mis <  0,5, parce que notre tâche principale est utilisée pour faire des prédictions. Multi-tâche présente les avantages suivants: 1) réduire au minimum la perte d'informations (du codeur); 2) le partage CNN, autre couche réseau RNN, ce qui réduit la complexité du modèle, 3) pour améliorer la précision des estimations.

3. Les résultats expérimentaux

3.1 Paramètres et temps

Les modèles de séries chronologiques traditionnelles telles que la nécessité d'un modèle TBATS ou ARIMA séparés pour chaque prédiction de séries temporelles, il faut beaucoup de temps, nous sommes ici pour faire la comparaison. En raison des paramètres de conception des résultats de partage multi-tâches en nombre réduit de paramètres, en particulier les données comme indiqué ci-dessous:

Tableau 1: Le nombre de paramètres et le temps de formation

3.2 Résultats expérimentaux

Nous avons fait la vérification expérience (avant et Tencent patch vidéo PEMS-SF) dans les deux ensembles de données réelles, les critères d'évaluation que nous choisissons écart Normalisée (ND) et une racine normalisée erreur quadratique moyenne (NRMSE), défini comme suit:

Les résultats présentés ci-dessous:

Figure 4: 28 jours et 28 jours en moyenne ND NRMSE moyenne

Comme on peut le voir, le modèle ST-TF ND et NRMSE dans les meilleures performances ont été obtenues, respectivement, 0,179 et 1,093. patch vidéo Tencent sur le front, ST-TF par rapport à la CNN a obtenu hausse de 8,7%, par rapport à TRMF gagné augmentation de 5,8%. Et sur PEMS-SF nous obtenons également les meilleures performances, par rapport à CNN et d'améliorer TRMF 9,8% et 7,6%, respectivement. Ces attributs améliorent principalement d'une meilleure conception et la combinaison d'extraction de caractéristiques et d'autres multi-tâches.

4. Résumé

Le papier de Tencent équipe algorithme de publicité « à grande échelle Visites d'utilisateurs et de prévision Comprendre en profondeur spatio-temporel Tensor cadre factorisation » introduit tenseur étude approfondie combinée de la décomposition de la conception, nous avons obtenu de bons résultats prévus. Dans les travaux futurs, nous continuerons à améliorer la compréhension de l'entreprise, d'explorer un modèle plus précis et efficace pour soutenir le développement des entreprises. Merci Tencent algorithmes publicité de marque Computer Science, l'équipe USTC et la prochaine génération de l'informatique mobile avec des données suggestions et contributions Innovation Lab.

2019 Sommet mondial sur l'intelligence artificielle et robotique

Organisé par la Fédération chinoise informatique, Lei Feng réseau et l'Université chinoise (Shenzhen) Hong Kong co-hôte du Sommet mondial 2019 sur l'intelligence artificielle et robotique (CCF-GAIR 2019), sera 2019 Nian 12 Juillet à 14 Tenue à Shenzhen.

D'ici là, le lauréat du prix Nobel JamesJ. Heckman, académicien étranger, président du haut du monde, bien connu Fellow, un certain nombre d'invités poids lourds seront personnellement Zuozhen , Pour discuter de l'intelligence artificielle et sur le terrain complexe de situation de survie de la robotique, la production, l'investissement et ainsi de suite.

Cliquez pour lire le texte original, en ajoutant des équipes de haut de KDD échanger et apprendre de leurs pairs, l'échange