Yunzhong depuis le temple d'Aofei Rapport Qubit | Num�ro public QbitAI

�tes-vous toujours pr�occup� par l'�valuation de la qualit� audio et vid�o?

� l'�re de l'audiovisuel, les applications audio et vid�o sont de plus en plus utilis�es: diffusion en direct, courtes vid�os, programmes vid�o, appels audio et vid�o ... Avec l'�clatement de la demande, les demandes des utilisateurs pour la qualit� audio et vid�o sont devenues plus fortes.

Existe-t-il une m�thode efficace et "garantie"?

La derni�re open source de Tencent est ici.

Tencent Multimedia Lab, l'algorithme d'�valuation de la qualit� vid�o de r�f�rence compl�te bas� sur l'apprentissage profond r�cemment con�u DVQA, est officiellement open source sur Github. Les performances de ce mod�le d'algorithme sont actuellement � la pointe de l'industrie sur les ensembles de donn�es de test publics.

Quel probl�me est r�solu?

Dans l'ensemble de la liaison vid�o, la plupart des modules peuvent �tre mesur�s avec pr�cision, tels que l'acquisition, le t�l�chargement, le pr�traitement, le transcodage, la distribution, etc. Cependant, la partie inconnue est pr�cis�ment la partie la plus critique, c'est-�-dire quelle est l'exp�rience de visionnage vid�o de l'utilisateur.

� l'heure actuelle, les m�thodes d'�valuation de la qualit� vid�o dans l'industrie sont divis�es en deux cat�gories: l'�valuation objective de la qualit� et l'�valuation subjective de la qualit�.

Le premier calcule le score de qualit� de la vid�o et le subdivise davantage selon que la vid�o haute d�finition est utilis�e comme r�f�rence, que la vid�o source soit une vid�o professionnelle ou une vid�o g�n�r�e par l'utilisateur.

Ce dernier s'appuie principalement sur les yeux humains pour regarder et marquer, ce qui peut refl�ter intuitivement la perception du public de la qualit� de la vid�o.

Cependant, ces m�thodes ont encore des probl�mes tels que la d�viation de la perception longue et laborieuse, co�teuse et subjective.

La solution d'�valuation de la qualit� vid�o propos�e par Tencent Multimedia Lab utilise d'abord la �plate-forme d'�valuation de la qualit� subjective en ligne� pour construire une base de donn�es de qualit� subjective � grande �chelle conform�ment aux besoins de l'entreprise.

Dans le m�me temps, les donn�es subjectives collect�es sont utilis�es pour former un algorithme d'�valuation de la qualit� objectif bas� sur l'apprentissage en profondeur.

Enfin, l'algorithme d'�valuation de la qualit� form� est d�ploy� dans le secteur d'activit� et la surveillance en boucle ferm�e peut avoir des probl�mes de qualit�.

� partir des trois perspectives ci-dessus, la DVQA peut r�pondre aux deux principaux besoins d'efficacit� et de pr�cision en prenant en compte diff�rents services et sc�narios.

DVQA contient plusieurs mod�les d'algorithmes d'�valuation de la qualit�, cette fois open source est l'algorithme C3DVQA pour la vid�o PGC.

Ce projet est d�velopp� en utilisant Python, et le module d'apprentissage en profondeur utilise PyTorch.

Le code utilise une conception modulaire pour faciliter l'int�gration des nouvelles technologies d'apprentissage en profondeur, des mod�les personnalis�s flexibles, ainsi que la formation et les tests de nouveaux ensembles de donn�es.

En termes de conception d'algorithmes, la structure de r�seau utilis�e par C3DVQA est la suivante:

L'entr�e est vid�o endommag�e et vid�o r�siduelle. Le r�seau contient deux couches de convolution bidimensionnelle pour extraire les caract�ristiques spatiales image par image. Apr�s la cascade, des couches convolutives 3D � quatre couches sont utilis�es pour apprendre les caract�ristiques spatio-temporelles des articulations.

La sortie de convolution tridimensionnelle d�crit l'effet de masquage spatio-temporel de la vid�o, puis l'utilise pour simuler la perception de l'il humain sur le r�sidu vid�o: o� l'effet de masquage est faible, le r�sidu est plus facilement per�u; o� l'effet de masquage est fort, l'arri�re-plan complexe est plus Peut masquer la distorsion de l'image.

Le r�seau se termine par une couche de mise en commun et une couche enti�rement connect�e. L'entr�e de la couche de mise en commun est le r�sultat de la trame r�siduelle trait�e par l'effet de masquage, qui repr�sente le r�sidu perceptible de l'il humain. La couche enti�rement connect�e apprend la relation de r�gression non lin�aire entre la qualit� globale per�ue et l'intervalle de score de qualit� cible.

Quel est l'effet?

Dans les r�sultats de l'�valuation, Tencent Multimedia Lab a v�rifi� les performances de l'algorithme propos� sur deux ensembles de donn�es de qualit� vid�o, LIVE et CSIQ.

Et utilisez les standards PLCC et SROCC comme crit�res de qualit� pour comparer les performances de diff�rents algorithmes.

Comparez le C3DVQA propos� avec les algorithmes d'�valuation de la qualit� de r�f�rence compl�te couramment utilis�s, y compris PSNR, MOVIE, ST-MAD, VMAF et DeepVQA, les r�sultats sont les suivants:

� l'heure actuelle, l'algorithme d'�valuation a �t� utilis� dans de nombreux produits internes et externes de Tencent. Par exemple, la conf�rence de Tencent utilise des centaines d'indicateurs de laboratoire qui r�pondent aux normes ITU / 3GPP / AVS et autres normes nationales et �trang�res pour juger et surveiller en boucle la qualit� de l'exp�rience utilisateur de l'ensemble du r�seau. , De l'exp�rience r�elle de l'utilisateur, optimisez constamment les performances du produit.

�quipe de production

Tencent Multimedia Lab, la meilleure �quipe de recherche et d�veloppement en communication et traitement audio et vid�o de Tencent, se concentre sur la communication audio et vid�o en temps r�el, la recherche d'algorithmes frontaux de codec audio et vid�o, les normes internationales audio et vid�o, le traitement d'image de vision par ordinateur, l'�valuation de qualit� audio et vid�o de bout en bout. Dans les technologies de communication et de traitement audio et vid�o en temps r�el, les normes internationales audio et vid�o et d'autres domaines ont accumul� des solutions compl�tes et un niveau technique de pointe.

Initialement nomm� "Tencent Audio and Video Lab", il a �t� officiellement renomm� "Tencent Multimedia Lab" en 2019.

� l'heure actuelle, la t�te du laboratoire est le Dr Liu Shan, un scientifique exceptionnel de Tencent, et la seule femme au plus haut rang du syst�me technologique T5 de Tencent.

Liu Shan est dipl�m�e du D�partement de g�nie �lectrique de l'Universit� de Tsinghua, ma�trise et doctorat du D�partement de g�nie �lectrique de l'Universit� de Californie du Sud et a officiellement rejoint Tencent en 2017.

Portail:

Adresse open source:

https://github.com/Tencent/DVQA

Adresse miroir domestique:

https://git.code.tencent.com/Tencent_Open_Source/DVQA

- Terminer -

Recrutement sinc�re

Les qubits recrutent des r�dacteurs / journalistes et le lieu de travail est � Zhongguancun, P�kin. Au plaisir de voir des �tudiants talentueux et enthousiastes se joindre � nous! Pour plus de d�tails, veuillez r�pondre au mot "recrutement" sur l'interface de dialogue QbitAI.

Qubit QbitAI � Auteur du contrat principal

' ' Suivre les nouveaux d�veloppements dans la technologie et les produits d'IA

Route de la soie

Apprenez � conna�tre la Chine

Tencent open source DVQA, le premier algorithme national d'�valuation de la qualit� vid�o, utilis� dans les conf�rences de Tencent

Quel probl�me est r�solu?

Quel est l'effet?

�quipe de production