Auteur | Ali expert en technologie de divertissement Chen Chong
Zebian | yugao
Produit | RPSC (ID: CSDNnews)
L'importance des besoins des clients et des tests de performance
L'importance de la performance client va de soi, d'une part affecter la stabilité de la qualité globale du client, les indicateurs de performance transfrontaliers sont susceptibles de provoquer l'effondrement de l'APP ensemble, par exemple, l'utilisation du processeur est trop élevée, entraînant ainsi des applications en direct hang, conduisant à une empreinte mémoire excessive OOM et ainsi de suite, d'autre part, l'impact de la performance l'expérience utilisateur, telles que la vitesse de chargement, la facilité de canotage de navigation, etc., ont un impact direct sur la volonté de l'utilisateur à l'utilisation et à la rétention. Cet article détaille le cas de l'atterrissage des solutions de test Youku de performance générale.
La construction de la performance générale des solutions de test
la collecte des données de performance commune est effectuée par l'application de l'interface intégrée pour la communication des données, le stock global de l'APP pour obtenir des lignes de données, telles que le temps de démarrage, le temps de chargement de la page, la page FPS et ainsi de suite. Mais comme une version guide des indicateurs de qualité et l'optimisation des performances de l'action ne suffit pas de détails. Les données du marché est plus gamme appropriée est donnée comme 90% de la valeur d'autres indicateurs pour guider l'intégrité et de l'action de réglage directionnel, mais de petits changements dans chaque version de l'itération, il est difficile réfléchi. Pour tout il y a des produits concurrents et la comparaison des données de l'industrie, les données de marché plus larges ne sont pas applicables. A cette fin Youku a commencé la construction de solutions de tests de performance de qualité technique.
La première étape consiste à déterminer la nécessité de répondre à la demande qui teste les scénarios de test de performance. Les tests de performance sont généralement couverts deux scénarios de test:
les données de dimension temporelle d'acquisition, comme le temps de démarrage, le temps de chargement de la page, le temps de jeu, et ainsi de semis;
Obtient les données de performance sous-jacentes, comme FPS, CPU, mémoire, IO et ainsi sur les indicateurs. En tant que applications lecteur vidéo, des tests de performance de Youku a également besoin de se concentrer sur des données spécifiques recueillies sur la scène du jeu, par exemple, et le temps long temps Caton et le jeu.
La base de données de performance peuvent généralement obtenir directement à partir de votre téléphone, offre Android et IOS un outil de ligne de commande ou les interfaces système facilitent l'accès à ces informations. Pour la collecte des données de performances de base, simplement automatiser le processus de collecte des données et processus d'intégration organique et faire la synchronisation des données de collecte de données tout en réduisant l'impact sur la performance peut être.
Dimension temps de chargement des données d'acquisition est relativement compliquée. la pratique de l'industrie est une dimension temporelle relativement commune des données est calculée en utilisant la sous-trame et un mode d'analyse de l'image vidéo combinée. Par rapport à obtenir par l'application de l'interface intégrée aux données de rapport ou d'analyse de la façon dont les informations de temps de journal, ce programme est plus compliqué, mais plus proche de scénarios d'utilisation réels du véritable utilisateur, de sorte que les données sont plus précises, plus. Afin d'assurer une expérience utilisateur maximale, yoqoo tests de performance en utilisant le programme détermine dès le départ analyse vidéo sous-trame Programme.
La mise en uvre de cadrage Capture vidéo test automatisé de performance, nécessite trois conditions:
capacité stable conduite automatisée;
reconnaissance d'image précise et de solides compétences analytiques;
La capacité d'assurer la planification de la plate-forme et le service de l'ensemble du processus peut être un fonctionnement automatisé. De plus, la possibilité de tester la performance veut vraiment jouer un rôle, d'être accepté par les équipes de développement et de test, mais aussi besoin de développer un ensemble de normes et les processus de mise en uvre des tests de performances pratiques.
Youku qualité technique, le client est responsable de l'équipement d'essai et de plateforme de test pour la gestion et la planification des tâches de tests automatisés, les services de résolution d'image miroir et vidéo en charge de l'informatique. Dans l'exécution des tests mises en uvre au début, l'équipe infrastructure mobile et le développement à l'équipe avec une efficacité complète responsable des exigences de tests de performance, un appareil de test sélectionné au hasard L'appareil d'essai pour maintenir la situation, une petite quantité des couvertures de scénario d'authentification de temps de chargement, réalisé sous la forme d'un accouplement .
Bientôt, nous avons constaté que ce n'est pas un ajustement idéal. Tout d'abord, l'ensemble du processus ne sont pas du côté des entreprises concernées, les résultats des tests et des scénarios de test avec des exigences d'affaires ces jours-ci, d'autre part, les services de la plate-forme et miroir de test client Youku couplé trop profond, les deux parties se sentent liés à faire avancer le processus de construction, il est difficile de jouer à leurs forces, encore une fois, le manque de leader du côté des entreprises, la capacité globale du manque de soutien au sol, l'équipe de maintenance technique a testé les coûts de capacité sont très élevés. Par conséquent, avec notre collaboration côté de la demande des entreprises peignés la demande globale, réédicté la participation de toutes les parties et la disposition des tâches, la formation d'un mécanisme de coopération très clairs (comme indiqué ci-dessous).
Dans ce mode, avec le côté commercial, la plate-forme de test client et les services de miroir exercent leurs fonctions, leur attention sur leurs domaines d'expertise, pour former un 1 + 1 + 1 > 3 du modèle de développement collaboratif.
Sur la base de ce modèle, nous avons ouvert la construction des tests de performance générale. Cela comprend plusieurs parties:
Méthode d'essai d'entraînement normalisé, fournissant extrémité double (Android et iOS) d'exécution d'un programme d'automatisation cohérente;
environnement de test normalisé, pour assurer l'exactitude des tests de performance, méthodes d'essai prennent toute l'aide d'un externe (comme la capture vidéo et l'enregistrement de l'écran ne passe pas par le tir à l'extérieur), alors que la température de l'environnement de test, environnement réseau, et la capture vidéo nécessaire la luminosité, la contrôlabilité de tir et de mettre en avant des exigences strictes;
programme de test standardisé, quel type de sélection de l'équipement, ce test de scénarios, et l'exécution du système et les résultats des points de collecte ont été données pour normaliser la normalisation;
Services du processus d'essai, une partie d'exécution de test de l'ensemble comme un service fourni par la capacité à sortir de la plate-forme, et d'autres plates-formes et processus peuvent servir l'amarrage, l'atterrissage dans la plate-forme de service rapidement et les processus de libération.
Différentes entreprises ont des capacités d'automatisation secondaires sélectionnées à l'origine, le mode d'entraînement intégré ne sont pas unifiés, la gestion des cas de test et l'adaptation plus difficile, réutilisabilité n'est pas idéal. Promouvoir essai routier normalisé, les parties sur la base d'un plan unifié pour promouvoir le développement global est la base de tests de performance standardisés. Sur la base de l'analyse de la demande d'essai, nous avons choisi le cadre test basé groupe fourmis Totoro Appium améliorée à partir, et l'interface de Totoro selon un deuxième paquet besoins tests Youku, atteindre leur cadre de test axé sur l'automatisation.
Le programme d'évaluation normalisés, nous avons identifié la configuration de la priorité de l'équipement d'essai. Afin de mieux quantifier les performances des différents modèles, nous avons comptabilisé sur la base Youku modèles en ligne dans le TOP30, projeté en fonction des circonstances de son score de performance, et, finalement, déterminer haute, moyenne et modèles bas de gamme 3 comme une charge d'essai machine, scénario test de sélection et la construction de la référence à un scénario d'utilisation centrés sur l'utilisateur ont été sélectionnés pour faire en sorte que l'expérience utilisateur est maximisée protection.
La normalisation de l'environnement de test est un programme de test de performance commun en plusieurs parties. Nous savons que l'effet de la température sur la performance du téléphone est relativement grande, et certains modèles même vers le bas la protection et à la protection de charge se produit à des températures élevées. température Test affecte grandement le processus de test réentrée, un test détermine si peut être accepté le programme. Compte tenu de la nécessité d'une prise de vue externe, l'environnement de test doit être un environnement relativement fermé pour assurer le respect des besoins de prise de vue de luminosité ambiante, que le contrôle de la température de refroidissement mis en avant des exigences plus élevées.
Dans le choix des équipements de tir, nous devons tenir compte de la qualité de la prise de vue, le matériel de contrôle et les coûts des logiciels et fusillés. la qualité de prise de vue n'est pas une répétition. tir contrôlabilité fait référence au degré des dispositifs de prise de vue peuvent être configurés et fiables, parce a été tourné la scène et l'objet de nombreux modèles de machines, l'équipement de tir doit avoir une grande flexibilité et de maintenir une grande qualité de prise de vue, par exemple:
paramètres d'imagerie de base tels que la résolution, le débit binaire, le débit binaire, le format de codage, et ont donc besoin réglable;
Les paramètres avancés mise en scène, régler les paramètres d'exposition, la possibilité d'ajuster la mise au point, l'exposition et la capacité de verrouillage de mise au point;
matériel et des coûts raisonnables logiciels. Peut-être que certains lecteurs se sentent si compliqué et difficile, pourquoi ne pas enregistrer l'écran le chemin, il ne convient pas. Après avoir test, programme d'enregistrement écran pour 10% ou plus de l'impact sur les modèles bas de gamme contiennent des données de performance, et ce biais flottera ainsi que des changements dans la scène de test. Cette exigences de haute précision pour les tests de performance est presque inacceptable. Par conséquent, le test de performance générale de Youku de la petite enfance sur le choix des programmes en dehors de tir.
Grâce à la recherche et l'environnement test pour le programme de tir, le premier de l'environnement de test de performance générale pour construire sur des boîtes en carton et mille téléphones Android niveau, l'effet est le suivant.
La raison en est que le choix du plateau de carton peut rapidement compléter l'environnement d'assemblage et d'essai, et la plasticité est très bonne. téléphone Android comme un dispositif de sélection est prise en comparant plusieurs caméras, équipements de photographie professionnelle ainsi qu'une variété de choix après la prise de vue Andrews et le contrôle du téléphone. En utilisant ce qui précède cet environnement, dans un laboratoire complet + soins du ventilateur d'air conditionné, les tests généraux de performance dans un court laps de temps pour répondre aux besoins de base du test d'affaires. Cependant, l'inconvénient de cet environnement est également très évident: moins standardisés, une forte dépendance sur l'environnement extérieur. À cette fin, nous avons développé et construit un nouvel environnement de test, dispositif de support de test fournit un ensemble normalisé de plug-ins peuvent être prolongés.
Le déploiement de l'équipement de test et de photographier appareil dans cet environnement sont normalisés, l'environnement interne de l'élément de dissipation de chaleur de bienfait de l'appareil, même dans un cas où la température extérieure au-dessus de 30 degrés, l'environnement de test et la température ambiante du dispositif sous test température de la cellule a été maintenue à environ 30 degrés et est très lisse. Les variations de la température mesurée du dispositif de batterie illustré sur la figure 17 pour démarrer ou arrêter le dissipateur de chaleur, tout l'aspect de l'environnement à un effet de maintien de la température est très évidente.
régime général basé sur l'ensemble de la plate-forme client de test de performance a été testé en tant que plate-forme de service mieux, miroir outil rempli aussi le service en ligne de la localisation de la conversion. solutions de test de performance général de fournir un service global de la forme à, très facile d'être prévu par le côté commercial de la plate-forme de test.
tests de performance générale peut atteindre plusieurs scénarios de test. test du temps de charge de classe peut être décomposé par étape. Par exemple, une fois commencé, le cadre de la page d'accueil de l'application commence le chargement, l'assemblage partiel est chargé, la charge globale est terminée, ce étapes du processus affichés, peuvent effectivement aider les équipes de développement d'analyser les goulots d'étranglement. Les résultats d'essai de l'effet d'un style de scène comme suit:
Pour les données de base relatives à l'essai, la plate-forme de test client Youku fournit un format d'affichage graphique complète, fournissant moyenne et l'écart-type dans la dimension de valeur pour faciliter l'aspect commercial des résultats d'un jugement global. DEMO schématiquement un scénario dans les résultats de l'acquisition taux de perte FPS et de trame suit:
Un effet de mémoire d'acquisition multiples échantillons d'un scénario de fuite de mémoire marquée suit:
résumé
Actuellement Youku équipe d'architecture mobile analyse intégrée des projets de tests de performance dans les questions de construction et de performance, qui vise en même temps pour terminer le test de performance, émet des recommandations de performance potentiels donnés pour aider les développeurs à localiser et résoudre rapidement les problèmes de performance. En même temps, nous avons les résultats pour améliorer encore la construction de la plate-forme, cherche à fournir plus de dimensions l'agrégation, l'analyse et la présentation. Dans une construction de l'environnement normalisé, nous sommes encore en ensemble complet de plug-in modèle et l'environnement, la lutte pour un environnement de test plus complet, plus configurable, et moins coûteux.
L'utilisation des tests de performance générale, le développement et les équipes test peuvent facilement comprendre les résultats de la validation de la performance au problème. Sur la base de cette solution, Youku la performance du support technique de qualité aux besoins de la plupart des entreprises tests, y compris principal client Youku dans une vérification de la performance spéciale en direct et l'optimisation des performances et de l'entreprise de soutien avant double 11, a joué un rôle énorme . Ce programme de tests non seulement appliquent uniquement à Youku, pour vérifier les performances d'une variété de clients peuvent tous jouer un rôle.
