Afin de répondre aux besoins croissants en bande passante des appareils embarqués dans la transmission d'images à haute définition en temps réel, ARM et Motorola et d'autres sociétés ont fait en 2003, l'accord Interface Processeur Mobile Industry (Mobile Industry Processor Interface, MIPI) pour remplacer l'interface classique de données parallèle. MIPI protocole présenté au début, il y a deux applications principales, à savoir la caméra interface série (Camera Interface série, CSI), une interface série et un dispositif d'affichage (Display Interface série, DSI). À l'heure actuelle, le protocole MIPI est largement utilisé dans divers dispositifs embarqués, tels que les téléphones intelligents, VR, des appareils portables intelligents et systèmes ADAS.
Dans cet article, un design en temps réel treillis MIPI système CSI-2, et l'image traitée peuvent être affichées en temps réel sur l'écran l'interface HDMI prend en charge jusqu'à 1080p60 résolution. Par rapport à d'autres plates-formes, la conception de systèmes à base de FPGA présente certains avantages en termes de respect des délais, le coût et la consommation d'énergie, et les mises à niveau du système.
1 système architecture matérielle
Le présent système est basé sur la vision officielle intégré Kit Lattice développement (intégré Vision Development Kit, EVDK) la conception, la trousse un total de trois cartes de circuits imprimés, respectivement MIPI plaque de pont CSI-2, ECP5 cartes de traitement d'image HDMI et planche de pont. Dans lequel, MIPI CSI-2 IMX214 carte pont appareil photo intégré et une série Sony Lattice FPGA CrossLink ; ECP5 a développé une carte de traitement d'image intégré série Lattice ECP5 FPGA et des puces de mémoire DDR3; carte de pontage utilise la Silicon Image HDMI Sil1136 société produit standard spécifique (standards spécifiques d'application de pièces, ASSP) , pour délivrer les signaux parallèles en données RGB standard HDMI à l'écran.
La conception, l'utilisation de MIPI CSI-2 CrossLink IMX214 acquisition de données de sortie, et l'analyse de protocole est terminée, la conversion d'octets de pixel. Les données résultantes sont ensuite motif Bayer, et la trame de signal valide correspondant (trame valide, FV) et la ligne de signal valide (ligne valide, LV) ECP5 transmis aux cartes de traitement d'image. Après avoir reçu les données de format Bayer de ECP5 CrossLink étiré séquentiellement linéaire contraste, la balance des blancs, la suppression des pixels morts, le format Bayer au format RGB, mise à l'échelle de l'image, l'inversion d'image, et le réglage de la saturation correction Gamma et d'autres opérations. Par la suite, les données traitées sont transmises à la plaque de pont Sil1136 HDMI RGB forme parallèle. CrossLink et la logique interne ECP5 de blocs fonctionnels sont représentés sur les figures 1 et 2.
Architecture matérielle du système de. la figure 3, l'addition de ECP5 à mettre en uvre la fonction de traitement d'image, mais aussi à travers l'interface de commande de caméra respectivement (Caméra d'interface de commande, CCI) et l'interface I2C pour configurer la caméra et le Sony IMX214 Sil1136 ASSP.
2 FPGA Module
2,1 CrossLink MIPI CSI-2 conception du module récepteur
Comme représenté, MIPI l'interface CSI-2 a quatre modes à haute vitesse et à faible puissance, le niveau du mode haute vitesse standard est un signal à basse tension peut être configuré de façon à (Scalable de signalisation basse tension, SLVS), qui est une tension de mode commun 200 mV, oscillation est 200 mV, les critères de niveau pour le mode de faible puissance LVCMOS 1,2 V. Si le CSI-2 FPGA MIPI ordinaire est connecté à une interface, nécessite généralement deux paires de IO ont été traitées en mode haute vitesse et mode de faible puissance, en utilisant le dernier appareil CrossLink treillis, il peut être directement connecté à l'MIPI dédié IO CrossLink .
Depuis MIPI CSI-2 est une des lignes de signaux différentiels en série à grande vitesse de longueurs différentes entre les interfaces, envoi et réception des extrémités soient aussi égaux que possible. Cependant, même si le PCB en stricte conformité avec les lignes de conception de la différence de longueur égale, il est difficile de faire en sorte que les signaux des différentes lignes de signaux en même temps atteindre le récepteur . Ainsi, le récepteur a besoin de données série reçues opération d'alignement d'accueil. Comme représenté, CrossLink pour MIPI CSI 2-5 opération d'alignement d'octets d'entrée de manière séquentielle en série et le canal d'opération d'alignement, B8 à la figure protocole MIPI CSI-2 est le code d'identification de synchronisation, chaque paquet de données transmis représente le début.
Comme représenté, MIPI D-PHY Module CSI-2 reçoit la sortie de données alignées sur la FIFO 1 à travers le module de contrôle des domaines d'horloge et de synchronisation octet pour le module de conversion de pixels. Après conversion à la sortie de pixel octet Sony IMX214 module de caméra 10 sorties format de Bayer (à savoir, RAW10) octets de données en données parallèles du pixel 10 bits.
2.2 ECP5 conception du module de traitement d'image
Étant donné que les données d'image directement reçues petite moyenne (exprimée en l'image est sombre), et il peut y avoir très peu de pixels pixels morts cas, donc, les données de pixels ECP5 CrossLink reçues du premier contraste linéaire élargissaient (également connu sous le nom cartographie linéaire par morceaux), réglage de la balance des blancs, et le processus de retrait des pixels morts.
6, les données d'image dans le format Bayer chaque pixel comprend une partie seulement du spectre, il est nécessaire d'obtenir des valeurs RGB de chaque pixel par interpolation. La conception d'un algorithme d'interpolation voisin commun pour mettre en uvre le format Bayer à la conversion de format RVB.
Pour adapter la résolution de l'écran, cette conception est également atteint module de mise à l'échelle d'image de ECP5, peut être 1080p (1920 x 1080) dans la résolution arbitraire (par exemple 1280 x 048 x 720,21 536, etc.). algorithme d'interpolation de l'image de mise à l'échelle est l'algorithme de base, un algorithme d'interpolation communes les plus proches méthode d'interpolation voisin, 9:00 interpolation, interpolation bilinéaire et la méthode d'interpolation bicubique. Lorsque l'interpolation du plus proche voisin et 9:00 méthode d'interpolation est relativement simple, mais l'effet est plus général, si la mise à l'échelle de l'Assemblée générale la cause mosaïque sévère ou distorsion. algorithme bicubique est le plus complexe, l'effet est le meilleur, mais consommera plus de ressources logiques FPGA. L'effet combiné de deux aspects et des ressources, la conception utilise une interpolation bilinéaire, le principe de base de l'algorithme est la suivante:
Virgule flottante coordonnées du pixel source est supposé qu'une adresse correspondant à l'adresse du pixel P cible (i + u, j + v), dans lequel la partie fractionnaire de coordonnées à virgule flottante i et j sont des nombres entiers partie, u et v sont les coordonnées en virgule flottante. Comme on le voit, la valeur de pixel F (i + u, j + v) les coordonnées de l'image originale peut être de 7 à Q11 (i, j), Q21 (i + 1, j), Q12 (i, j + 1 ) et quatre valeurs de pixel Q22 (i + 1, j + 1) est déterminée:
inversion de l'image et le besoin de conversion de fréquence d'images devant être mises en mémoire tampon au moins deux des valeurs de pixel d'image, et autant de données dans la RAM de bloc intégré de ECP5 (embedded Bloquer RAM, EBR) les ressources en mémoire tampon ne sont pas suffisantes, d'où la nécessité d'une mémoire SDRAM DDR3 externe. inversion d'image et de conversion de fréquence de trame du schéma fonctionnel illustré à la figure 8, en écrivant des données à la FIFO, la conversion complète à travers des domaines d'horloge, puis l'aide contrôleur Lattice SDRAM DDR3 IP terminé deux DDR3 SDRAM Micron particules sur la carte de développement lecture et écriture, et enfin en lisant la sortie de données de la FIFO. De plus, il est également possible de configurer ces deux signaux activer ou désactiver la fonction, ainsi que de modifier les paramètres pertinents. Nombre d'images par le module de conversion peut convertir l'image de 30 images par seconde à 60 images par seconde, soit 60 images par seconde, il est converti en 30 images par seconde.
Module de réglage de saturation valeurs RVB de pixels peuvent être ajustés simultanément et être seulement une ou plusieurs d'entre eux peut être ajustée. Le principe de base de formule (2), les valeurs RVB sont multipliés par un certain coefficient, puis en soustrayant une certaine valeur, de manière à réaliser l'adaptation à un degré particulier colorée.
Étant donné que certains moniteurs, le courant et la tension n'est pas une relation linéaire, ce qui peut conduire à des zones sombres de la plus sombre de pixels que la situation actuelle, alors que le plus lumineux de la zone lumineuse que la situation réelle. Afin de mieux en mesure de restaurer l'image réelle, la conception réalise également les fonctions de correction gamma (correction gamma) a. Les principes de base de cette formule de correction gamma (3), dans lequel Po représente une valeur après la correction, la valeur de pixel d'entrée Pi, gamma] est une valeur de coefficient gamma.
Pour faciliter le FPGA peut manipuler légèrement la formule (3). Comme on le voit en (4), où b représente la largeur de bit de la formule de valeur de pixel.
3 et l'analyse des résultats de la vérification du système
Pour vérifier la fonctionnalité du système, configuré pour Sony IMX2141 920 × 1080,60 Hz, sortie au format RAW10. entrée pertinentes et des formes d'onde de signal de sortie de la figure ECP5 recueillies par l'outil révèlent Lattice diamant. Etant donné que les signaux d'entrée MIPI CSI-2 appartenant au signal IO dédié, il ne peut pas être utilisé directement révéler des moyens d'acquisition si CrossLink simulation active du logiciel HDL de la conception, pour obtenir une forme d'onde de signal de corrélation. Et par la désactivation (ou activation) du module de fonction correspondante, l'image de sortie effet de contraste.
3.1 les formes d'onde de signal CrossLink associés à la Fig.
CrossLink diagramme de forme d'onde de simulation représenté sur la figure 9, dans lequel le signal d'horloge d'entrée est csi_clk_p MIPI CSI-2, un mode continu (mode continu). csi_d0_p, csi_d1_p, csi_d2_p et MIPI csi_d3_p à quatre canaux d'entrée de données (données) de Lane pour CSI-2. fv signal valide est une trame, lv est la ligne de signal valide, la sortie de données de pixel pixdata le format RAW10.
3.2 ECP5 formes d'onde de signal associées avec la Fig.
Révèlent ECP5 acquis diagramme de forme d'onde représentée sur la figure 10, dans lequel la trame est un signal valide CSI2_sens_fv sortie CrossLink, CSI2_sens_lv ligne de signal valide, les données de pixels de format CSI2_sens_data RAW10. VSYNC et HSYNC sont signal de synchronisation de trame et un signal de synchronisation horizontale, des données data_enable signal valide. pix_red, pix_green pix_blue chaque pixel et des valeurs RVB pour la sortie du signal.
Tableau 3.3 Comparaison des effets de traitement d'image
effet comparatif de traitement de l'image représentée sur la figure 11, afin d'assurer l'affichage, au cours de l'essai, Bayer RGB module de correction Gamma et le module a été dans un état d'énergie. . Dans lequel la figure 11 (a) est une image, à savoir, la balance des blancs est pas utilisé, l'élargissement de contraste linéaire, à l'échelle de l'image inversée, le module de réglage de la saturation;. La figure 11 (b) en utilisant uniquement l'image linéaire balance des blancs et le contraste obtenu par le module élargissement ; la figure 11 (c) en utilisant le réglage de la saturation après l'image;.. la figure 11 (d) en utilisant l'image avec l'image inversée après mise à l'échelle.
En revanche, on trouve la valeur de sortie de signal de pixel est petit IMX214 directement, de sorte que l'écran est sombre. Après traitement comme module d'élargissement linéaire du contraste, et l'image apparaît trop lumineuse et pas de couleur claire. Après un autre module de traitement de réglage de saturation, une image a obtenu de bons effets de couleur. Enfin, le module d'inversion d'image a également terminé avec succès l'image inversée opération.
4 Conclusion
Lattice FPGA est conçu et mis en uvre en temps réel d'acquisition d'image HD et le système de traitement basé sur. Son image en temps réel la capture jusqu'à 1080p60 et compléter une série de fonctions de traitement d'image en temps réel. En raison de la conception modulaire, de telle sorte qu'il a une bonne évolutivité et peut être coupé. Sur la base de cette conception, peu de changement peut également remplir la fonction de traitement d'image, par exemple, une détection de bord classique, la segmentation et coutures image. Il montre que le système a une bonne flexibilité et une grande valeur pratique.
références
MIPI Alliance, la spécification de l'Alliance pour Inc.MIPI interface série de l'appareil 2 (CSI-2) 0,2009.
Fiche de données de famille Lattice Semiconductor.CrossLink 0,2018.
Lattice Semiconductor. Sil9136-3 / Sil1136 Fiche de données de l'émetteur de couleur profonde HDMI 0,2018.
MIPI Alliance, la spécification de l'Alliance pour Inc.MIPI D-PHY 0,2009.
Kai .MIPI signaux CSI / DSI et protocole Introduction et méthodes d'essai . La technologie de mesure électronique étranger, 2012,31 (3): 11-15.
Informations sur l'auteur:
Li Xianyou 1 FORCES 1, dans une section permanente, Jianqiang 2
(Collège des sciences de l'information et de la technologie, l'Université de Donghua, Shanghai 201620, Chine; 2. Shanghai Volkswagen Automobile Co., Ltd, Shanghai 201805)
