Le texte intégral 2008 Les mots, lorsque l'apprentissage tout au long attendu 6 minute
Figure source: Unsplash
Ces dernières méthodes pour effectuer l'équilibrage de charge dans Apache Nifi (version 1.8.0 ^) observées ,, vous constaterez que ces méthodes sont maintenant si le groupe de processus distant est obsolète.
Dans l'Apache Nifi maintenant, après il y a une nouvelle méthode améliorée pour la charge de données d'équilibre entre les nuds du cluster. Avec l'introduction de NiFi1.8.0 connecté dans la balance de charge supplémentaire à tous les processeurs connectés. Il y a des options faciles à mettre en place, il peut charger automatiquement l'équilibre entre les nuds.
EmoteProcess groupes utilisés pour répartir la charge entre les nuds ApacheNiFi obsolètes. Vous voulez un maximum de flexibilité, la simplicité et des performances optimales, assurez-vous de mettre à niveau un flux existant, en utilisant le haut- « équilibrage de charge de connexion. »
Si vous utilisez ou Apache Nifi Cloudera Gestion des flux (CFM) est une version plus récente, la méthode peut être utilisée pour améliorer le processus d'allocation entre le processeur et le serveur. Ceci est valable pour ApacheNiFi1.8.0 et versions ultérieures, y compris la dernière version 1.10.0.
Remarque: L'équilibrage de charge ne sont plus nécessaires Groupes de processus à distance! Utilisez la charge réelle connexion équilibrée! RemoteProcess Groupes seulement pour la distribution à d'autres groupes.
Apache Nifi équilibrage de charge
Tout d'abord, nous regardons simplement Apache Nifi.
données Apache Nifi flux basés sur les concepts de programmation système d'écoulement. Il prend en charge le routage robuste et évolutive des systèmes de conversion de données, et une logique de médiation comporte à la Fig.
Nifi ayant une interface utilisateur basée sur le Web, à la conception, le contrôle, la rétroaction et la surveillance du flux de données. Il a plusieurs aspects de la qualité de service est hautement configurable, comme la tolérance aux pannes et assurer la prestation de faire la queue priorité faible latence basé sur un débit élevé. Nifi tous reçu, bifurcation, à ajouter le clonage, la modification, la transmission et finalement mis au rebut après avoir atteint l'état final dans lequel des données de configuration à grains fins pour fournir la source de données.
Apache Nifi équilibrage de charge
Depuis 2018, Apache Nifi est devenu une grande fonctionnalité.
Configurer la connexion
Il y a quelques options d'équilibrage de charge, comme « Round Robin », qui permet en cas d'échec de rééquilibrer les données vers un autre nud. Il est la taille du fichier de flux, rééquilibrer le flux de milliers de fichiers par seconde, selon. Cela est fait pour que le nud ont une chance de reprendre contact, et poursuivre le traitement.
Le cycle de l'équilibrage
stratégie d'allocation des données
Une autre option est « divisé par l'attribut » et « mono-noeud », qui sera la file d'attente de données jusqu'à ce qu'un seul noeud ou une partition de noeud renvoyé. Pour être portable, mais ne peut pas choisir les nuds du cluster pour effectuer ce processus.
En raison de la nécessité de dynamique et de l'élasticité, il n'a besoin que d'être un nud. Il permet « des données similaires » envoyées au même nud du cluster, qui est utilisé pour certains modes de réalisation peuvent être nécessaires.
La charge de table combinée par exemple, l'utilisation du nom de la propriété personnalisée d'itinéraire très efficace. Vous pouvez également choisir de ne pas l'équilibrage de charge.
Figure source: Unsplash
Apache Nifi expansion élastique
Nifi ajoute une importante nouvelle fonctionnalité qui permet handicapés et déconnecté de la connexion de nud de cluster, et démonte toutes les données. Ceci est important pour dynamique Kubernetes et mise à l'échelle flexible.
Pour le jour de l'année ou dans les différentes charges de travail, tels que la charge de travail hebdomadaire ou horaire, l'expansion élastique est très important - et l'ampleur des délais SLA se rencontrent, mais revus à la baisse autant que possible pour économiser sur les dépenses des nuages! Maintenant, Nifi non seulement résolu le problème des données, mais aussi économiser de l'argent.
affinité de noeud ApacheNiFi
RemoteProcess Groupes ne prend pas en charge l'association de noeuds. Par attributs associés au noeud par partitionnement appui à la stratégie, et a de nombreuses utilisations.
Groupes de processus à distance
Utilisé pour remplacer le précédent mode de réalisation Dayong RemoteProcess groupes. Pour la première connexion, il y a une meilleure solution, par exemple en cours d'exécution sur un nud ListSFTP, vous pouvez connecter un « Round Robin ».
cas d'utilisation importants
Figure source: Unsplash
Apache Nifi Cette charge fonctionnalités d'équilibrage dans le bord de l'écran, ou d'autres grands ensembles de données distribués centres de données, ou la saisie des données non structurées, et la possibilité de fractionner la transmission, puis en utilisant le noeud attributs impliquant des données de recombinaison dans un ordre spécifique.
Par conséquent, l'exportation parfois de grandes quantités de données d'un système de grande capacité, comme une exportation de base de données relationnelle dump d'un fichier volumineux de la tuberculose. Cela nécessite un nud Nifi pour charger le fichier, puis divisé en blocs pour la transmission, et transmis au noeud pour le traitement. Parfois, les enregistrements de tri nécessitent l'utilisation d'une propriété de bloc de corrélation (par exemple, la même table) maintenus ensemble sur le noeud.
Il applique également au fichier zip contenant de nombreux types de fichiers. En règle générale, il y aura des centaines de fichiers avec une variété de types, besoin d'aller au même nud en fonction du nom de fichier de la route racine (root). Ainsi, un nud Nifi traitera tous les types de fichiers ou de la même table.
Ceci est la raison pour laquelle tous les utilisateurs Nifi peuvent facilement réaliser ce qui se passe et la vérification de processus ETL.
Avez-vous des questions? Bienvenue dans la zone de commentaires pour laisser vos empreintes de pas yo!
pouces Message attention
Ensemble, nous partageons l'apprentissage et le développement de l'IA sec
Tels que réimprimer, s'il vous plaît laisser un message dans les coulisses, se conformer aux normes de réimpression
