Présentation de la plateforme: cadre emsite est un cadre de coulisses automatique de développement rapide distribué, en utilisant Dubbo comme cadre de la couche de service, l'arrière-plan sera intégré l'authentification unique, Auth2.0, tempête + kafka système de messagerie, kafka + flume + tempête + hdfs + Hadoop comme le système d'analyse du journal, centre de distribution, système tâche de planification distribuée, le système de surveillance en temps réel de serveur, système de moteur de recherche (ElasticSearch). Au-dessus de toutes les principales fonctions seront intégrées dans le projet en tant que modulaire.

cadre introduction

• cadre emsite est basé sur le nombre excellent projet open source, ensemble très intégré fait de l'efficacité, de haute performance, haute sécurité, framework open source Java EE pour le développement rapide de la plate-forme automatisée distribuée. Le système est livré avec des fonctionnalités de la version de développement incrémentales automatiques.
• emsite se compose actuellement de cinq modules, le module module, version de développement progressif Gestion automatique du système module (SYS), génération de code (GEN) (PATCH), le module d'analyse du journal de l'opérateur (planification), module de surveillance système d'alerte précoce suivants (planification)

1, module de gestion du système, y compris la structure organisationnelle (gestion des utilisateurs, la gestion de l'agence, la direction régionale), la gestion des menus, le rôle de la gestion des droits, gestion des dictionnaires et d'autres fonctions; 2, le module de génération de code, le travail répétitif; 3, les cheveux d'incrément de version automatique, facile à la version complète itération rapide;

• emsite cadre réalisé avec la version automatique incrémentale sous-module Le module peut envoyer une génération de code supplémentaire pour la version incrémentale du git projet / gestion svn. La production totale comprend quatre options:

1, branche de serveur git soumis analyse; 2, git commit l'analyse du journal; 3, branche du serveur svn soumis à l'analyse; 4, svn commit l'analyse du journal;

plan de cadre

• emsite Dubbo employé comme cadre de la couche de service, arrière-plan intégré de connexion unique, OAuth2.0, tempête + kafka système de traitement des messages, kafka + flume + tempête + hdfs + Hadoop comme système d'analyse du journal, la configuration centrale, distribuée système de planification des tâches, le serveur système de surveillance en temps réel, le système de moteur de recherche (ElasticSearch), la fonction principale comme modulaire intégré dans le projet.
• emipre équipe en retard de deux produits:

1, système de service à la clientèle en ligne open source; 2, la plate-forme de gestion unifiée pour le numéro de micro-canal du public;

écosystème emsite

01, cadre emsite (branche principale maître indépendant) 02, emsite micro-canal plateforme de gestion de numéro public (branche indépendante wxDev) 03, emsite système open source de service à la clientèle en ligne (projets indépendants: (Https://gitee.com/hackempire/empire-ons-talk-parent)) 04, cadre emstie springboot + springcloud Version (projets indépendants: (Https://gitee.com/hackempire/emsite-cloud)) 05, cadre emsite cadre soa (projet indépendant, cadre à distance de service RPC [fusible de service, la rétrogradation, ce qui limite, asynchrone, distribué en cours, lien de surveillance complète]) 06, le déploiement progressif des projets pour soutenir les git / gitee / svn (projets indépendants: (Https://gitee.com/hackempire/patch-generator-parent)) 07, le déploiement progressif des projets de bureau pour soutenir git / gitee / svn (projets indépendants: (Https://gitee.com/hackempire/patch-generator-desk)) 08, projet de surveillance tous azimuts Adresse (projets indépendants: (Https://gitee.com/hackempire/omnipotent-monitoring))

Calendrier de réglage du cadre [où invités à se joindre]

stade:

01, mise à jour le document de finition, base de données Excel et initialisation emsite-mysql.sql mise à jour de synchronisation de rythme ---- Achevé 02, JavaMelody et le suivi druid de support distribué l'expansion de ---- exécution (ING) 03, l'optimisation du code vo, DTO couche a été séparé ---- fini 04, l'exportation de fichiers poi, l'importation de découplage optimisé ---- sursis d'exécution 05, l'intégration du système d'ordonnancement distribué ---- sursis d'exécution 06, kafka + + tempête + flume hdfs + Hadoop journal de développement de la fonction du module de système d'analyse, l'architecture du système pour optimiser le journal en cours ---- sursis d'exécution 07, le déploiement de la structure de trame statique et réglage de séparation dynamique , Les ressources du système de fichiers Cadre photo ajustement de l'architecture du serveur ---- sursis d'exécution 08, système de déploiement incrémental augmentation de programme de développement de module [SVN, GIT régime incrémental ---- Achevé 09, Apache ActiveMQ / Apache intégration du système de messagerie interne RocketMQ 10, l'optimisation de la configuration du châssis emsite, centre de configuration intégré 11, AS single sign-on, l'autorisation JWT intégré 12, n ° plate-forme publique de micro-canal pour les développeurs tiers fonctionnalités de base (nombre de la gestion publique, gestion de menu personnalisé, gestion du ventilateur, la gestion de la masse, la gestion du matériel) ---- exécution du programme 13, le développement de la surveillance des appels d'interface micro-canal 14, le système de service à la clientèle en ligne open source a.openfire + + claque micro-canal h5 + oscillation / javafx (TBD) + sip intégration du serveur (TBD) + + intelligente intégration téléphonie matérielle et logicielle de robot Des technologies alternatives: XMPP: Jabber, openfire sip: Asterisk, Cipango, FreeSwitch, SIPServer2008, OpenSIPS, Kamailio, OpenSER, sipXecx, miniSipServer, Brekeke, GNU SIP Sorcière, Mobicents, Mysipswitch, SailFin, SIP express routeur, sipX, Yate, YXA robots intelligents: robots de Turing, Baidu robots AI, Albatron hors Robot de chat intelligente 15, plug-in plate-forme publique de micro-canaux développement (Big Wheel, les magasins en ligne, forums micro-canal, centre commercial micro-canal) 16, Solr / ElasticSearch moteur de recherche intégration du système 17, documentation interface système ouvert Swagger2 Api test d'intégration du système 18, la documentation de déploiement de l'architecture du système, des didacticiels vidéo deploy, l'amélioration de la documentation wiki, module de système d'analyse de la documentation 19, la finition du programme d'intégration continue Jenkins 20, le cadre à distance de service RPC développé [fusible de service, la rétrogradation, limitation de courant, asynchrone, distribué, suivi complet-Link] 21, la gamme de produits à travers le conseil d'administration, cadre ouvert pour la formation de la communauté, cadre ouvert AC Forum 22, springboot + version springcloud cadre l'élaboration du plan d'exécution ---- 23, mybatis intégration du bouchon de pagination PageHelper, le découplage de la fonctionnalité de radiomessagerie ---- terminées 24, la fonction du module de gestion de contenu pour supprimer ---- Achevé

Deux étapes

25, emsite nouvelle mise à jour du système de gestion de base de l'interface utilisateur (Option: https: //adminlte.io) 26, les extrémités avant et arrière pour ajuster l'architecture de la fente, version 2.0 cadre (Node.js, bigpipe, KnockoutJS / AngularJS / vueJS / ReactJS en attente) 27, dao optimisation de la couche, intégrée mybatis-plus ---- rayonné 28, Activiti flux de travail + développement du module de système d'OA en ligne a été mis en veilleuse ----

cadre emsite Nouvelles

1. Le groupe d'étude pour discuter du projet, parce que le seul support d'accès IP internes et externes à chaque serveur après JavaMelody / Druid et d'autres extension décentralisée et réseau externe, comme la nécessité de soutenir le suivi distribué, la nécessité d'accroître la surveillance Contrôle et nom de domaine avec Nginx, de sorte que la section a été mis de côté la planification, tour par tour de surveillance serveur Zabbix, Tomcat-gestionnaire, sonde lambda, celle-ci ouvriront trois autres projet de groupe QQ pour documenter un programme de surveillance, une autre sera examinée plus loin dans le projet JMX système de surveillance partie auto-construit de l'ensemble, restez à l'écoute 2. La principale bonnes nouvelles: Alibaba a réussi à Dubbo projet a été officiellement remis à l'incubateur Fondation apache, apache est actuellement pas plus d'une procédure régulière plus forte que cadre de service distribué Dubbo (Soa), il est prévu Dubbo va bientôt devenir apache projet de haut niveau, et la bissectrice moitié soa services distribués avec des nuages de printemps 3. AVIS IMPORTANT: Étant donné que ce DTO Storey et oublier vo aux branches d'attraction, donc il y aura lieu directement sur la branche principale, le code soumis sont tous les codes admissibles! Si vous voulez tirer le code de transformation avant S'il vous plaît entrer dans l'onglet Articles Télécharger 4. Le dernier avis: projet emsite-Cloud a été officiellement approuvé (recherche technique dans la phase préparatoire), utilisera la technologie la plus de feu springboot + springcloud à mettre en uvre du projet du site https://gitee.com/hackempire/emsite-cloud 5. Lors de l'analyse de l'architecture, le système de gestion d'arrière-plan couche dto appropriée une architecture partiellement fendu emploiera des extrémités avant et arrière architecture de séparation .emsite, le premier plan (par exemple, la fonction micro-canal h5) dto couche utilisée comme un objet de transfert de données, Arrière-plan (par exemple, les données de gestion de micro-canaux) avant d'utiliser comme objet de transfert de données d'entité. De plus avant isolé API et à l'arrière, la partie avant des interfaces Dubbo nouvellement mis au point, etc. DTO. 6. cadre pour terminer la mise à niveau jdk1.8, spring4.2.2.RELEASE, package Maven pour mettre à niveau vers la dernière version des fonctionnalités plug-in, la version de développement incrémentales automatiques 7. version de bureau emballé supplémentaire a été mis au point, la version officielle 2.0, s'il vous plaît attention à patch-générateur-desk Adresse projet: https: //gitee.com/hackempire/patch-generator-desk

Fonctions intégrées

1, la gestion des utilisateurs: L'utilisateur est l'opérateur du système, la fonction principale du système pour terminer la configuration de l'utilisateur. 2, gestion institutionnelle: la configuration de l'organisation du système (entreprise, service, équipe), montrent la structure des arbres, peut être ajusté au niveau inférieur. 3. Gestion régionale: systèmes modèles de zone urbaine, tels que: l'entretien des niveaux national, provincial, ville, comté de. 4, gestion: Menu de configuration du système, l'autorité d'exploitation, les droits de boutons logo. 5, la gestion des rôles: le rôle des droits de menu mission, définir la portée du rôle de la division des données de l'autorité par l'agence. 6, gestion des dictionnaires: données fixes pour certaines tâches d'entretien du système utilisé plus souvent, par exemple: si les hommes et les femmes, la classe, le grade et ainsi de suite. 7, le journal d'opérations: log fonctionnement normal du système et de la demande, et demande d'informations d'anomalie du système de journalisation. 8, le moniteur de pool de connexion: surveillance bénéfice état du pool de connexion de base de données du système peuvent être analysés afin d'identifier les goulots d'étranglement SQL.

Pourquoi emsite

1, en utilisant le protocole licence Apache 2.0, le code source est complètement ouvert, sans contraintes commerciales. 2, en utilisant le cadre mainstream actuel de développement Java EE, facile à apprendre, l'apprentissage à faible coût. 3, base de données illimitée, prend actuellement en charge MySql, Oracle, évolutive SQL Server, PostgreSQL, H2 et ainsi de suite. 4, la conception modulaire, une hiérarchie claire. Fonctions intégrées d'une série de gestion de l'information de base. 5, l'autorité d'exploitation contrôle précis et minutieux, tous les liens de gestion sont des autorisations vérifiées, vous pouvez contrôler sur le bouton. 6, contrôle d'accès aux données précises et détaillées, données spécifié des autorisations pour filtrer, choisir parmi sept types d'accès aux données. 7, pour fournir des fonctionnalités en ligne des outils de génération de code pour améliorer l'efficacité du développement et de la qualité. 8, un type d'emballage outils couramment utilisés, l'enregistrement, le cache, vérifiez, dictionnaires et d'autres organisations, étiquettes couramment utilisées (taglib), l'acquisition de l'organisation actuelle, les dictionnaires de données. 9, est compatible avec la plupart des navigateurs les plus populaires (IE7 +, Chrome, Firefox). 10, les solutions les plus populaires distribuées. 11, Dubbo apache Fondation a officiellement entré la trappe, le meilleur pour l'avenir peut être dit avoir chaque moitié assis sur un cadre de service distribué et de nuages au printemps.

Sélection de la technologie

1, l'extrémité arrière

un, le cadre de base: Spring Framework 4.2.2 b, cadre service distribué: dubbo2.5.8, Dubbo-admin, Dubbo-moniteur c, les composants de coordination distribuée: zookeeper3.4.6 d, suivi Service: Hydra (Jingdong) e, la configuration distribuée: apollo (Cheng) / disconf (Baidu) / diamant (Ali) d, cadre de sécurité: Apache 1.2 Shiro e, le cadre de la vue: Spring MVC 4.2.2 f, validation côté serveur: Hibernate Validator 5.2 g, cadre de mise en page: SiteMesh 2.4 h, tâche planification: printemps Tâche 4.2.2 i, la persistance cadre: mybatis 3.2 j, pool de connexions de base de données: Alibaba Druid 1.0 k, cadre cache: Ehcache 2.6, Redis l, gestion des journaux: SLF4J 1.7, Log4j m, outils de gestion de base de données (initialisation de sauvegarde): DBUnit (actuellement utilisé), la voie de migration n, des outils: Apache Commons, Jackson 2.2, 1.4 Xstream, Dozer 5.3, POI 3.9 o, l'architecture de surveillance: serveur Zabbix, gestionnaire-Tomcat, sonde lambda, chat p, programme d'intégration continue: Jenkins

2, l'extrémité avant

un, cadre JS: jQuery 1.9. b, cadre CSS: Twitter Bootstrap 2.3.1 (fond stable, zone UI doit être améliorée en fonction de réformer leur propre droit). c, authentification du client: validation JQuery Plugin 1.11. d, éditeur de texte en ligne riche: CKEditor e, gestion des documents en ligne: CKFinder f, onglet dynamique: Jerichotab g, framework client mobile: Jingle h, tableaux de données: jqGrid i, la boîte de dialogue: jQuery JBOX j, déroulant boîte de sélection: jQuery Select2 k, contrôles d'arbres: jQuery zTree l, le contrôle de la date: My97DatePicker

3, la plate-forme

un middleware du serveur: la spécification (Servlet 3.0, JSP 2.1) Java EE 5 en cours de développement, avec un serveur d'applications middleware supports Tomcat 7 +, Jboss 7+, WebLogic 10 +, WebSphere 8+. b, prise en charge de la base de données: base de données prend en charge actuellement uniquement MySql ou Oracle, mais sans s'y limiter à la base de données, en laissant d'autres plates-formes de bases de données pris en charge les interfaces, vous pouvez facilement Les modifications apportées à d'autres bases de données, telles que: SqlServer 2008, MySql 5.5, H2, etc. c, environnement de développement: Jdk1.7 + (par défaut jdk1.8), (Eclipse Java EE 4.3 | m-3.6.2.RELEASE | myeclipse10), Maven 3.2 +, Git

considération la sécurité

un langage de développement: Le système utilise le développement du langage Java, avec une excellente polyvalence, l'efficacité, la portabilité et la sécurité plate-forme. b, conception hiérarchique :( couche de base de données, couche d'accès aux données, niveau logique métier, couche de présentation), claire, couplage faible, les couches doivent être paramétrés via une interface d'accès et de l'école Test (tels que: la couche d'affichage non manipuler directement la base de données), pour assurer un fonctionnement en toute sécurité des données. c, l'authentification à deux facteurs: la validation de la soumission double formulaire utilisateur: pour empêcher un utilisateur malveillant, y compris la validation côté serveur et authentification du client à modifier (tels que les champs de texte non écrit par un navigateur, caché falsification variable, télécharger des fichiers illégaux, etc.), une opération de saut d'authentification du client de la base de données. d, Code de sécurité: Formulaire utilisateur à soumettre toutes les données sont codées en toute sécurité sur le côté serveur, pour empêcher les utilisateurs illégaux pour soumettre l'injection SQL et l'accès au script aux données sensibles, pour assurer la sécurité des données. E, le cryptage par mot de passe: mot de passe utilisateur de connexion de hachage SHA1 crypté, cette méthode de cryptage est irréversible. Pour assurer la sécurité de la fuite de cryptogramme. f, accès obligatoire: à tous les systèmes de gestion des liens tous les pouvoirs de vérification de l'identité de l'utilisateur final, pour empêcher les utilisateurs g, le service de surveillance: Le système utilise lien service complet de surveillance Dubbo de la technologie, vous pouvez faire un positionnement précis du service

Expérience rapide

un environnement d'exploitation comprenant: JDK1.7 +, Maven3.2 + (recommandation 3.5.3), MySQL5 + ou Oracle10g +. b, télécharger projet emsite-parent, importer des plug-ins tiers CKFinder package pot au repository locale c, modifier les paramètres de réglage de la base de données \ principale \ ressources \ fichier emsite.properties. d, créer les paramètres de base de données et l'utilisateur MySQL ou Oracle correspondants en fonction des paramètres modifiés. E, la nouvelle base de données emsite Exécuter db \ init-db.bat script structure de la table d'importation et la démo Selon (Linux OS: console de commutation dans le répertoire racine du projet, exécuter la commande: mvn antrun: exécuter -Pinit-db) ou exécuté directement dans l'outil de base de données emsite fichiers emsite_mysql.sql dans le répertoire de projet web db. f, redis, à partir des composants zookeeper g, commencer projet de couche service de données emsite-services-dbs, commencé à utiliser la commande Eclipse Maven: tomcat7 propre: run (vérifier: http: // localhost: port / emsite- services-dbs apparaissent la page HelloWorld) h, commencer projet de serveur Web emsite, exécutez sous le répertoire bin \ run-tomcat7.bat ou bin \ run-jetty.bat ou utilisez l'éclipse maven commande de démarrage: propre tomcat7: course (première manche, vous devez télécharger le paquet jar à charge, s'il vous plaît soyez patient, vérifier: http: // localhost: port / emsite apparaissent page de connexion dans les coulisses). i, le plus grand compte de l'administrateur, le nom d'utilisateur: Mot de passe emsite: admin

Foire aux questions

un, ce qui indique une période de temps hors de la mémoire, de modifier les paramètres JVM: -Xmx512m -XX: MaxPermSize = 256m b, texte parfois brouillées: Modifier les éléments connecteur fichier server.xml de Tomcat, de plus en plus URIEncoding = "UTF-8" c, après le menu Nouveau Pourquoi ne pas voir le nouveau menu? En raison de problèmes de licences, la gestion des menus permet uniquement la gestion des comptes d'administrateur le plus élevé (compte administrateur par défaut: Mot de passe emsite: admin). d, un programme tiers introduit CKFinder mvn install: install-fichier -DgroupId = com.ckfinder -DartifactId = CKFinder -Dversion = 2,3 -Dpackaging = pot - Dfile = D: /thirdxsd/ckfinder-2.3.jar mvn install: install-fichier -DgroupId = com.ckfinder -DartifactId = ckfinderplugin-fileeditor -Dversion = 2,3 -Dpackaging = pot - Dfile = D: /thirdxsd/ckfinderplugin-fileeditor-2.3.jar mvn install: install-fichier -DgroupId = com.ckfinder -DartifactId = ckfinderplugin-imageresize -Dversion = 2,3 -Dpackaging = pot - Dfile = D: /thirdxsd/ckfinderplugin-imageresize-2.3.jar mvn install: install-fichier -DgroupId = com.empire -DartifactId = patch-générateur -Dversion = 0.0.1-SNAPSHOT -Dpackaging = pot - Dfile = D: /thirdxsd/patch-generator-0.0.1-SNAPSHOT.jar e, les fichiers de classe donnés projet ou package jar absence solution: 1.eclipse Cliquez Projet- > Clean- > Sélectionnez emsite tous les modules - > bien 2. Sélectionnez Parent emsite-parent Projet - > droit - > debug AS- > maven -clean 3. Sélectionnez Parent emsite-parent Projet - > droit - > debug AS- > maven -install 4. Sélectionnez le rapport emsite autre forme d'introduction du module pot d'échec du projet - > droit - > maven- > mise à jour projet- > Vérifiez en ligne, la force mise à jour des instantanés / Communiqués, mise à jour la configuration du projet à partir pom.xml, les ressources de l'espace de travail de rafraîchissement système de fichiers local, projet de nettoyage et d'autres options - > Cliquez sur OK La mise à jour est terminée et ensuite répéter les étapes 2 et 3 ci-dessus, le problème est résolu f, erreur maven configuration du projet est pas à jour avec une solution d'erreur pom.xml constaté que l'une des méthodes suivantes après le (projet Erreur d'importation: Projet configuration est mise à jour avec pom.xml. Run de configuration du projet) mettre à jour En fait, ce problème est résolu très simple: Sur le bon projet - [Maven] - [Mise à jour de configuration du projet ......] Cela ouvrira une boîte de dialogue (mise à jour Maven dépendances), puis vérifiez les éléments faux en direct et cliquez sur OK, vous obtenez. g, un service de suivi et de contrôle dubbo chaîne Télécharger Dubbo-moniteur ou d'un projet de surveillance de déploiement Dubbo-admin h, projet fichiers de configuration de ressort erreur ressort contexte dubbo.xml étiquettes Dubbo ne prennent pas en charge, s'il vous plaît dossier projet emsite association lib ci-dessous dubbo.xsd avec des outils de développement. i, le remplacement d'autres bases de données doivent modifier le fichier de configuration de connexion base de données emsite.property, en cas de modification d'ajouter sous-module et d'autres bases de données, et couvre la nécessité d'une nouvelle mondiale jdbcType méthode emsite-service-api commun pour supporter la base de données de classe globale prise d'appel. j, service de configuration de Dubbo rapporté démarrage projet ne peut pas démarrer, supprimer emsite- > webapp- > web-info- > Toutes les classes suivantes dossier des fichiers k, si jdk8 avec plug-in pour exécuter Maven-tomcat le rapport de projet invalide 1,8 cible, dans l'environnement M2_HOME dernier apache-maven-3.5.3, et l'éclipse dans la configuration jdk Par défaut VM agrments fourni: -Dmaven.multiModuleProjectDirectory = M2_HOME

Structure du projet:

01, emsite-parent module parent ---------------- maven 02, emsite-service commun-api ---- service commun-api 03, emsite-service-common-dbs ---- services communs-dbs 04, emsite-service api ----------- core-service api 05, emsite-service-dbs ----------- core-services-dbs 06, emsite ----------------------- emsite Web Administrateur 07, emsite-patch ----------------- module version de développement incrémentale emsite

Les résultats d'exploitation:

Manquer de mémoire:

printemps-outil suite (m outil de développement), la machine virtuelle Java configuré comme suit:

 -vmargs -Dosgi.requiredJavaVersion = 1,6 -Xverify: aucun -Xms1536m -Xmx1536m -Xmn512m -XX: NewSize = 512m -XX: MaxNewSize = 512m -XX: PermSize = 256m -XX: MaxPermSize = 256m -XX: + DisableExplicitGC -Xnoclassgc -XX: + UseParNewGC -XX: + UseConcMarkSweepGC -XX: CMSInitiatingOccupancyFraction = 85 -XX: + PrintGCDetails -XX: + PrintGCDateStamps -Xloggc: d: /sts-3.6.2.RELEASE/gc.log -Dorg.eclipse.swt.browser.IEVersion = 10001 -Dcon.sun.management.jmxremote

1.emsite-service Dbs Figure Effet mémoire:

enduits de mémoire 2.emsite

Emballage supplémentaire:

Adresse git: https: //gitee.com/hackempire/emsite-parent