Texte int�gral 5520 Mots, dur�e estim�e de l'�tude 16 Proc�s-verbaux

Source: Pexels

J'utilise souvent SQL dans mon travail. Il y a beaucoup de nuances et de limitations g�nantes, mais en derni�re analyse, c'est la pierre angulaire de l'industrie des donn�es. Par cons�quent, pour chaque travailleur dans le domaine des donn�es, SQL est indispensable. La ma�trise de SQL est d'une grande importance.

SQL est tr�s bon, mais comment pouvons-nous nous contenter de �bon�? Pourquoi ne pas manipuler davantage SQL?

Les instructions d�claratives peuvent induire des restrictions SQL, c'est-�-dire que pour rechercher des donn�es � partir de SQL, SQL trouvera et fera des commentaires dans une base de donn�es sp�cifique. Pour de nombreuses t�ches d'extraction de donn�es ou de manipulation de donn�es simples, cela suffit.

Mais que se passe-t-il s'il y a plus de demande?

Cet article vous montrera comment proc�der.

Commencez avec les bases

importer pyodbc depuis datetime import datetime classSql: def__init __ (auto, base de donn�es, serveur = "XXVIR00012,55000"): # ici, nous disons � python � quoi se connecter (notre serveur SQL) self.cnxn = pyodbc.connect ("Driver = {SQL Server Native Client 11.0};" "Serveur =" + serveur + ";" "Base de donn�es =" + base de donn�es + ";" "Trusted_Connection = yes;") # initialiser l'attribut de requ�te self.query = "- {} \ n \ n-- Made in Python" .format (datetime.now () .strftime ("% d /% m /% Y"))

Ce code est la base du fonctionnement du serveur MS SQL. Une fois que vous avez �crit ce code, la connexion � SQL via Python ne n�cessite que:

sql = Sql ('database123')

C'est simple? Plusieurs choses se sont produites en m�me temps, le code sera analys� ci-dessous. classe Sql:

La premi�re chose � noter est que ce code est contenu dans une classe. J'ai trouv� cela logique, car dans ce format, le processus d'ajout ou de suppression de cette base de donn�es particuli�re a d�j� �t� effectu�. Si vous voyez son processus de travail, la r�flexion sera plus claire.

Classe d'initialisation:

def __init __ (auto, base de donn�es, serveur = "XXVIR00012,55000"):

�tant donn� que l'auteur et ses coll�gues se connectent presque toujours au m�me serveur, j'ai d�fini le nom de ce navigateur universel comme serveur de param�tres par d�faut.

Le nom du serveur se trouve dans la bo�te de dialogue "Se connecter au serveur" ou en haut de la fen�tre MS SQL Server Management Studio:

Ensuite, connectez-vous � SQL:

self.cnxn = pyodbc.connect ("Driver = {SQL Server Native Client 11.0};" "Server =" + self.server + ";" "Database =" + self.database + ";" "Trusted_Connection = yes;")

Le module pyodbc rend cette �tape extr�mement simple. Transformez simplement la cha�ne de connexion en fonction pyodbc.connect (...), cliquez ici pour plus de d�tails.

Enfin, j'�cris g�n�ralement une cha�ne de requ�te dans la classe Sql, et la classe sql est mise � jour avec chaque requ�te pass�e � la classe:

self.query = "- {} \ n \ n - Made in Python" .format (datetime.now () .strftime ("% d /% m /% Y"))

Cela facilite l'enregistrement du code, tout en rendant la sortie plus lisible et plus confortable � lire pour les autres.

Veuillez noter que dans l'extrait de code suivant, l'auteur ne mettra plus � jour la partie self.query du code.

Tron�on

Certaines fonctions importantes sont tr�s utiles et je les utilise presque tous les jours. Ces fonctions sont ax�es sur le transfert de donn�es dans et hors de la base de donn�es.

Le r�pertoire de fichiers image suivant d�marre:

Pour ce projet en cours, vous avez besoin de:

� Importez des fichiers dans SQL

� Combinez-les en une seule table

� Cr�ation flexible de plusieurs tableaux en fonction des cat�gories dans les colonnes

Une fois la classe SQL constamment enrichie, le suivi sera beaucoup plus simple:

importer sys sys.path.insert (0, r'C: \ User \ medium \ pysqlplus \ lib ') importer os depuis data importSql sql = Sql ('database123') # initialise l'objet Sql directory = r'C: \ User \ medium \ data \ '# c'est l� que nos donn�es g�n�riques sont stock�es file_list = os.listdir (r�pertoire) # obtenir une liste de tous les fichiers pour le fichier dans file_list: # boucle pour importer des fichiers dans sql df = pd.read_csv (r�pertoire + fichier) # lire le fichier dans la trame de donn�es sql.push_dataframe (df, fichier) # maintenant, nous convertissons nos noms file_list en noms de table que nous avons import�s en SQL table_names = sql.union (table_names, 'generic_jan') # union nos fichiers dans une nouvelle table appel�e 'generic_jan' sql.drop (table_names) # supprimez nos tables d'origine car nous avons maintenant une table compl�te # obtenir la liste des cat�gories dans colX, par exemple sets = list (sql.manual ("SELECT colX AS 'category' FROM generic_jan GROUP BY colX", response = True)) pour la cat�gorie en sets: sql.manual ("SELECT * INTO generic_jan _" + cat�gorie + "FROM generic_jan OERE colX = '" + cat�gorie + "'")

Commencer � partir de z�ro.

Structure de donn�es push

defpush_dataframe (self, data, table = "raw_data", batchsize = 500): # cr�er un curseur d'ex�cution curseur = self.cnxn.cursor () # activer ex�cution rapide cursor.fast_executemany = True # create create table instruction query = "CREATE TABLE (\ n" # parcourir chaque colonne � inclure dans l'instruction create table pour i inrange (len (list (data))): requ�te + = "\ t varchar (255)". format (liste (donn�es) ) # ajouter une colonne (tout est varchar pour l'instant) # ajouter un code de connexion / instruction de fin correct si i! = len (liste (donn�es)) - 1: requ�te + = ", \ n" autre: requ�te + = "\ n);" cursor.execute (query) # ex�cute l'instruction create table self.cnxn.commit () # modifications de validation # ajouter une requ�te � notre enregistreur de code SQL self.query + = ("\ n \ n-- cr�er une table \ n" + requ�te) # ins�rer les donn�es par lots query = ("INSERT INTO ({}) \ n" .format (table, ',') + "VALEURS \ n (? {})". Format (",?" * (Len (liste (donn�es)) - 1))) # ins�rer des donn�es dans la table cible par lots de 'batchsize' pour i inrange (0, len (data), batchsize): si i + batchsize > len (donn�es): batch = data.values.tolist () autre: batch = data.values.tolist () # ex�cuter l'insertion par lots cursor.executemany (requ�te, lot) # commit insert dans SQL Server self.cnxn.commit ()
Cette fonction est incluse dans la classe SQL et peut facilement ins�rer la trame de donn�es Pandas dans la base de donn�es SQL.

Il est tr�s utile lorsque vous devez t�l�charger un grand nombre de fichiers. Cependant, la vraie raison pour laquelle Python peut ins�rer des donn�es dans SQL est sa flexibilit�.

Il est vraiment horrible d'ins�rer une �tiquette sp�cifique dans SQL pour couvrir une douzaine de classeurs Excel. Mais avec Python, c'est du g�teau. Nous avons maintenant construit une fonction qui peut lire des balises � l'aide de Python et peut �galement ins�rer des balises dans SQL.

Manuel (fonction)
defmanual (self, query, response = False): cursor = self.cnxn.cursor () # cr�er un curseur d'ex�cution si r�ponse: returnread_sql (query, self.cnxn) # r�cup�re la sortie de la requ�te sql vers le dataframe essayer: cursor.execute (query) # execute sauf erreur pyodbc.ProgrammingErroras: print ("Avertissement: \ n {}". format (erreur)) # erreur d'impression comme avertissement self.cnxn.commit () # requ�te de validation sur SQL Server retourner "Requ�te termin�e".
Cette fonction est en fait utilis�e dans les fonctions union et drop. Cela ne peut que rendre le traitement du code SQL aussi simple que possible.

Le param�tre de r�ponse peut d�compresser la sortie de la requ�te vers le DataFrame. Le colX de la table generic_jan peut �tre utilis� pour extraire toutes les valeurs uniques. L'op�ration est la suivante:
sets = list (sql.manual ("SELECT colX AS 'category' FROM generic_jan GROUP BYcolX", response = True))
Union (fonction)

Apr�s avoir construit la fonction manuelle, la cr�ation de la fonction union est simple:
d�funion (self, table_list, name = "union", join = "UNION"): # initialiser la requ�te query = "SELECT * INTO FROM (\ n" # construire la requ�te SQL query + = f '\ n {join} \ n'.join ( ) query + = ") x" # add end of query self.manual (requ�te, fast = True) # ex�cution rapide
La cr�ation d'une fonction d'union fait simplement r�f�rence au nom de table propos� par table_list pour construire une requ�te de fonction UNION pour le nom de table donn�. Utilisez ensuite le traitement self.manual (requ�te).

Drop (fonction)

Il est possible de t�l�charger un grand nombre de tables sur le serveur SQL. Bien que r�alisable, il surchargera rapidement la base de donn�es. Pour r�soudre ce probl�me, vous devez cr�er une fonction de d�p�t:
defdrop (auto, tableaux): # v�rifier si unique ou liste ifisinstance (tableaux, str): # si cha�ne unique, convertir en �l�ment unique dans la liste pour for-loop tables = pour table en tables: # v�rifier la table pr�existante et supprimer si pr�sente query = ("IF OBJECT_ID ('', 'U') IS NOT NULL" "DROP TABLE") self.manual (query) # execute
afficher rawpysqlplus_drop_short.py h�berg� avec par GitHub

Cliquez sur

https://gist.github.com/jamescalam/b316c1714c30986fff58c22b00395cc0

Obtenez une image compl�te

Encore une fois, cette fonction est extr�mement simple en raison de la fonction manuelle. L'op�rateur peut choisir d'entrer des caract�res dans le tableau, supprimer un seul tableau ou fournir un nom de liste au tableau, supprimer plusieurs tableaux.

Source: Pexels

Lorsque ces fonctions tr�s simples sont combin�es, vous pouvez profiter de Python pour enrichir consid�rablement les fonctionnalit�s de SQL.

J'utilise cette m�thode presque tous les jours, elle est simple et tr�s efficace.

J'esp�re aider d'autres utilisateurs � trouver des moyens d'incorporer Python dans leur chemin SQL, merci pour la lecture!

laissez un commentaire

Partageons ensemble les produits de base de l'apprentissage et du d�veloppement de l'IA

Si r�imprim�, veuillez laisser un message en arri�re-plan et suivre les sp�cifications de r�impression

Route de la soie

Apprenez � conna�tre la Chine

Comment utiliser Python pour r�aliser l'automatisation SQL?

Commencez avec les bases

Tron�on