使用Python读Excel数据Insert到MySQL

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:

#!/usr/bin/env python

#coding:utf-8

import xlrd

import MySQLdb

import datetime

 

 

xlsfile=r'C:\Users\XUWU\Desktop\data.xlsx'

book = xlrd.open_workbook(xlsfile)

#获取sheet的数量

count = len(book.sheets()) 

#设置连接数据库

database = MySQLdb.connect(host='192.168.1.30',user='root',passwd='123456',db='crm')

#设置字符集

database.set_character_set('utf8')

cursor = database.cursor()

cursor.execute('SET NAMES utf8;') 

cursor.execute('SET CHARACTER SET utf8;')

cursor.execute('SET character_set_connection=utf8;')

 

starttime = datetime.datetime.now()

print '开始时间:%s' % (starttime)

 

#循环sheet

for i in range(0,count-1):

    sheet = book.sheet_by_index(i) 

    query = """INSERT INTO bill_test ( member_id, name, tel, phone, dq_datetime, address, parking) VALUES ( %s, %s, %s, %s, %s, %s, %s)"""

    #循环每一行

    for r in range(1, sheet.nrows):

         

        #idseq      = sheet.cell(r,0).value

        member_id   = sheet.cell(r,1).value

        name        = sheet.cell(r,2).value

        tel         = sheet.cell(r,3).value

        phone       = sheet.cell(r,4).value

        #dq_datetime = sheet.cell(r,5).value

        #读日期这里要处理一下,不然全变成数字了

        dq_datetime_num=xlrd.xldate_as_tuple(sheet.cell(r,5).value,0)

        dq_datetime = '%s/%s/%s' % (dq_datetime_num[0],dq_datetime_num[1],dq_datetime_num[2])

        address     = sheet.cell(r,6).value

        parking     = sheet.cell(r,7).value

  

        values = (member_id, name, tel, phone, dq_datetime, address, parking)

        #print query,values

        cursor.execute(query, values)

     

cursor.close()

database.commit()

database.close()

endtime=datetime.datetime.now()

print '结束时间:%s' % (endtime)

print '用时:%s 秒' % (endtime-starttime)



CREATE TABLE `bill_test` (

  `idseq` mediumint(10) unsigned NOT NULL AUTO_INCREMENT,

  `member_id` int(10) DEFAULT NULL,

  `name` varchar(20) DEFAULT NULL,

  `tel` varchar(20) DEFAULT NULL,

  `phone` varchar(20) DEFAULT NULL,

  `dq_datetime` varchar(20) DEFAULT NULL,

  `address` varchar(200) DEFAULT NULL,

  `parking` varchar(200) DEFAULT NULL,

  PRIMARY KEY (`idseq`)

) ENGINE=MyISAM DEFAULT CHARSET=utf8 |


使用Python从 MySQL写数据到Excel

#!/usr/bin/env python

#coding:utf-8

 

import xlwt

import MySQLdb

import datetime

 

database = MySQLdb.connect(host='192.168.1.30',user='root',passwd='123456',db='crm')

#设置字符集

database.set_character_set('utf8')

cursor = database.cursor()

cursor.execute('SET NAMES utf8;') 

cursor.execute('SET CHARACTER SET utf8;')

cursor.execute('SET character_set_connection=utf8;')

 

starttime = datetime.datetime.now()

print '开始时间:%s' % (starttime)

 

#通过SQL得到该表有多少行,如果想取出指定的数据,只需要在后面加where条件即可。

sql2 = 'select count(*) from bill_test;';

cursor.execute(sql2)

count_rows=cursor.fetchone()[0]

 

wbk = xlwt.Workbook(encoding='utf-8',style_compression=0)

sheet = wbk.add_sheet('sheet 1', cell_overwrite_ok=True)

#设置写excel的样式

style = xlwt.XFStyle()

font = xlwt.Font()

font.name = 'Times New Roman'

#0x0190设置字体为20,默认为0x00C8 字体为10 ,0x00C8为十六进制的数字

font.height = 0x0190

font.bold = True

style.font = font

#查询得到该表有多少列

query_colums="select count(*) from information_schema.COLUMNS where TABLE_SCHEMA='crm' and table_name='bill_test';"

cursor.execute(query_colums)

count_cols = cursor.fetchone()[0]

 

sql = 'select member_id, name, tel, phone, dq_datetime, address, parking from bill_test;'

cursor.execute(sql)

 

#定义所有的列名,共7列

columnName = ['账号','名称','电话','手机','到期日期','地址','园区名称']  

#将列名插入表格,共7列

for i in range(len(columnName)):         

        sheet.write(0,i,columnName[i],style)

 

#通过循环取出每一行数据,写入excel    

for i in range(1,count_rows-1):

    data = cursor.fetchone()

    for j in range(0,count_cols-1):

        sheet.write(i,j,data[j],style)       

cursor.close()

database.close()

wbk.save('C:\Users\XUWU\Desktop\data01.xls')   

 

endtime=datetime.datetime.now()

print '结束时间:%s' % (endtime)

print '用时:%s 秒' % (endtime-starttime)


python之TXT数据导入数据库

为了导入数据,可以先对数据做些处理,让其更容易导入数据库

  

#!/usr/bin/python

#coding=utf-8

 

import _mysql,sys,time


#读入数据函数


def add_data(id,name,created_time):

    try:

        conn=_mysql.connect('127.0.0.1','root','')

        conn.query("set names utf8")

        conn.query("insert into mysql.test3(%s,%s,%s) values('%s','%s','%s')"%('object_id','object_name','created',id,name,created_time))

        result=conn.use_result()

        conn.close()

    except _mysql.Error,e:

        print ("error %d:%s" % (e.args[0],e.args[1]))

        sys.exit(1)

if __name__ =="__main__":

    f= open("/opt/testdata/aaa.txt","r")

     

    time1=time.time()

    print time.ctime()

    #读出第一行数据,作为数据表的段名

    line=f.readline()

    content=line.strip().split(",")

    conn0=_mysql.connect('127.0.0.1','root','')

    print 'connection is builded succesfully'

    conn0.query("drop table if exists mysql.test3")

    conn0.query("create table mysql.test3(%s varchar(90),%s varchar(90),%s varchar(90))"%(content[0][1:-1],content[1][1:-1],content[2][1:-1]))

    conn0.close()

    #运用next函数,让for循环从第二行开始读数据

    next(f)

    for line in f:

       #做一些处理,让每一段分开,放置在一个列表中

       content=line.strip().split(",")

       add_data(id=content[0][1:-1],name=content[1][1:-1],created_time=content[2][1:-1])

        

    f.close()

     

    time2=time.time()

    print time.ctime()

    #计算导入数据的时间

    print 'importing time is %f'%(time2-time1)










本文转自 chengxuyonghu 51CTO博客,原文链接:http://blog.51cto.com/6226001001/1901651,如需转载请自行联系原作者
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
235
分享
相关文章
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
564 10
从Excel到Hadoop:数据规模的进化之路
从Excel到Hadoop:数据规模的进化之路
51 10
Python中使用MySQL模糊查询的方法
本文介绍了两种使用Python进行MySQL模糊查询的方法:一是使用`pymysql`库,二是使用`mysql-connector-python`库。通过这两种方法,可以连接MySQL数据库并执行模糊查询。具体步骤包括安装库、配置数据库连接参数、编写SQL查询语句以及处理查询结果。文中详细展示了代码示例,并提供了注意事项,如替换数据库连接信息、正确使用通配符和关闭数据库连接等。确保在实际应用中注意SQL注入风险,使用参数化查询以保障安全性。
1.1 学习Python操作Excel的必要性
学习Python操作Excel在当今数据驱动的商业环境中至关重要。Python能处理大规模数据集,突破Excel行数限制;提供丰富的库实现复杂数据分析和自动化任务,显著提高效率。掌握这项技能不仅能提升个人能力,还能为企业带来价值,减少人为错误,提高决策效率。推荐从基础语法、Excel操作库开始学习,逐步进阶到数据可视化和自动化报表系统。通过实际项目巩固知识,关注新技术,为职业发展奠定坚实基础。
招行面试:100万级别数据的Excel,如何秒级导入到数据库?
本文由40岁老架构师尼恩撰写,分享了应对招商银行Java后端面试绝命12题的经验。文章详细介绍了如何通过系统化准备,在面试中展示强大的技术实力。针对百万级数据的Excel导入难题,尼恩推荐使用阿里巴巴开源的EasyExcel框架,并结合高性能分片读取、Disruptor队列缓冲和高并发批量写入的架构方案,实现高效的数据处理。此外,文章还提供了完整的代码示例和配置说明,帮助读者快速掌握相关技能。建议读者参考《尼恩Java面试宝典PDF》进行系统化刷题,提升面试竞争力。关注公众号【技术自由圈】可获取更多技术资源和指导。
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
514 15
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
260 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
利用Python将Excel快速转换成HTML
本文介绍如何使用Python将Excel文件快速转换成HTML格式,以便在网页上展示或进行进一步的数据处理。通过pandas库,你可以轻松读取Excel文件并将其转换为HTML表格,最后保存为HTML文件。文中提供了详细的代码示例和注意事项,帮助你顺利完成这一任务。
161 0
|
6月前
|
python读写操作excel日志
主要是读写操作,创建表格
91 2
Mysql学习笔记(四):Python与Mysql交互--实现增删改查
如何使用Python与MySQL数据库进行交互,实现增删改查等基本操作的教程。
107 1

热门文章

最新文章