27. Python对Mysql的操作(2)

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

1.游标

游标是系统为用户开设的一个数据缓冲区,存放SQL语句的执行结果

用户可以用SQL语句逐一从游标中获取记录,并赋给主变量,交由python进一步处理,一组主变量一次只能存放一条记录

仅使用主变量并不能完全满足SQL语句向应用程序输出数据的要求

游标提供了一种对从表中检索出的数据进行操作的灵活手段,就本质而言,游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标总是与一条SQL 选择语句相关联因为游标由结果集(可以是零条、一条或由相关的选择语句检索出的多条记录)和结果集中指向特定记录的游标位置组成。当决定对结果集进行处理时,必须声明一个指向该结果集的游标。

常用方法:

cursor():    创建游标对象

       close():      关闭此游标对象

       fetchone(): 得到结果集的下一行

       fetchmany([size = cursor.arraysize]): 得到结果集的下几行

       fetchall():    得到结果集中剩下的所有行

       excute(sql[, args]):执行一个数据库查询或命令

       executemany (sql, args):执行多个数据库查询或命令

举例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
import  MySQLdb
def  connect_mysql():
     db_config  =  {
         'host' '192.168.48.128' ,
         'port' 3306 ,
         'user' 'xiang' ,
         'passwd' '123456' ,
         'db' 'python' ,
         'charset' 'utf8'
     }
     cnx  =  MySQLdb.connect( * * db_config)
     return  cnx
     
if  __name__  = =  '__main__' :
     cnx  =  connect_mysql()
     cus  =  cnx.cursor()
     sql   =  '''select * from employees;'''
     try :
         cus.execute(sql)
         result1  =  cus.fetchone()
         print ( 'result1:' )
         print (result1)
         result2  =  cus.fetchmany( 1 )
         print ( 'result2:' )
         print (result2)
         result3  =  cus.fetchall()
         print ( 'result3:' )
         print (result3)
         cus.close()
         cnx.commit()
     except  Exception as e:
         cnx.rollback()
         print ( 'error' )
         raise  e
     finally :
         cnx.close()

结果:

result1:

(1001L, u'li', u'M', datetime.date(2015, 4, 1))

result2:

((1002L, u'xian', u'M', datetime.date(2015, 4, 1)),)

result3:

((1003L, u'sheng', u'M', datetime.date(2015, 4, 1)),)


解释:

1,先通过 MySQLdb.connect(**db_config) 建立mysql连接对象

2,在通过 cus = cnx.cursor() 创建游标

3,fetchone():在最终搜索的数据中去一条数据

4,fetchmany(1) 在接下来的数据中在去1行的数据,这个数字可以自定义,定义多少就是在结果集中取多少条数据。

5,fetchall()是在所有的结果中搞出来所有的数据。


执行多条语句的sql时要注意,请阅读一下代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
from  demon2  import  connect_mysql
import  MySQLdb
def  connect_mysql():
     db_config  =  {
         "host" "192.168.48.128" ,
         "port" 3306 ,
         "user" "xiang" ,
         "passwd" "123456" ,
         "db" "python" ,
         "charset" "utf8"
     }
try :
     cnx  =  MySQLdb.connect( * * db_config)
except  Exception as e:
     raise  e
     return  cnx
     
if  __name__  = =  "__main__" :
     sql  =  "select * from tmp;"
     sql1  =  "insert into tmp(id) value (%s);"
     param  =  []
     for  in  xrange ( 100 130 ):
         param.append([ str (i)])
     print (param)
     cnx  =  connect_mysql()
     cus  =  cnx.cursor()
     print ( dir (cus))
     try :
         cus.execute(sql)
         cus.executemany(sql1, param)
         # help(cus.executemany)
         result1  =  cus.fetchone()
         print ( "result1" )
         print (result1)
         result2  =  cus.fetchmany( 3 )
         print ( "result2" )
         print (result2)
         result3  =  cus.fetchall()
         print ( "result3" )
         print (result3)
         cus.close()
         cnx.commit()
     except  Exception as e:
         cnx.rollback()
         raise  e
     finally :
         cnx.close()


2.数据库连接池

python编程中可以使用MySQLdb进行数据库的连接及诸如 查询/插入/更新 等操作,但是每次连接mysql数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对mysql的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

7ff1216482fecbf00a8ebb867a4790ca.png

python的数据库连接池包 DBUtils:

DBUtils是一套Python数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。

DBUtils来自Webware for Python。


DBUtils提供两种外部接口:

* PersistentDB :提供线程专用的数据库连接,并自动管理连接。

* PooledDB :提供线程间可共享的数据库连接,并自动管理连接。


下载地址:

https://pypi.python.org/pypi/DBUtils/

下载解压后,使用命令进行安装

# python setup.py install

或者使用

# pip install DBUtils


举例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import  MySQLdb
from  DBUtils.PooledDB  import  PooledDB
db_config  =  {
     "host" "192.168.48.128" ,
     "port" 3306 ,
     "user" "xiang" ,
     "passwd" "123456" ,
     "db" "python" ,
     "charset" "utf8"
}
pool  =  PooledDB(MySQLdb,  5 * * db_config)       # 5默认为连接池里的最少连接数
conn  =  pool.connection()             # 以后每次需要数据库连接就是用 connection() 函数获取连接就好了
cur  =  conn.cursor()
SQL  =  "select * from tmp;"
=  cur.execute(SQL)
=  cur.fetchall()
print (r)
cur.close()
conn.close()


PooledDB的参数:

1. mincached,最少的空闲连接数,如果空闲连接数小于这个数,pool会创建一个新的连接

2. maxcached,最大的空闲连接数,如果空闲连接数大于这个数,pool会关闭空闲连接

3. maxconnections,最大的连接数,

4. blocking,当连接数达到最大的连接数时,在请求连接的时候,如果这个值是True,请求连接的程序会一直等待,直到当前连接数小于最大连接数,如果这个值是False,会报错,

5. maxshared 当连接数达到这个数,新请求的连接会分享已经分配出去的连接

总结:

uwsgi中,每个http请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个http请求中需要的sql连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

1.在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度

2.关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接



3.设计表结构

在操作数据库之前,先要设计数据库表结构,通过分析经典的学生、课程、成绩、老师几者之间的关系,先来分析各个主体之间都有什么属性,并确定表结构;

在实际开发过程中,根据业务需要和业务属性,设计不同的表结构;

以下是学生、课程、成绩、老师几者关系设计的表结构:

c9006236c5f5fd16f034d8d38ffcafca.png96352619f581ef2d2f85480f3440e635.png775940587cbc1e8eb0d83b7460e39e61.png8ef451d94cc9a05f0eb406def58a141b.png



本文转自 听丶飞鸟说 51CTO博客,原文链接:http://blog.51cto.com/286577399/1983939

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
25天前
|
缓存 NoSQL 关系型数据库
在Python Web开发过程中:数据库与缓存,MySQL和NoSQL数据库的主要差异是什么?
MySQL是关系型DB,依赖预定义的表格结构,适合结构化数据和复杂查询,但扩展性有限。NoSQL提供灵活的非结构化数据存储(如JSON),无统一查询语言,但能横向扩展,适用于大规模、高并发场景。选择取决于应用需求和扩展策略。
114 1
|
1月前
|
数据格式 Python
如何使用Python的Pandas库进行数据透视图(melt/cast)操作?
Pandas的`melt()`和`pivot()`函数用于数据透视。基本步骤:导入pandas,创建DataFrame,然后使用这两个函数转换数据格式。示例代码展示了如何通过`melt()`转为长格式,再用`pivot()`恢复为宽格式。输入数据是包含'Name'和'Age'列的DataFrame,最终结果经过转换后呈现出不同的布局。
39 6
|
1月前
|
XML 关系型数据库 MySQL
python将word(doc或docx)的内容导入mysql数据库
用python先把doc文件转换成docx文件(这一步也可以不要后续会说明),然后读取docx的文件并另存为htm格式的文件(上一步可以直接把doc文件另存为htm),python根据bs4获取p标签里的内容,如果段落中有图片则保存图片。(图片在word文档中的位置可以很好的还原到生成的数据库内容) 我见网上有把docx压缩后解压获取图片的,然后根据在根据xml来读取图片的位置,我觉得比较繁琐。用docx模块读取段落的时候还需要是不是判断段落中有分页等,然而转成htm之后就不用判断那么多直接判断段落里的样式或者图片等就可以了。
22 1
|
21天前
|
存储 SQL 关系型数据库
【MySQL】4. 表的操作
【MySQL】4. 表的操作
21 0
|
16天前
|
人工智能 机器人 C++
【C++/Python】Windows用Swig实现C++调用Python(史上最简单详细,80岁看了都会操作)
【C++/Python】Windows用Swig实现C++调用Python(史上最简单详细,80岁看了都会操作)
|
20天前
|
缓存 关系型数据库 MySQL
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
|
4天前
|
SQL 关系型数据库 MySQL
Python与MySQL数据库交互:面试实战
【4月更文挑战第16天】本文介绍了Python与MySQL交互的面试重点,包括使用`mysql-connector-python`或`pymysql`连接数据库、执行SQL查询、异常处理、防止SQL注入、事务管理和ORM框架。易错点包括忘记关闭连接、忽视异常处理、硬编码SQL、忽略事务及过度依赖低效查询。通过理解这些问题和提供策略,可提升面试表现。
25 6
|
4天前
|
索引 Python
如何使用Python的Pandas库进行数据透视表(pivot table)操作?
使用Pandas在Python中创建数据透视表的步骤包括:安装Pandas库,导入它,创建或读取数据(如DataFrame),使用`pd.pivot_table()`指定数据框、行索引、列索引和值,计算聚合函数(如平均分),并可打印或保存结果到文件。这允许对数据进行高效汇总和分析。
10 2
|
11天前
|
数据采集 JSON 网络协议
「Python系列」Python urllib库(操作网页URL对网页的内容进行抓取处理)
`urllib` 是 Python 的一个标准库,用于打开和读取 URLs。它提供了一组模块,允许你以编程方式从网络获取数据,如网页内容、文件等。
34 0
|
22天前
|
Python
python使用tkinter库,封装操作excel为GUI程序
python使用tkinter库,封装操作excel为GUI程序