探索云世界
活动广场
下载
下载
海量开发者使用工具、手册，免费下载
探索云世界
新学python,在做一个把爬虫爬下来的股票数据从文件插入到mysql数据库,速度很慢,不知道瓶颈是文件处理还是sql插入问题,望大神不吝赐教,感激不尽!
文件格式是形如:
两个多小时才插入45W条数据,怎么才能提速一点呢.
写回答
常识性的优化：批量插入，然后再提交，而不是插一条提交一条。
另一个常识性的优化：使用 executemany 来一次执行多条（但也不要太多）行的插入。
最后，但是也是非常重要的，请尽量不要自己拼接 SQL 语句！.execute 方法可以接受两个参数，第一个是 SQL 模板，第二个是参数值的 tuple。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
