外卖订单爬虫(美团,饿了么,百度外卖)

简介: 这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个 特定场景进行开发的。 适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。 主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人 如何使用 修改config目录下的production.

这个程序是用来抓取外卖平台(美团,饿了么,百度)的商户订单开发,并不是一个通用库,而是为这个 特定场景进行开发的。 适用场景:餐饮企业拥有多家外卖门店,订单量非常大,有对订单进行数据分析的需求。 主要功能:每天定时启动,抓取三大外卖平台的订单,转成成excel文件,发邮件给需要的人

如何使用

修改config目录下的production.json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
{
   "log": {
     "level": "DEBUG"
   },
   "mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },
   "imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },
   "account": [
     {
       "name": "美团xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "meituan"
     },
     {
       "name": "饿了么xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "eleme"
     },
     {
       "name": "百度xxx店",
       "username": "帐户名",
       "password": "账户密码",
       "type": "baidu"
     }
   ]
}

其中以下配置是程序中使用验证码识别的api服务, 美团,百度的商家后台都需要验证码登录 api服务使用的是聚合数据的验证码识别服务,你需要先 申请聚合数据的账号,得到key 填写到如下配置项中去。

1
2
3
"imgCode":{
     "key":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   // https://www.juhe.cn/docs/api/id/60  识别验证码api的key
   },

邮件功能需要配置详细的smtp服务地址、发件人账号名、密码、端口、是否使用ssl

1
2
3
4
5
6
7
8
9
"mail": {
     "from": "company@xxx.com", //邮件发送人
     "mailTo": "di.mu@xxx.com", //邮件接收人
     "host":"smtp.xxx.com",
     "port":25,
     "secure":false,
     "user":"company@xxx.com",  //程序使用的邮件
     "pass":"程序使用的邮件的密码"
   },

GitHub地址:https://github.com/mudiyouyou/waimai-crawler

 

转:

http://www.cnblogs.com/annie00/p/6178185.html

 

 

本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/p/7499849.html,如需转载请自行联系原作者

相关文章
|
30天前
|
数据采集 Python
爬虫实战-Python爬取百度当天热搜内容
爬虫实战-Python爬取百度当天热搜内容
65 0
|
4月前
|
数据采集 Java API
百度搜索:蓝易云【Java爬虫与Python爬虫有什么区别】
综上所述,Java爬虫和Python爬虫在语言特性、代码复杂性、生态系统、并发处理和执行性能等方面存在一些区别。选择使用哪种爬虫工具取决于具体的需求、项目要求和个人技术偏好。
42 0
|
4月前
|
数据采集 安全 JavaScript
百度搜索:蓝易云【高防IP如何防止爬虫和Web攻击?】
总之,高防IP通过多种技术和策略的综合应用,提供了强大的防御能力,可有效防止爬虫和Web攻击对服务器的威胁。它能够识别恶意流量、限制访问、拦截攻击和保护服务器的稳定性和安全性。
28 0
|
8月前
|
数据采集 Python
python网络爬虫,爬百度的示例
python网络爬虫,爬百度的示例
93 2
|
11月前
|
数据采集 测试技术 Python
python写的爬虫,抓取百度的搜索结果,被屏蔽了怎么办?
这个问题通常是由于频繁的请求导致百度的反爬虫机制触发了验证码的保护机制
|
数据采集
百度蜘蛛ip段大全分析爬虫式
百度蜘蛛ip段大全分析爬虫式:https://www.20200824.com
341 0
|
数据采集 API Python
Python爬虫:调用百度翻译接口实现中英翻译功能
Python爬虫:调用百度翻译接口实现中英翻译功能
530 0
|
数据采集 数据库 Python
Python爬虫:利用百度短网址缩短url
Python爬虫:利用百度短网址缩短url
222 1
|
数据采集 算法
百度爬虫爬一次时间计算法则
百度爬虫爬一次时间计算法则www.20200824.com
359 0
|
数据采集 JSON 编解码
Python爬虫系列6-百度文库VIP付费数据的抓取
编程难不难?那可不是闹着玩的。不从事这一行的永远不知道这行的艰辛 俗话说的好;爬虫在手天下我有,自从学习了爬虫;看到什么都想盘它一番;直到遇到JS反爬。 不知大家有没有遇到过这种情况;就是你在网上不管是查阅资料也好还是做什么,你会发现其实很多人写的反爬一类的都只给你看结果,你根本不知道这个突破过程是怎么样的,哪怕获取到了代码又有何用;下次再给你一道题,你同样还是不会。你品,你细品...... 我觉得做任何事情一定有在短期内简单可行的方法。学习不应该是苦差事,而应该是快乐的,重要的是找到适合自己的学习方法。师者传道受业解惑!
Python爬虫系列6-百度文库VIP付费数据的抓取