原文关于读取pm25.in气象数据的pyhton方法，以及浅析python json的应用
以pm25.in网站数据为例。
1、方法介绍
首先感谢pm25.in提供了优质的空气污染数据，为他们的辛勤劳动点个赞。是python3.3，windows系统，读取数据的时候用到了python的json处理的4个方法，很经典常用。所谓4个方法是：
a) json.loads()
输入string，返回json。
b) json.dumps()
输入json类型的数据，返回包含json数据的string，可以这样用的好处是可以进行按key字典排序，json.dumps( json_res, sort_keys=True).
c) json.load()
输入类文件对象，返回json对象，
json.load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)
d) json.dump()
输入json对象，用法:
json.dump(obj,fp,skipkeys=False,ensure_ascii=True,check_circular=True,allow_nan=True,cls=None, indent=None, separators=None,default=None,sort_keys=False, **kw)，obj是json对象，fp是要保存的文件。
说明：
包含utf-8编码的html在被windows系统下保存时，会在文件头有BOM，ultraedit编辑器十六进制看到开头是EF BB BF，这个事情很捣乱，导致读取json数据文件时报错，解决办法是：data_file = open(r'c:\Python33\all_data',encoding='utf_8_sig').read()
加上encoding='utf_8_sig'，否则一个json数据开头为BOM标记，整个程序无法识别。
还有要注意，整个传递值的时候，必须统一用utf-8编码，一但不用会产生很多混乱，开始没有注意耽误了不少时间。如
# 请求数据
def requestData( data_file):
# 输入str，返回json数据
json_res = json.loads(data_file, encoding='utf-8')
# 输入json，返回str，目的是排序
encodedjson = json.dumps(json_res, sort_keys=True)
# 输入str，返回json，务必要以utf-8加载json数据
decodejson = json.loads(encodedjson, encoding='utf-8')
return decodejson
2、json数据的分类
json数据分为两类:
一个是对象，如{'a':1,'b':2},或者{'c':3,'d':4}，对应python里的dict
一个是json数组，[{'a':1,'b':2},{'c':3,'d':4}],相当于2维数组，相当于python的一个list，dict里的对象的位置是随机的，要想用固定顺序需要用dict = collections.OrderedDict()，如本来是{'a':1,'b':2}，普通dict输出可能是{'b':2，'a':1},只有OrderDict才是保证{'a':1,'b':2}这样的输出。
3、pyhton的excel处理
codecs.open(out_file, 'a', 'gbk')
dictWriter = csv.DictWriter(f, list(d.keys()))
dictWriter.writeheader()是写excel文件的列名，只写一次， dictWriter.writerow(d)是按行写数据。
PS: 如果想要加入crontab 需要在文件头加#!/usr/bin/python,否则不行。
4、实现
下面全部程序：
# 请求数据 def requestData(data_file): # 输入str，返回json数据 json_res = json.loads(data_file, encoding='utf-8') # 输入json，返回str，目的是排序 encodedjson = json.dumps(json_res, sort_keys=True) # 输入str，返回json，务必要以utf-8加载json数据 decodejson = json.loads(encodedjson, encoding='utf-8') return decodejson # 输出数据 def out_data(out_file, d): if not os.path.exists(out_file): print(out_file) header = False else: header = True f = codecs.open(out_file, 'a', 'gbk') dictWriter = csv.DictWriter(f, list(d.keys())) # only write header when create a new csv if not header: dictWriter.writeheader() dictWriter.writerow(d) f.close() # 主程序 if __name__ == '__main__': # data_file = open(r'c:\Python33\all_data',encoding='utf_8_sig').read() nowstrp = time.localtime() out_file = time.strftime('%Y%m%d', nowstrp) + '.csv' d = collections.OrderedDict() headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey(appkey自己去申请，5工作日给答复)' # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0) # 创建request请求 url_request = urllib.request.Request(chaper_url, data=None, headers=headers) # 打开网址 url_file = urllib.request.urlopen(url_request) if (url_file.getcode() == 200): chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey' else: chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey' try: print(chaper_url) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0) # 创建request请求 url_request = urllib.request.Request(chaper_url, data=None, headers=headers) # 打开网址 url_file = urllib.request.urlopen(url_request) data_file = url_file.read().decode('utf-8') # status code: 200 OK while (url_file.getcode() != 200): raise Exception('Server connection error, status code:' + ' ') # request again after 3min time.sleep(3 * 60) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0) url_request = urllib.request.Request(chaper_url, data=None, headers=headers) url_file = urllib.request.urlopen(url_request) data_file = url_file.read().decode('utf-8') # 返回数据为json格式 # json_res = data_file.read().decode('utf-8') decodejson = requestData(data_file) # 存储json天气数据为data_json.txt f = open('data_json.txt', 'w', encoding='utf-8') json.dump(decodejson, f) f.close() # 下面一句是当数据文件为本机的文件时，才用到的必须加utf_8_sig # data_final=open(r'c:\Python33\11.txt',encoding='utf_8_sig').read() for element in decodejson: print(element) d['area'] = element['area'] d['position_name'] = element['position_name'] d['aqi'] = element['aqi'] d['co'] = element['co'] d['co_24h'] = element['co_24h'] d['no2'] = element['no2'] d['no2_24h'] = element['no2_24h'] d['o3'] = element['o3'] d['o3_24h'] = element['o3_24h'] d['o3_8h'] = element['o3_8h'] d['o3_8h_24h'] = element['o3_8h_24h'] d['pm10'] = element['pm10'] d['pm10_24h'] = element['pm10_24h'] d['pm2_5'] = element['pm2_5'] d['pm2_5_24h'] = element['pm2_5_24h'] d['primary_pollutant'] = element['primary_pollutant'] d['quality'] = element['quality'] d['so2'] = element['so2'] d['so2_24h'] = element['so2_24h'] d['station_code'] = element['station_code'] d['time_point'] = element['time_point'] # 逐行写excel文件 out_data(out_file, d) # os.system('pause') # time.sleep(180) except Exception as e: error = traceback.format_exc() + '\r\n' print(error) print('\r\n') f = codecs.open('error.log', 'a', 'utf-8') f.writelines(error) f.close() os.system('pause')
