云栖问答

找不到答案?去提问题

python 函数 xml 2019-01-23 17:11:33

将多个元素附加到数据框

我有一个从zillow中提取大量变量的函数。我使用lambda函数将返回的值附加到数据帧。我想知道是否有更快的方法来返回所有变量并将它们附加到数据帧而不是单独。

这是我的代码:

from xml.dom.minidom import parse,parseString
import xml.dom.minidom
import requests
import sys
import pandas as pd
import numpy as np

l_zwsid=''

df = pd.read_csv('data.csv')

def getElementValue(p_dom,p_element):

if len(p_dom.getElementsByTagName(p_element)) > 0:
   l_value=p_dom.getElementsByTagName(p_element)[0]
   return(l_value.firstChild.data)
else:
   l_value='NaN'
   return(l_value)

def getData(l_zwsid, a_addr, a_zip):

try:
    l_url='http://www.zillow.com/webservice/GetDeepSearchResults.htm?zws-id='+l_zwsid+'&address='+a_addr+'&citystatezip='+a_zip
    xml=requests.get(l_url)
    dom=parseString(xml.text)

    responses=dom.getElementsByTagName('response')

    zpid=getElementValue(dom,'zpid')
    usecode=getElementValue(dom,'useCode')
    taxyear=getElementValue(dom,'taxAssessmentYear')
    tax=getElementValue(dom,'taxAssessment')
    yearbuilt=getElementValue(dom,'yearBuilt')
    sqft=getElementValue(dom,'finishedSqFt')
    lotsize=getElementValue(dom,'lotSizeSqFt')
    bathrooms=getElementValue(dom,'bathrooms')
    bedrooms=getElementValue(dom,'bedrooms')
    totalrooms=getElementValue(dom,'totalRooms')
    lastSale=getElementValue(dom,'lastSoldDate')
    lastPrice=getElementValue(dom,'lastSoldPrice')
    latitude=getElementValue(dom, 'latitude')
    longitude=getElementValue(dom, 'longitude')

    for response in responses:
        addresses=response.getElementsByTagName('address')
        for addr in addresses:
            street=getElementValue(addr,'street')
            zipcode=getElementValue(addr,'zipcode')

        zestimates=response.getElementsByTagName('zestimate')
        for zest in zestimates:
            amt=getElementValue(zest,'amount')
            lastupdate=getElementValue(zest,'last-updated')
            valranges=zest.getElementsByTagName('valuationRange')
            for val in valranges:
                low=getElementValue(val,'low')
                high=getElementValue(val,'high')
    return longitude, latitude
except AttributeError:
    return None

df['Longtitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)
df['Latitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)
这当前不起作用,因为新列将包含经度和纬度。

1个回答

0

python小能手

你的getData函数返回一个元组,这就是为什么两列都有lat和lon的原因。一种解决方法可能是按如下方式对此函数进行参数化:

def getData(l_zwsid, a_addr, a_zip, axis='lat'):

valid = ['lat', 'lon']
if axis not in valid:
    raise ValueError(f'axis must be one of {valid}')
...
if axis == 'lat':
    return latitude
else:
    return longitude

然而,这不会提高效率会使其更慢。您的主要开销来自于为DataFrame中的每一行进行API调用,因此您受到网络性能的限制。

1
GO