开发者社区> 问答> 正文

将多个元素附加到数据框

我有一个从zillow中提取大量变量的函数。我使用lambda函数将返回的值附加到数据帧。我想知道是否有更快的方法来返回所有变量并将它们附加到数据帧而不是单独。

这是我的代码:

from xml.dom.minidom import parse,parseString
import xml.dom.minidom
import requests
import sys
import pandas as pd
import numpy as np

l_zwsid=''

df = pd.read_csv('data.csv')

def getElementValue(p_dom,p_element):

if len(p_dom.getElementsByTagName(p_element)) > 0:
   l_value=p_dom.getElementsByTagName(p_element)[0]
   return(l_value.firstChild.data)
else:
   l_value='NaN'
   return(l_value)

def getData(l_zwsid, a_addr, a_zip):

try:
    l_url='http://www.zillow.com/webservice/GetDeepSearchResults.htm?zws-id='+l_zwsid+'&address='+a_addr+'&citystatezip='+a_zip
    xml=requests.get(l_url)
    dom=parseString(xml.text)

    responses=dom.getElementsByTagName('response')

    zpid=getElementValue(dom,'zpid')
    usecode=getElementValue(dom,'useCode')
    taxyear=getElementValue(dom,'taxAssessmentYear')
    tax=getElementValue(dom,'taxAssessment')
    yearbuilt=getElementValue(dom,'yearBuilt')
    sqft=getElementValue(dom,'finishedSqFt')
    lotsize=getElementValue(dom,'lotSizeSqFt')
    bathrooms=getElementValue(dom,'bathrooms')
    bedrooms=getElementValue(dom,'bedrooms')
    totalrooms=getElementValue(dom,'totalRooms')
    lastSale=getElementValue(dom,'lastSoldDate')
    lastPrice=getElementValue(dom,'lastSoldPrice')
    latitude=getElementValue(dom, 'latitude')
    longitude=getElementValue(dom, 'longitude')

    for response in responses:
        addresses=response.getElementsByTagName('address')
        for addr in addresses:
            street=getElementValue(addr,'street')
            zipcode=getElementValue(addr,'zipcode')

        zestimates=response.getElementsByTagName('zestimate')
        for zest in zestimates:
            amt=getElementValue(zest,'amount')
            lastupdate=getElementValue(zest,'last-updated')
            valranges=zest.getElementsByTagName('valuationRange')
            for val in valranges:
                low=getElementValue(val,'low')
                high=getElementValue(val,'high')
    return longitude, latitude
except AttributeError:
    return None

df['Longtitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)
df['Latitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)
这当前不起作用,因为新列将包含经度和纬度。

展开
收起
一码平川MACHEL 2019-01-23 17:11:33 1762 0
1 条回答
写回答
取消 提交回答
  • 你的getData函数返回一个元组,这就是为什么两列都有lat和lon的原因。一种解决方法可能是按如下方式对此函数进行参数化:

    def getData(l_zwsid, a_addr, a_zip, axis='lat'):

    valid = ['lat', 'lon']
    if axis not in valid:
        raise ValueError(f'axis must be one of {valid}')
    ...
    if axis == 'lat':
        return latitude
    else:
        return longitude

    然而,这不会提高效率会使其更慢。您的主要开销来自于为DataFrame中的每一行进行API调用,因此您受到网络性能的限制。

    2019-07-17 23:26:45
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载