如何将Spark Dataframe列的每个值作为字符串传递给python UDF？

您可以创建一个新的数据帧。

对于必须进行哈希处理的列，我有类似的问题。python函数定义如下：

def make_hash(txt):

import hashlib
m = hashlib.sha256()
m.update(txt.encode())
print ("hashed ", m)
return m.hexdigest()  

定义了一个udf：

from pyspark.sql.functions import udf
u_make_hash = udf(make_hash)
并创建了一个新的DataFrame，除了哈希列之外的所有列：

streamingOutputDF = streamingInputDF.select(u_make_hash(streamingInputDF['connectionDeviceId']).alias("Id"), streamingInputDF['*']) \

                                .drop("connectionDeviceId")   

我没有检查你的udf，假设没有问题，以下声明应该这样做：

dfnew = df.select((encrypt_str['FName']).alias("Encrypted_FName"))