在这个教程中，我们将实现一个基于电影内容本身相似性的推荐系统。我们将利用自然语言处理/ NLP技术来提取每个电影的特征，然后建立不同电影之间的余弦相似性矩阵，最后利用相似矩阵来推荐指定电影的10个最相似电影。
快速掌握Python开发技能，推荐汇智网的Python在线课程。
当我们评价互联网上的产品和服务时，我们表达并分享出来的倾向性，被推荐系统用来生成个性化推荐。最常见的例子就是亚马逊的商品推荐、谷歌的搜索结果推荐和Netflix上的视频推荐。
有两种类型的推荐系统：
- 协同过滤 - 基于用户的评价和消费行为来分组相似的用户，然后向用户推荐可能感兴趣的产品或服务
- 基于内容的过滤 - 基于产品/服务本身的相似性向用户推荐
在这个教程中，我们将利用电影的特征，例如风格、剧情、导演和主要演员等，来计算不同电影之间的余弦相似度。我们使用从data.world下载的IMDB前250部英文电影作为我们的数据集。
1、导入Python库和数据集
确保已经安装了RAKE库，或者参考以下命令安装：
pip install rake_nltk然后使用以下代码读入数据集：
from rake_nltk import Rake
import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import CountVectorizerdf = pd.read_csv('IMDB_Top250Engmovies2_OMDB_Detailed.csv')
df.head()数据集中有250部电影（行），每部电影包含38个属性（列）。不过我们只需要
用到其中的5个属性： ‘Title’, ’Director’, ’Actors’, ’Plot’, and ’Genre’。
下面的代码显示10个流行的导演的作品数量直方图：
df['Director'].value_counts()[0:10].plot('barh', figsize=[8,5], fontsize=15, color='navy').invert_yaxis()
2、数据预处理
首先使用NLP对数据进行预处理，将属性合并为一列，然后进行矢量化，每个单词对应一个得分，最后计算余弦相似性得分。
我们使用Rake函数来提取剧情列中整句话的最相关单词，并将提取结果放入一个新的‘Key_words’：
df['Key_words'] = ''
r = Rake()for index, row in df.iterrows():
r.extract_keywords_from_text(row['Plot'])
key_words_dict_scores = r.get_word_degrees()
row['Key_words'] = list(key_words_dict_scores.keys())
演员和导演的名字被小写并转换为唯一标识值。我们将姓、名合并，这样Chris Evans和Chris Hemsworth就不会有相似性，否则的话，这两个名字就会有50%的相似性，因为都包含了Chris：
df['Genre'] = df['Genre'].map(lambda x: x.split(','))
df['Actors'] = df['Actors'].map(lambda x: x.split(',')[:3])
df['Director'] = df['Director'].map(lambda x: x.split(','))for index, row in df.iterrows():
row['Genre'] = [x.lower().replace(' ','') for x in row['Genre']]
row['Actors'] = [x.lower().replace(' ','') for x in row['Actors']]
row['Director'] = [x.lower().replace(' ','') for x in row['Director']]
3、创建单词的表示
在数据预处理之后，这四个列‘Genre’, ‘Director’, ‘Actors’ 和 ‘Key_words’ 合并为一个新
的列‘Bag_of_words’，这样最终的数据帧只有2列：
df['Bag_of_words'] = ''
columns = ['Genre', 'Director', 'Actors', 'Key_words']for index, row in df.iterrows():
words = ''
for col in columns:
words += ' '.join(row[col]) + ' '
row['Bag_of_words'] = words
df = df[['Title','Bag_of_words']]
4、创建相似性矩阵
推荐模型只能读取并比较向量，因此我们需要将Bag_of_words列使用CountVectorizer转换为向量表示，这是一个简单的频率计数器。一旦我们得到了所有单词的计数矩阵，就可以利用cosine_similarity函数来比较电影的相似性。
count = CountVectorizer()
count_matrix = count.fit_transform(df['Bag_of_words'])cosine_sim = cosine_similarity(count_matrix, count_matrix)
print(cosine_sim)
接下来是创建电影标题序列，序列的索引对应相似矩阵的行和列。
indices = pd.Series(df['Title'])5、运行测试推荐模型
最后一步是创建一个函数，以电影标题为输入，返回其最相似的10个电影。这个函数将输入电影标题与相似矩阵进行比较，以降序提取相似的电影：
def recommend(title, cosine_sim = cosine_sim):
recommended_movies = []
idx = indices[indices == title].index[0]
score_series = pd.Series(cosine_sim[idx]).sort_values(ascending = False)
top_10_indices = list(score_series.iloc[1:11].index)
for i in top_10_indices:
recommended_movies.append(list(df['Title'])[i])
return recommended_movies现在我们可以测试模型了。输入“The Avengers” 看看推荐结果：
recommend('The Avengers')
6、源代码
你可以在这里下载源代码。
