Spark框架下的受众分群及矩阵分解的推荐算法研究.docx

本文深入研究了Spark框架下受众分群及矩阵分解的推荐算法，针对协同过滤推荐算法中存在的矩阵稀疏问题，提出了一种结合隐式反馈信息的推荐算法，并应用于电视动画节目受众分群和推荐中。研究团队通过构建“用户-标签”收视偏好模型，利用聚类算法对用户进行分群，然后运用矩阵分解技术，特别是交替最小二乘法(Alternating Least Squares, ALS)，来实现推荐的个性化。 本文中，Spark的使用有效地解决了传统推荐系统中大量迭代计算的效率问题，提高了推荐系统的准确性和扩展性。通过实验验证，该算法不仅优化了矩阵稀疏性，还降低了运行时间，并保持了较高的推荐准确度。 文章介绍了如何使用爬虫技术获取动画节目标签，并结合用户收视数据，构建了一个二维的用户-标签偏好模型，其中包括用户的忠诚度和兴趣度，通过收视时长和节目播出时长来量化这两个维度。通过矩阵分解技术，特别是ALS模型，实现了对用户偏好矩阵的处理，显著降低了矩阵稀疏性，提高了推荐的准确性。 针对推荐算法的评价，本文引入了均方误差(MSE)、均方根误差(RMSE)和全局平均准确率(MAP)等评价指标，这些指标反映了推荐模型的精确度和排名的准确性。实验部分详细描述了如何在Spark平台上应用K-means聚类算法进行受众分群，并通过实验确定了最佳的聚类簇数。 在实验及结果分析部分，研究团队使用某省的单月用户收视数据，以动画节目为例进行核心受众分群和推荐实验。实验平台是在Linux环境下搭建的Spark平台，使用Python API、Anaconda科学计算集成以及IPython Notebook作为集成开发环境。通过改变K值，并结合目标函数WCSS（Within-cluster Sum of Squares）来确定最佳的聚类簇数。实验结果表明，随着K值的增大，WCSS值降低，表明聚类效果更好，但同时运行时间也会增加。综合考虑后，选择K=8作为聚类簇数，对用户进行分群，并使用节目标签对分群后的用户进行特征刻画。 本文的贡献在于将Spark框架与推荐算法相结合，提出了一种高效、具有可扩展性的推荐算法，解决了传统推荐系统在大规模数据上迭代计算效率低下的问题。研究成果不仅适用于电视动画领域，也为其他类型的内容推荐提供了新的思路和方法。