当前位置：首页 > news >正文

大数据项目2a：基于spark的电影推荐和分析系统设计与实现

news 2025/2/11 15:58:45

项目获取直达 www.baiyuntu.com

1、项目目的

本项目的目的是设计并实现一个基于Spark的电影推荐系统，以应对大数据环境下电影推荐服务的挑战。通过整合电影、评分和用户数据集，并利用SparkSql框架进行高效处理，系统能够为用户提供个性化的电影推荐。项目采用多种先进技术，包括Java、Maven、Spark、SparkSql、MySQL、Spring Boot和MyBatis等，以确保系统的稳定性和可扩展性。

作为毕业设计项目，本项目旨在通过实现离线推荐、热门推荐和最新推荐等模块，提升系统的推荐效果和用户体验。同时，项目还将进行深入的统计分析，包括电影评分分布、电影年份分布、不同分段占比、不同评分段的类型占比、不同类型演员前5名称以及电影国家分布占比等，以提供有价值的数据洞察和业务指导。通过本项目的实施，不仅可以锻炼和提升我的专业技能和综合素质，还可以为电影推荐领域的发展做出一定的贡献。

2、项目介绍

本项目是一个基于Spark的电影推荐系统，专注于大数据环境下的推荐服务。系统通过SparkSql框架处理电影、评分和用户数据集，利用协同过滤算法为用户生成个性化的电影推荐。项目包含数据存储、大数据分析、Web后端及可视化前端，确保推荐结果的准确性与用户界面的友好性。系统易于部署和运行，同时提供完整的数据文件和SQL文件，便于数据管理和系统维护。其中推荐模块包含：离线推荐，热门推荐，最新推荐等模块！

3、实现过程
1. 数据采集

本项目旨在构建数据资产分析系统，通过从Kaggle网站下载电影评分数据集和用户数据集，对数据进行分析和处理。数据集包含电影ID、用户ID、电影海报URL、用户评分及用户名称等信息，为系统提供全面的数据支持。

1. 1. 数据集介绍

该数据集包含电影推荐所需的基本信息，具体包括用户ID（userid）、电影ID（movieid）、电影海报图片的URL链接（url）以及用户对电影的评分（rating，满分为10分）。该数据集可用于分析用户偏好，进而实现电影推荐功能。

1. 1. 数据清洗

在数据采集完成后，我们将对下载的数据使用spark技术进行清洗和预处理。这包括去除重复数据、处理缺失值、纠正错误数据等，以确保数据的质量和可靠性。同时，我们还将对数据的格式进行统一，方便后续的数据分析和处理。

1. 大数据推荐计算

代码和业务介绍：

本段代码实现了一个基于Apache Spark的电影推荐系统。系统首先通过SparkConf配置Spark应用程序的基本信息，如应用名称、运行模式以及资源参数。接着，利用SparkSession读取存储在本地CSV文件中的电影评分数据集，该数据集包含用户ID、电影ID以及用户对电影的评分。

在数据处理阶段，代码将评分数据集转换为RDD格式，并提取出用户ID、电影ID以及评分信息。随后，对用户和电影数据集进行去重操作，以获取唯一的用户ID和电影ID列表。基于这些处理后的数据，系统构建了训练数据集，并采用交替最小二乘法（ALS）进行模型训练。ALS是一种在推荐系统中广泛应用的协同过滤算法，能够高效地处理大规模数据集。

在模型训练完成后，系统利用训练好的模型对所有的用户-电影对进行评分预测，从而构建了一个完整的用户推荐矩阵。通过过滤掉评分值较低的预测结果，并对用户推荐的电影进行排序和截取，系统最终生成了一个包含用户推荐信息的DataFrame。

此外，该代码还实现了将原始评分数据集和用户推荐结果存储到MySQL数据库中的功能，便于后续的数据分析和业务应用。通过展示用户推荐信息的DataFrame，可以直观地看到系统为每个用户推荐的电影列表及其预测评分。总之本段代码实现了一个基于Spark和ALS算法的电影推荐系统，能够高效地处理电影评分数据集，并为用户提供个性化的电影推荐服务。

//conf对象
val sparkConf = new SparkConf().setAppName("OfflineRecommender").setMaster("local")
  //在程序中设置资源参数
  .set("spark.executor.memory", "6G").set("spark.driver.memory", "3G")
val spark = SparkSession.builder().config(sparkConf).getOrCreate()
//读取mongoDb 的数据
import spark.implicits._
//从mongo的表中去读数据 [评分数据表] 数据格式 [用户id,电影id,评分]
//todo:1.ratingRDD
val ratingRDD01 = spark
  .read
  .format("csv")
  .option("header", "true")
  .load("D:\\3_ideaworkplace\\_105_movies_recommend_system\\algorithm_analysis\\src\\main\\resources\\ali_t02.csv")
val prop = new Properties()
prop.put("user", "root")
prop.put("password", "123456")
//原始的数据存入数据库
ratingRDD01.write.mode("overwrite")
  .jdbc("jdbc:mysql://localhost:3306/movie_tmp?useUnicode=true&characterEncoding=utf8", "movie_tmp.moviesurl", prop)

//[用户id,电影的id,用户对电影的评分,评分的时间]
val ratingRDD = ratingRDD01.rdd.map(line => {
  (line.get(0).toString.toInt, line.get(1).toString.toInt, line.get(3).toString.toDouble)
}).cache()

//去重操作用户的数据集 RDD[Int] [用户id]
//todo:2.userRDD
val userRDD = ratingRDD.map(_._1).distinct()
//电影数据集 RDD[Int]
val movieRDD = ratingRDD.map(_._2).distinct()

//创建训练数据集 [userid,mid,soucre]
val trainData = ratingRDD.map(x => Rating(x._1, x._2, x._3))
//特征数   迭代次数正则参数
val (rank, iterations, lambda) = (10, 1, 0.01)

//模型训练[训练集,特征数,迭代次数,正则参数]
//todo:黑箱子
val model = ALS.train(trainData, rank, iterations, lambda)

//使用模型预测
//5.计算用户推荐矩阵(每一个用户对所有的电影)
//需要构造一个usersProducts RDD[(Int,Int)]
//todo:大的空矩阵
val userMovies = userRDD.cartesian(movieRDD)
//模型预测[Rating是它自带的样例类][这是所有的都已经进行了评分]
//todo:通过黑箱子补全大矩阵
val preRatings: RDD[Rating] = model.predict(userMovies)

//用户推荐矩阵
val userRecs = preRatings
  //把评分值大于零的过滤掉dm
  .filter(_.rating > 0.5)
  .map(rating => (rating.user, (rating.product, rating.rating)))
  .groupByKey()
  .map {
    case (uid, recs) =>
      UserRecs(uid, recs.toList.sortWith(_._2 > _._2).take(10).map(x => x._1).toString())
  }.toDF()

userRecs.show()
//todo:0.把原始数据存储到mysql中

userRecs.write.mode("overwrite")
  .jdbc("jdbc:mysql://localhost:3306/movie_tmp?useUnicode=true&characterEncoding=utf8", "movie_tmp.userRecs", prop)
spark.close()

1. 大数据统计分析
  1. 电影评分分布分析

该分析通过统计不同评分值下的电影数量，直观展示电影评分的整体分布情况。X轴代表1至5的评分分值，Y轴则显示对应评分下的电影数量。通过柱状图的形式，我们可以清晰地看到哪个评分段最受欢迎，以及电影评分的大致趋势，为电影制作和营销策略提供参考。

分析结果图如下

核心代码如下:

val rate_tendency = spark.sql("select RATING rating,count(1) ct from t_rate group by RATING order by RATING ")
println("1.电影的评分分布")
rate_tendency.show()
rate_tendency.write.mode("overwrite")
.jdbc("jdbc:mysql://localhost:3306/198_movies_recomm?useUnicode=true&characterEncoding=utf8", "198_movies_recomm.1_rate_tendency", prop)

1. 1. 电影年份分布分析

本分析按照电影上映年份进行分组统计，X轴表示年份，Y轴显示该年份电影的平均评分数量（注意：原文中“每个评分下的数量”可能需调整为平均评分或其他统计量，以避免歧义）。柱状图展示了电影随时间的变化趋势，帮助我们了解电影市场的历史发展和观众口味的变迁。

分析结果图如下

核心代码如下:

val year_tendency = spark.sql("select YEAR year,count(1) ct from t_movies where LENGTH(year) <5 group by YEAR order by YEAR ")
println("2.电影的年份分布")
year_tendency.show()
year_tendency.write.mode("overwrite")
.jdbc("jdbc:mysql://localhost:3306/198_movies_recomm?useUnicode=true&characterEncoding=utf8", "198_movies_recomm.2_year_tendency", prop)

1. 1. 不同分段演员参演数量的前8名

此分析利用开窗函数，在每个评分段内统计参演电影数量最多的前8名演员。旭日图以层次结构展示这些演员，直观呈现不同评分段内演员的影响力分布，为演员选拔和角色分配提供数据支持。

分析结果图如下

核心代码如下:

val avgRateDF = spark.sql("select MOVIE_ID ,round(avg(RATING),0) avg_rate from t_rate group by MOVIE_ID ")
avgRateDF.show()
avgRateDF.createTempView("avg_rate_score")
//t_movies 和 t_rate
val threeDF = spark.sql("select t3.avg_rate,t3.ACTORS,count(1) ct from (select * from t_movies t1 " +
"inner join avg_rate_score t2 on t1.MOVIE_ID= t2.MOVIE_ID ) t3 group by avg_rate,ACTORS order by ct desc limit 8 ")
threeDF.show()
println("3.不评分段的演员参演数量前8名")

threeDF.write.mode("overwrite")
.jdbc("jdbc:mysql://localhost:3306/198_movies_recomm?useUnicode=true&characterEncoding=utf8", "198_movies_recomm.3_rate_top8", prop)

1. 1. 不同评分段的类型占比

该分析关注不同评分分段内电影类型的数量占比。通过旭日图，我们可以清晰地看到各种类型电影在不同评分段的分布情况，了解哪些类型更受观众喜爱，哪些类型在特定评分段内更具竞争力。

分析结果图如下

核心代码如下:

val fourDF = spark.sql("select t3.avg_rate,t3.GENRES,count(1) ct from (select * from t_movies t1 " +
"inner join avg_rate_score t2 on t1.MOVIE_ID= t2.MOVIE_ID ) t3 group by avg_rate,GENRES ")
println("4.不同评分段的类型占比")
fourDF.show()
fourDF.write.mode("overwrite")
.jdbc("jdbc:mysql://localhost:3306/198_movies_recomm?useUnicode=true&characterEncoding=utf8", "198_movies_recomm.4_rate_prepertion", prop)

1. 1. 不同类型演员前5名称

本分析按演员类型分组，统计每种类型中参演电影数量最多的前5名演员。这有助于我们了解哪些类型的演员更受欢迎，以及他们在电影市场中的地位和影响力。

分析结果图如下

核心代码如下:

val fiveDF = spark.sql("select GENRES,count(distinct ACTORS) ct from t_movies group by GENRES")
println("5.不同类型演员数量占比top5")
fiveDF.show()
fiveDF.write.mode("overwrite")
.jdbc("jdbc:mysql://localhost:3306/198_movies_recomm?useUnicode=true&characterEncoding=utf8", "198_movies_recomm.5_geners_prepertion", prop)

1. 1. 电影国家分布占比

该分析按照电影制作国家进行分组统计，并计算各国电影的数量占比。通过饼状图，我们可以直观地看到电影市场的国家分布格局，了解哪些国家的电影在全球范围内更具影响力

分析结果图如下

核心代码如下:

1. javaWeb可视化

在Java Web项目中，结合HTML、ECharts、Spring Boot和MySQL等技术进行前后台搭建，可以构建一个功能丰富、交互性强的Web应用程序。以下是一个基于这些技术的Java Web前后台搭建的文字描述：

1. 1. 前端搭建：

HTML: 使用HTML来构建网页的基本结构和内容。通过定义HTML标签和属性，可以创建出各种页面元素，如标题、段落、图片、链接、表格、表单等。

CSS: 通过CSS为网页添加样式和布局。CSS可以控制HTML元素的外观和位置，使得页面更加美观和易于阅读。在项目中，可以将CSS样式定义在单独的文件中，并在HTML中通过链接引入。

JavaScript: 利用JavaScript为网页添加动态交互功能。JavaScript可以处理用户的输入、控制页面的行为、与服务器进行异步通信等。在项目中，可以使用JavaScript库（如jQuery）来简化代码编写，提高效率。

ECharts: 借助ECharts库，为网页添加丰富的图表展示功能。ECharts支持多种图表类型，如折线图、柱状图、饼图等，并且具有高度的可定制性和交互性。通过将ECharts图表嵌入到HTML页面中，可以直观地展示数据和进行数据分析。

1. 1. 后端搭建：

Spring Boot: 使用Spring Boot框架来构建后端服务。Spring Boot简化了Spring应用的初始搭建和开发过程，通过自动配置和约定优于配置的理念，可以快速开发、测试和部署Spring应用。在项目中，可以利用Spring Boot的Web模块和数据库访问模块，构建出稳定可靠的Web服务。

Java: 采用Java语言进行后端开发。Java是一种广泛使用的编程语言，具有跨平台、面向对象、多线程等特点。在Spring Boot项目中，可以使用Java编写控制器、服务、数据访问对象等组件，实现业务逻辑和数据访问功能。

MySQL: 使用MySQL数据库来存储和管理数据。MySQL是一个开源的关系型数据库管理系统，具有高性能、可扩展性和易用性等优点。在项目中，可以通过JDBC或JPA等持久层框架，实现与MySQL数据库的交互操作。

文件夹结构: 根据项目需求，设计合理的文件夹结构来组织代码和资源文件。例如，可以将源代码放在src目录下的main/java目录下，将资源配置文件放在resources目录下，将静态资源（如图片、CSS、JavaScript文件）放在static目录下，将模板文件（如HTML文件）放在templates目录下。这样可以提高代码的可读性和可维护性。