News_recommend

所属分类:推荐系统
开发工具:Scala
文件大小:26212KB
下载次数:2
上传日期:2022-06-21 01:28:22
上 传 者sh-1993
说明:  基于Spark的新闻推荐系统,包含爬虫项目、web网站以及spark推荐系统
(Spark based news recommendation system, including crawler projects, web sites and Spark recommendation system)

文件列表:
.idea (0, 2021-01-21)
.idea\.name (10, 2021-01-21)
.idea\codeStyles (0, 2021-01-21)
.idea\codeStyles\Project.xml (263, 2021-01-21)
.idea\codeStyles\codeStyleConfig.xml (149, 2021-01-21)
.idea\compiler.xml (572, 2021-01-21)
.idea\jarRepositories.xml (845, 2021-01-21)
.idea\misc.xml (513, 2021-01-21)
.idea\sbt.xml (159, 2021-01-21)
.idea\vcs.xml (167, 2021-01-21)
.idea\workspace.xml (7926, 2021-01-21)
NewsRecommendSystem_web (0, 2021-01-21)
NewsRecommendSystem_web\.idea (0, 2021-01-21)
NewsRecommendSystem_web\.idea\.name (4, 2021-01-21)
NewsRecommendSystem_web\.idea\compiler.xml (688, 2021-01-21)
NewsRecommendSystem_web\.idea\encodings.xml (172, 2021-01-21)
NewsRecommendSystem_web\.idea\misc.xml (513, 2021-01-21)
NewsRecommendSystem_web\.idea\vcs.xml (183, 2021-01-21)
NewsRecommendSystem_web\.idea\workspace.xml (32279, 2021-01-21)
NewsRecommendSystem_web\HELP.md (785, 2021-01-21)
NewsRecommendSystem_web\LICENSE (11323, 2021-01-21)
NewsRecommendSystem_web\NewsRecommendSystem.iml (20993, 2021-01-21)
NewsRecommendSystem_web\org (0, 2021-01-21)
NewsRecommendSystem_web\org\springframework (0, 2021-01-21)
NewsRecommendSystem_web\org\springframework\beans (0, 2021-01-21)
NewsRecommendSystem_web\org\springframework\beans\factory (0, 2021-01-21)
NewsRecommendSystem_web\org\springframework\beans\factory\annotation (0, 2021-01-21)
NewsRecommendSystem_web\org\springframework\beans\factory\annotation\annotations.xml (149, 2021-01-21)
NewsRecommendSystem_web\pom.xml (3822, 2021-01-21)
NewsRecommendSystem_web\src (0, 2021-01-21)
NewsRecommendSystem_web\src\main (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com\luochen (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com\luochen\tools (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com\luochen\tools\RandomNums.java (1636, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com\luochen\web (0, 2021-01-21)
NewsRecommendSystem_web\src\main\java\com\luochen\web\Dao (0, 2021-01-21)
... ...

# News_recommend 本次项目是基于大数据计算引擎的新闻推荐系统--"今日小站",包含了爬虫,新闻网站(前端和后端),推荐系统(Spark)。
## 前端效果:
![image](https://github.com/luochana/githubPicture/blob/master/pic1.png)
![image](https://github.com/luochana/githubPicture/blob/master/pic2.png)
![image](https://github.com/luochana/githubPicture/blob/master/pic3.png)

## 一.爬虫
### 开发环境:
pycharm+python3
### 软件架构:
mysql+scrapy+splash
### 项目描述:
爬虫项目负责重复爬取今日头条首页新闻,去除重复新闻,存入mysql。

## 二.新闻网站:
### 开发环境:
IntelliJ IDEA + maven + git + linux
### 软件架构:
mysql + springboot
### 项目描述:
今日小站是基于springboot框架搭建的web项目,用户在网站完成注册登录后,网站会记录用户的浏览行为。同时网站也会把推荐结果呈现给用户。

## 三.推荐系统:
### 开发环境:
IntelliJ IDEA + maven + git + linux
### 软件架构:
zookeeper + flume + kafka + spark + mysql
### 项目描述:
推荐系统计算两两文章间的相似度,并将与之最相似的10条数据id存入mysql。实时处理用户行为日志,将结果存入mysql。根据用户行为数据对用户进行推荐,并将结果存入mysql。

![image](https://github.com/luochana/githubPicture/blob/master/pic4.png)
### 服务器规划:
spark1:192.168.56.101
spark2:192.168.56.102
spark3:192.168.56.103

项目持续更新中....

近期下载者

相关文件


收藏者