News_Spark

所属分类:云计算
开发工具:Java
文件大小:3520KB
下载次数:0
上传日期:2019-03-28 04:39:25
上 传 者sh-1993
说明:  基于Spark2.x新闻网大数据实时分析可视化系统项目
(Real time big data analysis visualization system project based on Spark2. x News Network)

文件列表:
flume_hbase (0, 2019-03-28)
flume_hbase\KfkAsyncHbaseEventSerializer.java (3796, 2019-03-28)
flume_hbase\SimpleHbaseEventSerializer.java (4657, 2019-03-28)
flume_hbase\SimpleRowKeyGenerator.java (2030, 2019-03-28)
flume_hbase\flume-ng-hbase-sink.jar (45675, 2019-03-28)
sparkStu (0, 2019-03-28)
sparkStu\pom.xml (2819, 2019-03-28)
sparkStu\src (0, 2019-03-28)
sparkStu\src\main (0, 2019-03-28)
sparkStu\src\main\java (0, 2019-03-28)
sparkStu\src\main\java\com (0, 2019-03-28)
sparkStu\src\main\java\com\spark (0, 2019-03-28)
sparkStu\src\main\java\com\spark\service (0, 2019-03-28)
sparkStu\src\main\java\com\spark\service\WeblogService.java (2335, 2019-03-28)
sparkStu\src\main\java\com\spark\service\WeblogSocket.java (1319, 2019-03-28)
sparkStu\src\main\scala (0, 2019-03-28)
sparkStu\src\main\scala\com (0, 2019-03-28)
sparkStu\src\main\scala\com\spark (0, 2019-03-28)
sparkStu\src\main\scala\com\spark\test (0, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\JDBCSink.scala (1922, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\MySqlPool.scala (1346, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\StreamingKafka10.scala (1443, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\StreamingKafka8.scala (1100, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\StructuredStreamingKafka.scala (1524, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\Test.scala (646, 2019-03-28)
sparkStu\src\main\scala\com\spark\test\TestStreaming.scala (1163, 2019-03-28)
sparkStu\src\main\webapp (0, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF (0, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib (0, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\commons-beanutils-1.7.0.jar (188671, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\commons-collections-3.2.2.jar (588337, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\commons-httpclient-3.1.jar (305001, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\commons-lang-2.6.jar (284220, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\commons-logging-1.1.jar (52915, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\ezmorph-1.0.6.jar (86487, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\ezmorph.zip (80812, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\fastjson-1.1.33.jar (350780, 2019-03-28)
sparkStu\src\main\webapp\WEB-INF\lib\json-lib-2.2.3-jdk13.jar (148271, 2019-03-28)
... ...

# 基于Spark2.x新闻网大数据实时分析可视化系统项目 ## 一、业务需求分析 - 捕获用户浏览日志信息 - 实时分析前20名流量最高的新闻话题 - 实时统计当前线上已曝光的新闻话题 - 统计哪个时段用户浏览量最高 ## 二、系统架构图设计 ![image](https://github.com/ZzXxL1994/News_Spark/blob/master/z_pic/news1.png) ## 三、系统数据流程设计 ![image](https://github.com/ZzXxL1994/News_Spark/blob/master/z_pic/news2.png) ## 四、集群资源规划设计 ![image](https://github.com/ZzXxL1994/News_Spark/blob/master/z_pic/news3.png) ## 五、步骤详解 ### 具体请参考[博客](https://blog.csdn.net/u011254180/article/details/80172452)

近期下载者

相关文件


收藏者