imooc_spark_log_analysis
所属分类：云计算
开发工具：Scala
文件大小：286KB
下载次数：0
上传日期：2018-04-03 06:41:23
上 传 者：
sh-1993
说明： 以慕课网日志分析为例 进入大数据 Spark SQL 的世界
(Enter the world of big data Spark SQL by taking MOKE log analysis as an example)
文件列表:
SparkWeb (0, 2018-04-03)
SparkWeb\pom.xml (1299, 2018-04-03)
SparkWeb\src (0, 2018-04-03)
SparkWeb\src\main (0, 2018-04-03)
SparkWeb\src\main\java (0, 2018-04-03)
SparkWeb\src\main\java\com (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc\dao (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc\dao\VideoAccessTopNDAO.java (2729, 2018-04-03)
SparkWeb\src\main\java\com\imooc\domain (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc\domain\VideoAccessTopN.java (374, 2018-04-03)
SparkWeb\src\main\java\com\imooc\utils (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc\utils\MySQLUtils.java (1515, 2018-04-03)
SparkWeb\src\main\java\com\imooc\web (0, 2018-04-03)
SparkWeb\src\main\java\com\imooc\web\VideoAccessTopNServlet.java (1307, 2018-04-03)
SparkWeb\src\main\webapp (0, 2018-04-03)
SparkWeb\src\main\webapp\WEB-INF (0, 2018-04-03)
SparkWeb\src\main\webapp\WEB-INF\web.xml (470, 2018-04-03)
SparkWeb\src\main\webapp\index.jsp (52, 2018-04-03)
SparkWeb\src\main\webapp\js (0, 2018-04-03)
SparkWeb\src\main\webapp\js\echarts.min.js (624733, 2018-04-03)
SparkWeb\src\main\webapp\js\jquery.js (95931, 2018-04-03)
SparkWeb\src\main\webapp\test.html (1842, 2018-04-03)
SparkWeb\src\main\webapp\topn.html (2076, 2018-04-03)
build.sbt (473, 2018-04-03)
note (0, 2018-04-03)
note\1 (8204, 2018-04-03)
note\10 (1746, 2018-04-03)
note\2 (465, 2018-04-03)
note\3 (1788, 2018-04-03)
note\4 (1936, 2018-04-03)
note\5 (3226, 2018-04-03)
note\6 (1187, 2018-04-03)
note\7 (2777, 2018-04-03)
note\9 (6619, 2018-04-03)
pom.xml (4958, 2018-04-03)
project (0, 2018-04-03)
... ...
[慕课网实战 以慕课网日志分析为例 进入大数据 Spark SQL 的世界](https://coding.imooc.com/class/112.html)
课程笔记目录是`note`
课程spark相关实战代码目录是`src\main\scala`
课程可视化web服务实战代码目录是`SparkWeb`
SparkWeb目录是用java tomcat搭建的数据可视化web服务,将spark处理并保存到MySQL的数据抽取并调用Echarts js库进行可视化展现。如果不是java出身,我们可以使用很多其他语言或者脚本搭建这个数据可视化web服务。
[项目提供的IP地址解析依赖包git地址](https://github.com/wzhe06/ipdatabase)
下载下来后进入该项目根目录,将其打包并安装到本地maven仓库(也可以使用sbt工具进行打包和安装到本地sbt仓库):
`mvn clean package -DskipTests`
`mvn install:install-files path -DgroupId=com.ggstar -DartifactId=ipdatabases -Dversion=1.0 -Dversion=1.0 -Dpackaging=jar`
由于这个ip地址解析工具有自己依赖的数据库(在resources目录下),更好的做法是将该依赖与整个项目进行集成打包:
`maven:assembly assembly`
项目在集群上提交的时候要记得把ip地址解析依赖的数据一起提交:
```
./bin/spark-submit \
--class com.imooc.log.SparkStatCleanJobYARN \
--name SparkStatCleanJobYARN \
--master yarn \
--executor-memory 1G \
--num-executors 1 \
--files /home/hadoop/lib/ipDatabase.csv,/home/hadoop/lib/ipRegion.xlsx \
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar \
hdfs://hadoop001:8020/imooc/input/* hdfs://hadoop001:8020/imooc/clean
```
近期下载者：
相关文件：
收藏者：