WordCountHadoopProject:Hadoop2.6.0分布式计算的word count map-reduce ma

  • e8_100202
    了解作者
  • 31.2KB
    文件大小
  • zip
    文件格式
  • 0
    收藏次数
  • VIP专享
    资源类型
  • 0
    下载次数
  • 2022-06-09 02:18
    上传日期
WordCountHadoop项目 用于 Hadoop2.6.0 分布式计算的 Word count map-reduce maven java 项目。 这最初只是一个字数统计代码,但此项目中添加了更多内容。 它与文件一起添加以计算项目数组中出现的术语的相对频率。 这些正在通过三种不同的方式解决。 配对方法(最简单的映射器和化简器) 条纹方法 混合方法 ###上面有三个单独的 *.sh 文件来运行不同的算法。 设置 您的系统中应该有 java 1.7 或更高版本,maven 3.3 克隆项目 打包mvn package 然后生成的jar文件就可以在hadoop中使用了。 调用hadoop指定配置文件hadoop的输入和输出hdfs文件系统。 有关使用生成的 jar 文件运行 hadoop 的代码,请参阅上面的 *.sh 文件。 参考: :
WordCountHadoopProject-master.zip
内容介绍
# WordCountHadoopProject Word count map-reduce maven java project for Hadoop2.6.0 distributed computing. This was initially just a word count code, but there are more things added to this project. It is added with files to calculate the relative frequency of terms occuring in an array of items. These are being solved by three different ways. * Pairs approach (simplest mapper and reducer) * Stripes approach * Hybrid approach ###There are three separate *.sh file above to run the different algorithms. # Setup You should have java 1.7 or above in your system, maven 3.3 * Clone the project * package it ```mvn package``` Then the jar file generated is ready for being used in hadoop. call the hadoop specifying the Configuration file the input and output hdfs filesystem of hadoop. see the *.sh files above for the code to run hadoop with the generated jar file. Refer to : http://rajanpupa.blogspot.com/2015/05/hadoop-installation-and-first-map.html
评论
    相关推荐
    • p2pbay:分布式P2P拍卖系统
      分布式P2P拍卖系统 ###要求 JDK 1.7 Maven 3.2.3 ###如何运行 mvn package 在target/目录中执行 jar: ./p2pbay-1.0-jar-with-dependencies.jar [starting node] [port]和其他节点./p2pbay-1.0-jar-with-...
    • ssm+maven+dubbo+zookeeper分布式架构
      ssm+maven+dubbo+zookeeper分布式架构
    • 分布式SSM工程
      基于Maven的SSM分步式工程,实现各个模块之间的分离,通过Dubbo和Zookepper来获取相应的资源
    • Dubbo分布式服务管理
      搭建maven项目,并实现Dubbo分布式服务管理,项目源码下载
    • Maven构建的分布式demo
      最近在研究分布式,先研究一下maven创建的pom工程、war工程、jar工程,用maven构建一个web的小demo,记录自己的点点滴滴,这只是学习的开始,和大家一起分享,学艺不精,不断学习
    • dubbo-demo-maven
      阿里巴巴分布式开源框架dubbo的demo,maven
    • maven插件用来分布式集成开发的
      maven插件 用来分布式集成开发用的 可以和eclipse集成 也可以和myeclipse集成
    • maven springboot jta mybatis 分布式事物
      此代码是springboot项目,该项目内集成了多数据源和分布式事物,集合mybatis数据库持久层,集成了mybatis分页插件,事物拦截配置,页面模板引擎
    • SID-FIB-RiverAgents:河流代理实践-智能分布式系统
      河流代理实践-智能分布式系统 安装与配置 将JDK 1.8.x设置为项目SDK。 通过执行以下命令运行Maven以安装所有依赖项 mvn install 或只是创建一个maven install运行配置。 如果尚未完成,请右键单击src文件夹>将...
    • 分布式任务调度
      XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。