当前位置: 首页 > news >正文

网站地图在哪里展现宁波企业做网站哪家好

网站地图在哪里展现,宁波企业做网站哪家好,网站构建的工作,wordpress 轮播图 修改本文我们学习MapReduce默认分区以及自定义分区实践 当我们要求将统计结果按照条件输出到不同文件(分区)#xff0c;比如按照统计结果将手机归属地不同省份输出到不同文件中(分区) 1.默认Partitioner分区 public class HashPartitionerK, V extends Partitioner…本文我们学习MapReduce默认分区以及自定义分区实践 当我们要求将统计结果按照条件输出到不同文件(分区)比如按照统计结果将手机归属地不同省份输出到不同文件中(分区) 1.默认Partitioner分区 public class HashPartitionerK, V extends PartitionerK, V {public int getPartition(K key, V value,int numReduceTasks) {return (key.hashCode() Integer.MAX_VALUE) % numReduceTasks;} }默认分区是根据key的hashCode对ReduceTasks[通过job.setNumReduceTasks(2)赋值]取模得到用户没法控制key存储到哪个分区 2. 自定义Partitioner分区 我们在resources目录下新建phone2.txt 1 13764368888 196.168.0.11 1116 854 200 2 13764368888 196.168.0.11 1136 834 200 3 13764368888 196.168.0.11 1146 824 200 4 13764368888 196.168.0.11 1116 804 200 5 13664368888 196.168.0.11 1116 854 200 6 13864368888 196.168.0.11 1136 834 200 7 13964368888 196.168.0.11 1146 824 200 8 13764368888 196.168.0.11 1116 804 200新建自定义ProvincePartitioner类 public class ProvincePartitioner extends PartitionerText, FlowBean {Overridepublic int getPartition(Text text, FlowBean flowBean, int numPartitions) {// Text是手机号String phone text.toString().substring(0, 3);// 注意分区号需要连续从0开始分区int partition;if (136.equals(phone)) {partition 0;} else if (137.equals(phone)) {partition 1;} else if (138.equals(phone)) {partition 2;} else if (139.equals(phone)) {partition 3;} else {partition 4;}return partition;} }新建FlowPartitionerDriver类 public class FlowPartitionerDriver {public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {Configuration conf new Configuration();Job job Job.getInstance(conf, flowPartitioner);job.setJarByClass(FlowPartitionerDriver.class);job.setMapperClass(FlowMapper.class);job.setCombinerClass(FlowReduce.class);job.setReducerClass(FlowReduce.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(FlowBean.class);// 关联自定义分区类job.setPartitionerClass(ProvincePartitioner.class);// 设置ReduceTask任务数job.setNumReduceTasks(5);FileInputFormat.addInputPath(job, new Path(args[0]));FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);} }传参运行 E:\Java\blogCode\hadoop\src\main\resources\phone2.txt E:\Java\blogCode\hadoop\src\main\resources\phone_ret2.txt由图可知产生了5个分区实现了手机归属地不同省份输出到不同文件中 3.分区总结 如果ReduceTask数量getPartition结果数则会多产生空的part-r-000xx文件如果1ReduceTask数量getPartition结果数,则有一部分数据无处写会Exception如果ReduceTask数量1则不管MapTask输出多少分区文件最终结果都会交给一个ReduceTask,只会产生一个文件part-r-00000分区号必须从零开始逐一累加 欢迎关注公众号算法小生与我沟通交流
http://www.w-s-a.com/news/984483/

相关文章:

  • 肇庆建设局网站cpanel 安装wordpress
  • 长春启做网站多少怎样换wordpress域名
  • 山西网站建设情况汇总vs2010 c 建设网站
  • 网站推广策划书 精品深圳市住建局和建设局官网
  • 住房和城乡建设部干部学院网站一般做公司网站需要哪几点
  • 网站制作流程详解(学做网站第一步)免费个人网站模版ps
  • 狮山网站建设公司微信平台软件开发
  • 绥芬河网站建设学网站开发的能找什么工作
  • 网站域名申请之后如何做网站微信公众号网页版登录入口
  • 网站优化图片省级精品课程网站
  • 婚纱摄影的网站模板怎么做网站自己当站长
  • 江西建设部网站wordpress弹出式广告
  • 工商年检在哪个网站做中国建设银行个人登录
  • seo做网站郑州巩义网站建设
  • 建设银行网站机构特点业务发展网站推广工作计划
  • 国家信用信息系统年报seo推广赚钱
  • 公司建设网站价格表广州免费拍卖公司
  • 知行网站建设wordpress文章半透明
  • 建设网站的虚拟机配置建设银行宁波分行招聘网站
  • 济南网站开发xywlcn网络推广服务合同模板
  • 品牌网站制作流程图用asp做网站题目
  • 兰州市建设厅网站河南网站建设问一问公司
  • 高档网站建设前端网站大全
  • 深圳电力建设公司网站互联网网站有哪些
  • 淅川网站建设如何在百度上做自己的网站
  • 网站制作 南通有学给宝宝做衣服的网站吗
  • 做西式快餐店网站网络营销的含义是什么
  • 网络销售代理加盟南京seo排名扣费
  • 赤峰中国建设招标网站网站开发投标文件
  • 域名抢住网站婚庆网页设计