博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop大作业
阅读量:4705 次
发布时间:2019-06-10

本文共 304 字,大约阅读时间需要 1 分钟。

Hadoop综合大作业 要求:

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

    1、启动hadoop

    

  2、Hdfs上创建文件夹并查看

    

  3、上传英文词频统计文本至hdfs

    

  4、启动Hive

    

  5、导入文件内容到表docs并查看

    

  6、进行词频统计

    

  7、查看统计结果

    

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

  

 

 

转载于:https://www.cnblogs.com/xujinpei/p/9088565.html

你可能感兴趣的文章
骚输入
查看>>
MD5 加密
查看>>
Java GC、新生代、老年代
查看>>
【Win10】实现控件倒影效果
查看>>
Liferay 6.2 改造系列之十一:默认关闭CDN动态资源
查看>>
多线程
查看>>
折线切割平面
查看>>
获取当前路径下的所有文件路径 :listFiles
查看>>
图像形态学及更通用的形态学的原理及细节汇总
查看>>
linux开启coredump的3种方法
查看>>
数据驱动之 python + requests + Excel
查看>>
TCP/IP协议(4):网络层
查看>>
Eclipse下配置python开发环境插件
查看>>
for循环闭包添加事件方法
查看>>
temp for @青
查看>>
npm 换源
查看>>
Vultr Debian8系统一键快速DD安装Windows7系统
查看>>
UVA - 1610 Party Games(聚会游戏)(构造)
查看>>
POJ3278 Catch That Cow(BFS)
查看>>
使用vuex+vue-i18n方式国际化
查看>>