@HiHadoop mapreduce的话需要两步，spark的话比较好做map->countByKey->sort->top就完事了

@HiHadoop 恩，道理都是一样的

@HiHadoop 这个频次你可以用wordcount进行统计，比如给你一组词
a a a b
你应该先写一个mapreducer的wordcount统计其中a出现3次，b出现1次，
然后再写一个mapreducer依赖wordcount这个mapreducer，弄个自定义的key里面包含词和count的词，并定义好比较的方法，利用shuffle过程中排序的原理统计出其中频次最高的那个词

@HiHadoop 可以的你就用TextInputFormat就行

你可以看一下这篇文章中的mapreducer编程中的最大值和最小值
http://hainiubl.com/topics/92

是不是可以输出任务日志然后用awk等脚本过滤一下呢？

先用hdfs fsck 路径文件
看一下

因为文件没上传成功，看看目标文件是否已存在

我觉得是这个变量为空导致的，是不是因为没有设置hadoop的配置目录

Mark

很细致

mark

mark