@大中 对

你可以在win上装个虚拟机 里面装一个linux系统 再安装hadoop

最好别用win 因为会出现很多环境问题 初学者最好直接跳过这些环境问题 不然会被折腾死

代码贴一下

线程挂了 一般会重启一个继续爬

代码贴一下

一般 来说全局的排序没啥意义 因为TB 数据排完了 你怎么处理 取前1000000吗 那不好意思 取topN有更好的排序算法 没必要全局排

并行啊 可以开多个mr

一般hbase的索引方案 是solr 比如Lily HBase Indexer使用SolrCloud来存储HBase的索引数据

@大中 那直接 sqoop import 就行了

@大中 你现在的数据在哪里 也就是从哪里导入到hbase？

也有别的语言接口 但是java是原生支持的 所以最好用java

import os
from PIL import Image

for root, dirs, files in os.walk("."):
for bmpfig in files:
if not bmpfig.endswith('.bmp') and not bmpfig.endswith('.png'):
continue
bmpfig = os.path.join(root, bmpfig)
newfigname = bmpfig[:-4] + ".jpg"
print "converting from", bmpfig, "to", newfigname
img = Image.open(bmpfig)
img = img.convert('RGB') # for png
img.save(newfigname, format='jpeg', quality=95)
img.close()
os.remove(bmpfig)

1、其实只要用spark环境就行了，你安装相同的python环境更好
2、不能连jupyter 不然只能是单机版
3、如何在程序中指定worker的解释器路径？这个要通过参数传递 最好能在submit的时候指定