网能通吗 能ping通吗

zk都是自己安装的，或者说自己维护的，只需要把zk的端口配置到模板即可

1、comsumer 非正常的rebalancing（重新分配分区）才会导致无法消费，如果不出现rebalancing，消息是不会重复消费或无法消费的。
2、当leader crash的时候，follower还没有同步到任何数据，而且这个follower被选举为新的leader的话，这样消息就会丢失。
3、kafka就是很好的选择啊，很多大公司这种场景都有kafka

from kafka import KafkaConsumer

consumer = KafkaConsumer('test',
bootstrap_servers=['172.21.10.136:9092'])

for message in consumer:
print ("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
message.offset, message.key,

那篇文章？什么场景？解决什么问题？

1、可能有任务之间的依赖 2、spark的内存最好自己代码释放 3、找到运行缓慢的代码

不慢啊 根据数据划分不同的partition并行啊

Spark是一种内存计算引擎 这句话的意思是我不管数据从哪里来 我只管计算 那问题来了 数据从哪里来到哪里去呢？

没啥关系吧 你的初始化不就是一次吗 难道天天要初始化吗 只要你的消费速度足够快就可以了

设置一个seed就可以了

把reduce的数目设置为1

reduce默认大小是1g但是可以根据集群资源调节 超过1g了磁盘排序也没有问题

再抽一遍