现状： 在kafka定义了一个主题 topic_log （只有一个分区） storm去消费这个主题
现有10个工程先后的向topic_log添加数据 （工程A先向topic_log发布消息 工程B后发布）
storm在处理数据的时候就会先处理工程A然后再处理工程B 这样会导致 storm处理工程B的时间延迟的很厉害的
要求 storm处理的时候能够 比较均衡的处理工程A和工程B的数据 从而让每个工程的数据处理时间不会太大的延迟 应该怎样做呢？
storm 怎样均衡的处理 kafka 数据？
成为第一个点赞的人吧 
回复数量: 3
-
为啥不用两个strom去处理 一个处理a 一个处理b
-
@青牛 谢谢老师 ，资源是一定的 不能起两个storm 我用 多主题多分区 在一个spout里面订阅多个主题 循环这些主题的分区 取出每个分区的部分数据这样一定程度上解决吧
-
@shishuai19910217 可以 提高效率的方法一般都是增加消费者 但是增加的逻辑和处理数据的逻辑自己控制好就可以了
作者：shishuai19910217
shishuai19910217 的其他话题
- 在 storm 如何保证每个 worker（jvm）只保存一份静态数据？
- jstorm ui 中 sendtps 和 secvtps ,TupleLifeCycle ProcessLatency 分别什么含义？
- kafka 同一个消费组里 多个消费者 使用 consumer.assign (topicPartitions);会造成数据重复吗？
- kafka 消费者怎样每次只消费 30 条？
- storm 怎样均衡的处理 kafka 数据？
- flink apply 方法中为什么不能使用 lambda？
- flink f DataStream 怎样做到每隔 30 秒入一次库？
- spark shuffle 在原始的 Hash Shuffle 机制中怎么生存 bucket？
分类下其他主题
随机推荐话题
QQ群1：551936262
关注海汼部落技术社区
