from kafka import KafkaConsumer
consumer = KafkaConsumer('test',
bootstrap_servers=['172.21.10.136:9092'])
for message in consumer:
print ("%s:%d:%d: key=%s value=%s" % (message.topic, message.partition,
message.offset, message.key,
- python 怎么去获取 Kafka 的 topic？
- Kafka-spark-kafka-spark 架构有什么优势吗，为何两次使用 kafka？
-
信息被删除或无权限查看
-
信息被删除或无权限查看
- 如何解决 Spark 大规模数据运行情况下，速度越来越慢的情况？
- spark 如何实现一个快速的 RDD 中所有的元素相互计算？
- Spark 是一种内存计算引擎，为什么他还要依赖 HDFS 这种文件系统呢？
- SparkStreaming 消费 kafka 数据，怎样解决大量初始化数据的问题？
- python 怎么设置 cuda 的随机数种子 curand？
- hadoop streaming 中 reduce 程序如何将结果保存在一个文件中输出？
- Hadoop 下 reduce 处理量最大是 1G 如果 order by 全局排序的文件超过 1G，系统如何处理？
- 关系数据修改后如何刷新 Hadoop 平台数据?
- 大的文件拆分后，怎样用 Hadoop 进行高效的处理这些小文件？以及怎样让各个节点尽可能的负载均衡？
- spark 开发词频统计应用，最后数据保存到 Hadoop 下的 data 文件里？
- cloudera manager 的 server 提示 cloudera-scm-server dead but pid file exists？请大神解决