val value: ConsumerStrategy[String,String] = ConsumerStrategies.Subscribe(topicSet,kafkaParams,offset)
val lines: InputDStream[ConsumerRecord[String, String]] = KafkaUtils.createDirectStream(streamingContext,LocationStrategies.PreferConsistent,value)
- 请问如何设置 kafka 的偏移量，采用 DStream 时没设置偏移量，每次启动从新消费，存在重复消费？
- 请问如何设置 kafka 的偏移量，采用 DStream 时没设置偏移量，每次启动从新消费，存在重复消费？
- spark 大量数据读写问题？
- spark 大量数据读写问题？
- spark 大量数据读写问题？
- spark 大量数据读写问题？
-
信息被删除或无权限查看
-
信息被删除或无权限查看
- spark 整合 kafka idea 本地测试报错，spark 版本 1.6.1 ，kafka 版本 kafka_2.10-0.8.2.2。这两个版本是不是不兼容？
-
信息被删除或无权限查看
- spark 整合 hive，sparkSQL 为什么调不到 hive 中的表？
- spark ml ?
- spark 通过 Phoenix 读取 hbase 数据的问题?
- scala 基础 5
-
信息被删除或无权限查看