spark换成spark streaming就可以了
-
信息被删除或无权限查看
- 能否利用 ogg+kafka+spark 实现数据的准实时更新，源端和目标端都是 oracle？
- spark 处理数据的数据结构是什么？
- 为什么 HIVE 里显示有 3 张表，而 PYSPARK 里只显示一张表咧？
- saprk 关于分区是什么时候进行的问题？
- airflow 定义 task 调度 spark 离线任务（YARN），有没有办法获取 spark 任务的执行状态？
- 请问我这 pycharm 下的 spark 运行老是打印这行警告日志，咋去掉啊，我到 log4j 都改了还没用？
- spark 程序 在 sc.stop 之后的代码在哪里执行的？怎么执行的？
- spark 中 spark.reducer.maxSizeInFlight 多大合适？
- 如何在 hive 与 pig 中选择？
- spark collect ()，当数据量比较大时，卡死怎么解决？
- kafka 同一个消费组里 多个消费者 使用 consumer.assign (topicPartitions);会造成数据重复吗？
- kafka 消费者怎样每次只消费 30 条？
-
信息被删除或无权限查看
- spark 在运行过程中 gc 时间太长 怎么处理？