区别主要是场景不同,他们都可以做日志收集的工作,flume是一个集中式的方法,就是把多个机器的日志收集到一个节点,
kafka通过消息传递日志,这两个方案在企业中都很常用,一般为了不让日志产生堆积,flume收集完了,用kafka发到指定hdfs是比较好的选择
- 日志采集系统 flume 和 kafka 有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?
- Hadoop,Hive,Kafka,Flume,Hbase,Spark 等 是部署在一个集群上面吗?
- Flume 为什么在 HDP 技术栈中被移除,有什么替代的框架吗?
- Spark/Tez 这些并行计算框架为何不用有环图做执行计划?
- Golang 运行时占用的内存非常少,为什么没能在大数据领域里对常常 OOM 的 Java 发起冲击?
- zookeeper 在 kafka 中扮演着什么角色?
- Redis 和 zookeeper 有什么联系吗?
- ZooKeeper 可以作为分布式存储系统么?
-
信息被删除或无权限查看
- 数据挖掘时,当正负样本不均,代码如何实现改变正负样本权重?
- Spark 如何获得当前 alive 节点的个数?
- 为什么 Spark 比 MapReduce 快?
- HDFS 中元数据和数据为什么要分离?
- 为什么 hadoop 不直接采用 lustre 而要用 hdfs?
- 为什么 hdfs 不支持随机写?