海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

451 关注者
2256 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2256)
  • 信息被删除或无权限查看
  • 如何缓解 Kafka 集群在有大量 topic 时性能快速劣化的问题?
    1. 消费组组员,最多增加到和partition数量一致,超过的组员只会占用资源,而不起作用。
    2. kafka的partition的个数一定要大于消费组组员的个数,并且partition的个数对于消费组组员取模一定要为0,不然有些消费者会占用资源却不起作用。
      3.如果需要增加消费组的组员个数,那么也需要根据上面的算法,调整partition的个数。
      4、换更快的磁盘 ssd
  • kafka topic 数据如何写入 hdfs?

    写一个消费者落地kafka消息 然后批量导入到hdfs中

  • kafka 发布消息如何达到不重不漏?

    要看生产者是什么把 如果是数据库那天然就没有问题

  • kafka 0.9 之后的版本如何获取 offset 用于计算出 lag 呢?

    kafka_2.12和kafka-clients中有啊

  • kafka 如何减少消息时延?

    你的延时计算逻辑实际上是写入发送到接收之间的时间间隔,你要仔细分析一下写入,发送,接收和读入哪块的延时比较高,根据不同的情况调不同的参数

  • cdh 集群启用 kerberos 认证出现如下错误?

    从错误上来看应该是zookeeper的机器安装kerberos的配置有问题 再仔细检查一下 大多数情况是集群的hostname问题

  • yarn 提交任务之后一直处于 pending 状态怎么解决?

    我们的集群有时候也这样,提交了任务找不到日志,跟踪下是偶尔发生还是经常发生吧,有的时候显示是UNASSIGNED 但是可能已经执行完了

  • 信息被删除或无权限查看
  • Pandas 读取 Excel 中指定单元格后再取 dataFrame 怎么做?

    pd.read_csv就可以指定从第几行开始读 设置skiprows参数

  • Python 的 for in 循环能嵌套使用?

    当然可以啊

  • pygame 的图片为什么加载不出来?

    是找不到文件吗?

  • 信息被删除或无权限查看
  • 有没有大佬知道,pygame 中 get_busy () 函数怎样才会返回一个 1?

    理解是对的 没问题

  • CDH 集群环境安全问题如何解决?

    数据安全一个是kerberos认证 一个是自己做一套权限系统 这两个都要用

  • «
  • 1
  • 2
  • ...
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • ...
  • 146
  • 147
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2