提问关于 5 分钟数据存储的问题?

问答 ⋅ ruiqi ⋅ 于 2018-05-21 15:08:48 ⋅ 最后回复由 ruiqi 于 2018-05-21 17:22:06 ⋅ 3130 阅读

想问下。我们现在有个需求。是处理5分钟的计算程序，在java中实现，现在发现设计方案是放在map中，但是5分钟的数据量 都有好几十G 基本上维持在60G,这样的话我们程序配置的是128的内存老年代直接拿去70G剩下的在执行其他的成程序操作内存就不够用了。想请问下这个大家有没有好的方案解决这个问题。有什么可靠性强的key-value形式的比map占用内存少的形式。

点赞
成为第一个点赞的人吧 :bowtie:
回复数量: 6
  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-05-21 17:10:55

    为啥不用分布式计算比如spark?

  • ruiqi
    ruiqi
    ⋅ 2018-05-21 17:12:37

    @青牛 因为是从c 客户端发送过来的。那边是通过socket发过来的。我们直接用java接收的

  • ruiqi
    ruiqi
    ⋅ 2018-05-21 17:16:58

    @青牛 尴尬了。好像spark也可以直接从socket接收数据。。谢谢 我去查查相关资料

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-05-21 17:18:44

    @ruiqi 落成文件呗，存到集群上。或者那边写到kafka里，这边用流式处理，这样就不用攒太多数据一起算了

  • 青牛
    青牛 海汼部落创始人，80后程序员一枚，曾就职于金山，喜欢倒腾技术做产品
    ⋅ 2018-05-21 17:21:03

    @ruiqi 可以spark的streaming支持socket流streamgingContext.socketTextStream(IP，PORT)

  • ruiqi
    ruiqi
    ⋅ 2018-05-21 17:22:06

    @青牛 嗯呢 好的明白了

暂无评论~~
  • 请注意单词拼写，以及中英文排版，参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
  • 发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空
Ctrl+Enter
新 建 话 题

作者：ruiqi

ruiqi 的其他话题

分类下其他主题

随机推荐话题

QQ群1：551936262 海汼部落QQ群1

关注海汼部落技术社区