常见的大数据交互方式有哪些?

问答 水墨之风 ⋅ 于 2018-01-03 16:49:01 ⋅ 最后回复由 青牛 2018-01-04 15:59:46 ⋅ 4596 阅读

大数据的交互都是将处理好的数据放在Mysql等关系型数据库中,然后前端直接进行查询吗?请问前端页面+spark数据处理接口+mongodb这种交互方式效果怎么样?

回复数量: 5
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-01-03 18:03:43

    如果数据量小的话可以,数据量大的话那用户等待时间长,就体验太差了。用户的忍耐度有一个3秒定论。当然如果是企业内部使用的话,即使用spark去查太大的数据量。也会有较长的等待时间,自己内部员工使用还凑合,不过要是你领导使用的话那他就不干了。:joy:

  • 水墨之风 勤奋好学,乐观开朗
    2018-01-03 18:08:54

    @青牛 跪求推荐几个好一点的实现方式?:1234:

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-01-03 18:17:57

    @水墨之风 目前来看,我还是建议把算好的数据放到mysql中的方式,目前的大数据解决方案对大量的数据查询速度都达不到从关系数据库中直接查询的速度。

  • Xibaibai
    2018-01-04 14:02:56

    @青牛 有点不太赞同大神的说法。
    其实像优秀的查询检索工具也有啊,像Elasticsearch等等,做数十亿级的文档检索都是很轻松的。
    Hbase其实也是可以给页面提供查询的,不过rowkey要进行一定的设计。只不过关联上就有所欠缺。
    需要关联的时候用HiveQL其实也是可以的,毕竟数据量规模太大的话,我并不觉得mysql也能够很快查得出来啊。

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-01-04 15:59:46

    @Xibaibai 你理解错了,我的意思是mysql中只存结果,比如最终的统计值,大的数据集还是不要存在mysql中

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter