服务端开启了sasl认证，客户端连接的时候需要指定认证的文件，用户名和密码

好像严格保证只消费一次的都需要自定义处理，没有现成的办法

1、你的读写的数据存在哪里？
2、是用什么方法写的？
澄清一下上面的问题

/ 是除法，//是取模，*是乘法，**是乘方，%是取模的余数

存储不会有问题，问题在于你怎么查询

量化交易很多场景，具体指的是哪一种，实时性高的时候一般用不上

找个图形化结果的工具可以看到表和库的关系 像是pgAdmin等

java是静态类型语言，需要编译和解释执行两种环境，如果基于java的开发也就是我们通常所说的jdk环境，还有运行时环境jre，如果只需要运行，有很多集成环境直接可以用jar，之所以手工配置是增加了更多的灵活性，python是动态类型的语言，一个环境就够了，所以可以很自动的配置

SELECT id FROM table_a WHERE id IN(1,2,3) and id IN(9999) 这么写可以吗

把sql和sql的执行计划及索引结构发出来看一下把

yarn提供了一套自己的调度机制，如果想被yarn调度起来需要自定义开发很多组件，spark也是自己开发了适应于yarn调度的接口，才能部署为spark on yarn，这个内容比较多，推荐一篇文章给你看下吧https://blog.csdn.net/u010039929/article/details/74934306

!/usr/bin/env python -- coding: utf-8 --

import MySQLdb as mdb

连接数据库

conn = mdb.connect('localhost', 'root', 'root')

也可以使用关键字参数

conn = mdb.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='test', charset='utf8')

也可以使用字典进行连接参数的管理

config = {
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'passwd': 'root',
'db': 'test',
'charset': 'utf8'
}
conn = mdb.connect(**config)
连接完数据库就可以执行sql了
然后把查询出来的结果拼装成html就可以了

大数据平台一般指的是具体的平台比如某个商业公司用的某个基于大数据开发的平台，大数据技术平台一般指的是一系列技术构建成的平台，也可以用别的技术，这些技术栈统称为大数据技术平台技术栈，这个虽然有点拗口，但是不要太在意这些概念。

MetaStore的引入很重要，主要解决了客户端访问hive元数据的管理问题，客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。这样既可以保证安全又可以保证高效。

spark的出现其实是一个生态系统的成长过程，Spark是基于内存计算的大数据并行计算框架，也就是说他的思想是要在内存中处理大规模数据，同时还要兼顾处理数据处理的实时性,同时保证了高容错性和高可伸缩性,当然这个前提是要在廉价的分布式集群上解决这个问题，这就是设计的初衷，也是设计的主要思想，至于rdd只是一个抽象而已。