是win10系统在idea上执行mr程序吗？

java版的api看着麻烦，你怎么不用scala版的

@maxy 能啊，你定义个变量不就得了

val url:String = "jdbc:mysql://localhost:3306/hainiutest"

@maxy 2.2还是可以使用SQLContext的，只是不建议使用而已，未来版本会抛弃。
你的代码我这里是没有问题的哦，给你个参照，你看看是不是那里写错了？

package com.hainiu.spark.sql

import org.apache.spark.SparkConf
import org.apache.spark.sql.{Dataset, SparkSession}
object SqlMysql_session {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("sqlmysql").setMaster("local")
    val spark = SparkSession.builder().appName("SparkSQLDemo").config(conf).getOrCreate()
    val data: Dataset[_] = spark.read.format("jdbc")
      .option("driver", "com.mysql.jdbc.Driver")
      .option("url", "jdbc:mysql://localhost:3306/hainiutest")
      .option("dbtable", "hainiu_web_seed")
      .option("user", "hainiu")
      .option("password", "12345678").load
    data.createOrReplaceTempView("temp")
    val row: Dataset[_] = spark.sql("select * from temp")
    row.show()
  }
}

@HiHadoop 你这么写本来就没啥意义啊， 你非要写，实际工作中也没有这么用的

@HiHadoop 拼字符串，然后用context输出

Dataset<Row> jdbc = sqlc.jdbc("jdbc:mysql://localhost:3306/数据库?user=用户名&password=密码", "表名");
jdbc.show(100);

@慧爱万泽 不客气，欢迎随时来社区讨论

你看一下你这个包是不是坏掉了 /data/beh/core/spark/chdalib/protobuf-java-2.5.0.jar

@慧爱万泽 恩还有数据处理，数据处理包括数据清洗

转挖掘需要算法基础，分析需要更理解业务，不管是ETL还是挖掘前题是都得会数据开发，当然数据分析需要的少一些。要是向后期发展当然是数据挖掘比较好了

dba_ts_quotas(查看所有用户的表空间配额)
BYTES字段表示用户已经使用的空间；MAX_BYTES如果为-1表示没有限制，其他值表示限制配额

伪代码

Map<String,List<Integer>> map = new HashMap<String,ArrayList<Integer>>();
if(value > max){
max=value
List mapList = map.get("max")
map_tmp = mapList[0]
if(max == map_tmp){
mapList.append(max)
}else{
List<Integer> list = new ArrayLIst<Integer>()
list.append(max)
map.put("max",list)
}
}

@小东 你可以用kafka,redis,mysql当用的队列中间件，或者干脆用个list。控制好锁和多个消费程序的队列阻塞问题就行，比如mysql可以用select * from table where type=1 for update去做，在事物中锁住type索引字段，且不会影响插入操作

是不是你的虚拟机给的硬盘空间太小了，或者你的电脑上的硬盘没空间了，学centos可以不用desktop，用命令行操作就可以了，选最小安装minimal就可以了