SS00014.olap——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|
时间：2022-11-28 08:00:01
一、集群模式--Standalone模式
### --- 检查集群状态 ~~~ # 启动服务 [root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh [root@hadoop01 ~]# start-all-spark.sh~~~ # 检查集群状态 [root@hadoop00 ~]# jps Hadoop01：Master、Worker Hadoop02：Worker Hadoop03：Worker
二、使用浏览器查看：http://hadoop01:8080/
三、Standalone配置
### --- 测试在 spark-env.sh 增加参数，分发到集群，重启服务： [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh export SPARK_WORKER_CORES=10 export SPARK_WORKER_MEMORY=20g[root@hadoop01 ~]# rsync-script $SPARK_HOME/conf/spark-env.sh [root@hadoop01 ~]# stop-all-spark.sh [root@hadoop01 ~]# start-all-spark.sh
3.观察浏览器中的集群状态。测试完成后，将上述两个参数分别改为10和20g，重启服务。
### --- 修改默认配置 ~~~ 发送到其他主机并重启服务 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_WORKER_CORES=1 # export SPARK_WORKER_MEMORY=2g
