使用阿里云抢占服务器体验至轻云平台
1. 抢占阿里云服务器
阿里云链接: https://ecs.console.aliyun.com/
选择
抢占式实例
,4核心8GB任意选择
选择
Centos 7.9 64位
的系统版本
固定带宽可选
注意!!新建安全组开放端口号:
80
(访问端口必须开放,至轻云默认端口号为8080)
设置root密码
设置抢占时间,创建服务器实例
获取服务器的
内网ip
和外网ip
系统信息如下
系统: Centos 7.9 资源: 4核8GB 外网ip: 47.100.8.119 内网ip: 172.19.73.181 账号: root 密码: Zhiqingyun123..
2. 登录服务器
使用Terminal终端登录服务器
ssh root@47.100.8.119
3. 安装Java环境(在线安装)
yum install java-1.8.0-openjdk-devel java-1.8.0-openjdk -y
java -version
4. 安装Docker环境(在线安装)
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum makecache fast
yum -y install docker-ce-19.03.9-3.el7 docker-ce-cli-19.03.9-3.el7 containerd.io
systemctl enable docker
systemctl start docker
systemctl status docker
5. Docker启动至轻云
# 创建持久化目录
mkdir -p /var/lib/zhiqingyun
# 拷贝配置文件
mkdir -p /data/zhiqingyun/conf
wget https://gitee.com/isxcode/spark-yun/raw/main/spark-yun-backend/spark-yun-main/src/main/resources/application-docker.yml -O /data/zhiqingyun/conf/application-docker.yml
# 启动镜像
docker run \
--restart=always \
--name zhiqingyun \
-e ADMIN_PASSWORD=admin123 \
-v /data/zhiqingyun/conf:/etc/zhiqingyun/conf \
-v /var/lib/zhiqingyun:/var/lib/zhiqingyun \
-p 80:8080 \
-d registry.cn-shanghai.aliyuncs.com/isxcode/zhiqingyun:latest-amd64
# 查看日志
docker logs -f zhiqingyun
6. 检测服务是否启动
访问健康检测接口: http://47.100.8.119/tools/open/health
7. 访问至轻云平台
1M的带宽,首次加载,大约40s
- 访问接口: http://47.100.8.119
- 后台管理员账号:
admin
- 默认密码:
admin123
8. 创建用户和租户
参考产品手册创建用户和租户
- 创建用户
zhiqingyun
- 创建租户
体验租户
9. 上传许可证(可选)
仅使用基础功能,不需要上传许可证 可免费获取体验许可证,在官网的最下面
官网链接: https://zhiqingyun.isxcode.com/ 许可证下载链接【体验版】: https://zhiqingyun-demo.isxcode.com/tools/open/file/license.lic
10. 添加计算集群
退出后台管理界面,使用
zhiqingyun
账号登录
选择
StandAlone
的集群类型
点击集群名称,添加服务器节点
推荐使用内网ip host: 172.19.73.181 用户名: root 密码: Zhiqingyun123.. 默认安装Spark:
打勾
11. 添加数据源
类型:
H2
链接信息:jdbc:h2:file:/var/lib/zhiqingyun/h2/data_test;AUTO_SERVER=TRUE
用户名:root
密码:zhiqingyun123
12. 新建作业流,执行SparkSql查询作业
13. 新建Jdbc执行作业
选择h2数据源 创建两张表,一张原始表一张结果表,并在原始表中插入一条数据
-- 原始表
create table users(
username varchar(100),
sex int,
birth datetime
);
-- 结果表
create table users_result(
username varchar(100),
sex int,
birth varchar(100)
);
-- 结果表中插入一条数据
insert into users values('张三',13,now());
14. 新建Jdbc查询作业
选择h2数据源 通过jdbc查询作业,查看原始表中的数据。
select * from users;
15. 新建数据同步作业
使用jdbc查询作业,查询结果
select * from users_result;
16. 新建Spark自定义作业
计算pi的值 官方自定义作业模版:https://github.com/isxcode/spark-job-template
上传资源中心,选择
作业
类型
应用名称:
pi-demo
mainClass:org.apache.spark.examples.SparkPi
请求参数:10
点击数据返回,查看pi结果