使用阿里云抢占服务器体验至轻云平台
1. 抢占阿里云服务器
阿里云链接: https://ecs.console.aliyun.com/
选择
抢占式实例
,4核心8GB任意选择
选择
Centos 7.9 64位
的系统版本
注意!!安全组需要开放端口号:
8080
(访问端口必须开放,至轻云默认端口号8080)
获取服务器的
内网ip
和外网ip
系统信息如下
系统: Centos 7.9
资源: 4核8GB
外网ip: 47.92.206.228
内网ip: 172.16.215.83
账号: root
密码: Zhiqingyun123..
2. 登录服务器
ssh root@47.92.206.228
3. 安装java环境(在线安装/推荐)
Ubuntu系统,执行命令如下:
sudo apt update
sudo apt install openjdk-8-jdk openjdk-8-jre -y
sudo yum install java-1.8.0-openjdk-devel java-1.8.0-openjdk -y
安装java环境(离线安装/可选)
cd /tmp
nohup wget https://openfly.oss-cn-shanghai.aliyuncs.com/java/zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gz >> download_jdk.log 2>&1 &
tail -f download_jdk.log
注意!!!一定要在~/.bashrc中配置JAVA_HOME环境变量
tar -vzxf /tmp/zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gz -C /opt
ln -s /opt/zulu8.78.0.19-ca-jdk8.0.412-linux_x64 /opt/java
tee -a ~/.bashrc <<-'EOF'
export JAVA_HOME=/opt/java
export PATH=$PATH:$JAVA_HOME/bin
EOF
source ~/.bashrc
java -version
4. 下载至轻云安装包
耐心等待下载,大约1GB大小的安装包
cd /tmp
nohup wget https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/zhiqingyun.tar.gz >> download_zhiqingyun.log 2>&1 &
tail -f download_zhiqingyun.log
5. 解压安装包
cd /tmp
tar -vzxf zhiqingyun.tar.gz
6. 启动至轻云
cd /tmp/zhiqingyun/bin
bash start.sh
7. 检测服务是否启动
访问健康检测接口: http://47.92.206.228:8080/tools/open/health
8. 访问至轻云平台
1M的带宽,首次加载,大约40s
- 访问接口: http://47.92.206.228:8080
- 后台管理员账号:
admin
- 默认密码:
admin123
9. 创建用户和租户
- 创建用户
zhiqingyun
- 创建租户
体验租户
10. 上传许可证(可选)
仅使用基础功能,不需要上传许可证
可免费获取体验许可证,在官网的最下面
官网链接: https://zhiqingyun.isxcode.com/
11. 添加计算集群
退出后台管理界面,使用
zhiqingyun
账号登录
选择
StandAlone
的集群类型
点击集群名称,添加服务器节点
推荐使用内网ip
host: 172.16.215.83
用户名: root
密码: Zhiqingyun123..
默认安装Spark:打勾
12. 添加H2数据源
类型:
H2
链接信息:jdbc:h2:file:~/.zhiqingyun/h2/data_test;AUTO_SERVER=TRUE
用户名:root
密码:zhiqingyun123
13. 新建作业流,新建SparkSql查询作业
14. 新建Jdbc执行作业
选择h2数据源
创建两张表,一张原始表一张结果表,并在原始表中插入一条数据
-- 原始表
create table users(
username varchar(100),
sex int,
birth datetime
);
-- 结果表
create table users_result(
username varchar(100),
sex int,
birth varchar(100)
);
-- 结果表中插入一条数据
insert into users values('张三',13,now());
15. 新建Jdbc查询作业
选择h2数据源
通过jdbc查询作业,查看原始表中的数据。
select * from users;
16. 使用自定义函数
自定义函数需要先上传编译的jar包到
资源中心
官方自定义函数模版: https://github.com/isxcode/spark-function-template
- 演示函数文件下载:
https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/downloads/spark-custom-func.jar - 演示依赖文件下载:
https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/downloads/hutool-all-5.8.27.jar
17. 新建自定义函数
名称: to_chinese_date
类型: UDF
类名: com.isxcode.star.udf.Func
返回类型: string
备注: 将英文时间格式转成中文时间
18. 新建数据同步作业
使用自定义函数,将原始表中的英文日期格式改成中文格式,并同步到结果表中。
转换字段
to_chinese_date(birth)
添加自定义函数
to_chinese_date
添加函数依赖hutool-all-5.8.27.jar
使用jdbc查询作业,查询结果
select * from users_result;
19. 新建自定义作业
计算pi的值
官方自定义作业模版:https://github.com/isxcode/spark-job-template
- 官网pi计算文件下载: https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/downloads/spark-examples_2.12-3.4.1.jar
上传资源中心,选择
作业
类型
应用名称: pi-demo
mainClass: org.apache.spark.examples.SparkPi
请求参数: 10
点击数据返回,查看pi结果