使用阿里云抢占服务器体验至轻云平台

1. 抢占阿里云服务器

阿里云链接: https://ecs.console.aliyun.com/

选择抢占式实例,4核心8GB任意选择

20241101175851

选择Centos 7.9 64位的系统版本

20241101175920

注意!!安全组需要开放端口号: 8080(访问端口必须开放,至轻云默认端口号8080)

20241101175947

获取服务器的内网ip外网ip

20241101180120

系统信息如下

系统: Centos 7.9
资源: 4核8GB
外网ip: 47.92.206.228
内网ip: 172.16.215.83
账号: root
密码: Zhiqingyun123..

2. 登录服务器

ssh root@47.92.206.228

20241101180227

3. 安装java环境(在线安装/推荐)

Ubuntu系统,执行命令如下:
sudo apt update
sudo apt install openjdk-8-jdk openjdk-8-jre -y

sudo yum install java-1.8.0-openjdk-devel java-1.8.0-openjdk -y

20241101180421

安装java环境(离线安装/可选)

cd /tmp
nohup wget https://openfly.oss-cn-shanghai.aliyuncs.com/java/zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gz >> download_jdk.log 2>&1 &
tail -f download_jdk.log

注意!!!一定要在~/.bashrc中配置JAVA_HOME环境变量

tar -vzxf /tmp/zulu8.78.0.19-ca-jdk8.0.412-linux_x64.tar.gz -C /opt
ln -s /opt/zulu8.78.0.19-ca-jdk8.0.412-linux_x64 /opt/java
tee -a ~/.bashrc <<-'EOF'
export JAVA_HOME=/opt/java
export PATH=$PATH:$JAVA_HOME/bin
EOF
source ~/.bashrc
java -version

4. 下载至轻云安装包

耐心等待下载,大约1GB大小的安装包

cd /tmp
nohup wget https://isxcode.oss-cn-shanghai.aliyuncs.com/zhiqingyun/zhiqingyun.tar.gz >> download_zhiqingyun.log 2>&1 &
tail -f download_zhiqingyun.log

20241101181047

5. 解压安装包

cd /tmp
tar -vzxf zhiqingyun.tar.gz

20241101181114

6. 启动至轻云

cd /tmp/zhiqingyun/bin
bash start.sh

20241101181156

7. 检测服务是否启动

访问健康检测接口: http://47.92.206.228:8080/tools/open/health

20241101181317

8. 访问至轻云平台

1M的带宽,首次加载,大约40s

20241101181443

9. 创建用户和租户

  • 创建用户zhiqingyun
  • 创建租户体验租户

20241219160103

10. 上传许可证(可选)

仅使用基础功能,不需要上传许可证
可免费获取体验许可证,在官网的最下面

官网链接: https://zhiqingyun.isxcode.com/

20241101181637

20241101181601

11. 添加计算集群

退出后台管理界面,使用zhiqingyun账号登录

20241101181813

20241101181829

20241101181846

选择StandAlone的集群类型

20241101181911

点击集群名称,添加服务器节点

20241101181923

推荐使用内网ip
host: 172.16.215.83
用户名: root
密码: Zhiqingyun123..
默认安装Spark: 打勾

20241101182039

20241101182056

20241101182118

20241101182151

12. 添加H2数据源

类型: H2
链接信息: jdbc:h2:file:~/.zhiqingyun/h2/data_test;AUTO_SERVER=TRUE
用户名: root
密码: zhiqingyun123

20250428114946

20250428115037

20250428115102

13. 新建作业流,新建SparkSql查询作业

20241101183016

20241101183042

20241101183120

20241101183235

20241101183248

14. 新建Jdbc执行作业

选择h2数据源
创建两张表,一张原始表一张结果表,并在原始表中插入一条数据

20241101183356

-- 原始表
create table users(
    username varchar(100),
    sex int,
    birth datetime
);

-- 结果表
create table users_result(
    username varchar(100),
    sex int,
    birth varchar(100)
);

-- 结果表中插入一条数据
insert into users values('张三',13,now());

20241101183429

15. 新建Jdbc查询作业

选择h2数据源
通过jdbc查询作业,查看原始表中的数据。

select * from users;

20241101183455

20241101183511

16. 使用自定义函数

自定义函数需要先上传编译的jar包到资源中心
官方自定义函数模版: https://github.com/isxcode/spark-function-template

20241101183821

20241101183910

20241101183940

20241101183951

17. 新建自定义函数

20241101184033

名称: to_chinese_date
类型: UDF
类名: com.isxcode.star.udf.Func
返回类型: string
备注: 将英文时间格式转成中文时间

20241101184138

20241101184151

18. 新建数据同步作业

使用自定义函数,将原始表中的英文日期格式改成中文格式,并同步到结果表中。

20250428124718

转换字段 to_chinese_date(birth)

20250312161958

添加自定义函数to_chinese_date
添加函数依赖hutool-all-5.8.27.jar

20250428125020

使用jdbc查询作业,查询结果

select * from users_result;

20250312163313

19. 新建自定义作业

计算pi的值
官方自定义作业模版:https://github.com/isxcode/spark-job-template

上传资源中心,选择作业类型

20241101184740

20241101184813

应用名称: pi-demo
mainClass: org.apache.spark.examples.SparkPi
请求参数: 10

20241101184903

20241101184941

点击数据返回,查看pi结果

20250312182142

更多功能请看产品手册