资源中心

本文介绍资源中心功能的使用场景、操作流程和关键配置，帮助用户完成日常管理与业务操作。

查询资源中心

资源中心是至轻云平台的文件管理中心 资源中心包括：作业、函数、依赖、Excel四种文件类型 支持资源类型、备注搜索 支持文件上传、下载、删除、备注等操作

资源类型说明

• 作业：用于自定义作业，管理自定义作业Jar 包，参考地址：https://github.com/ispong/spark-job-template
• 函数：用于函数仓库，管理自定义函数Jar 包，参考地址：https://github.com/ispong/spark-function-template
• 依赖：用于作业运行中所需的基础依赖Jar 包，参考地址：https://mvnrepository.com/
• Excel：用于Excel同步作业，Excel文件将导到指定的目标表中

上传资源

点击上传文件按钮，选择文件的类型，再将文件拖入上传框中，点击确定按钮

• 类型：必填，资源类型包括：作业、函数、依赖、Excel
• 资源：必填，需要上传的资源文件
• 备注：非必填

使用资源文件

演示用例：解析上传的JSON 文件 新建JSON 文件

vim test.json

注意：JSON内容，参考以下格式

{"age": 13,"username": "张三"}
{"age": 14,"username": "李四"}

上传资源文件，使用依赖类型，该类型的资源文件使用都需要添加.jar后缀

作业配置中，添加test.json依赖

Standalone中执行作业

资源文件地址：{zhiqingyun-agent-path}/file/{fileId}.jar 举例：/Users/ispong/zhiqingyun-agent/file/sy_1880173934985502720.jar

zhiqingyun-agent-path：默认地址为~家目录下，即/home/xxx或者/rootfileId：资源文件id

CREATE TEMPORARY VIEW jsonTable
USING org.apache.spark.sql.json
OPTIONS (
  path '/Users/ispong/zhiqingyun-agent/file/sy_1880173934985502720.jar'
);

SELECT * FROM jsonTable

Kubernetes中执行作业

资源文件地址：file:///opt/spark/jars/{fileId}.jar 举例：file:///opt/spark/jars/sy_1880173934985502720.jar

fileId：资源文件id

CREATE TEMPORARY VIEW jsonTable
USING org.apache.spark.sql.json
OPTIONS (
  path 'file:///opt/spark/jars/sy_1880173934985502720.jar'
);

SELECT * FROM jsonTable

YARN中执行作业

资源文件地址： 需要提前将文件上传到HDFS中 /isxcode/sy_1880173934985502720.jar

zhiqingyun-agent-path：默认地址为~家目录下，即/home/xxx或者/rootfileId：资源文件id

hadoop fs -put {zhiqingyun-agent-path}/file/{fileId}.jar /isxcode/
hadoop fs -put /home/zhiqingyun/zhiqingyun-agent/file/sy_1880173934985502720.jar /isxcode/

CREATE TEMPORARY VIEW jsonTable
USING org.apache.spark.sql.json
OPTIONS (
  path '/isxcode/sy_1880173934985502720.jar'
);

SELECT * FROM jsonTable