![](\"/zh-CN/assets/images/ob-conn-ad13249d704982c7e8d9ffa0c47ce50a.png\")
本文主要介绍在 Linkis 1.3.2 版本中，整合 OceanBase 数据库。 OceanBase 数据库兼容 MySQL 5.7/8.0 的绝大部分功能和语法。因此可以将 OceanBase 数据库当成 MySQL 来使用。
安装部署 OceanBase 数据库，参看快速体验OceanBase
可以使用 MySQL 命令验证 OceanBase 数据库安装情况。
mysql -h${ip} -P${port} -u${username} -p${password} -D${db_name}
连接成功如下图所示：\n
sh ./bin/linkis-cli -engineType jdbc-4 -codeType jdbc -code \"show tables\" -submitUser hadoop -proxyUser hadoop -runtimeMap wds.linkis.jdbc.connect.url=jdbc:mysql://${ip}:${port}/${db_name} -runtimeMap wds.linkis.jdbc.driver=com.mysql.jdbc.Driver -runtimeMap wds.linkis.jdbc.username=${username} -runtimeMap wds.linkis.jdbc.password=${password}
Linkis 提供了 Java 和 Scala 的 SDK 向 Linkis 服务端提交任务。具体可以参考 JAVA SDK Manual。对于 OceanBase 任务您只需要修改 Demo 中的 EngineConnType 和 CodeType 参数即可:
Map<String, Object> labels = new HashMap<String, Object>();
labels.put(LabelKeyConstant.ENGINE_TYPE_KEY, \"jdbc-4\"); // required engineType Label
labels.put(LabelKeyConstant.USER_CREATOR_TYPE_KEY, \"hadoop-IDE\");// required execute user and creator
labels.put(LabelKeyConstant.CODE_TYPE_KEY, \"jdbc\"); // required codeType
地址：登陆管理台-->数据源管理
步骤1：新建数据源
![](\"/zh-CN/assets/images/ds-manage-zh-7e6a06f4bf99a16104bdad137c28662f.png\")
![](\"/zh-CN/assets/images/new-zh-98bba34d9c176383dcbf475e8d3ae0fc.png\")
步骤2：连接测试
点击测试连接按钮进行测试\n![](\"/zh-CN/assets/images/ob-test-zh-64d4ef94aeea497a8b21b8d1b8d852a4.png\")
步骤3：发布数据源
![](\"/zh-CN/assets/images/publish-1-zh-dee369ba7c72e7b4b53907159a0074bb.png\")
![](\"/zh-CN/assets/images/publish-2-zh-4d4d7f85f71179c80a60026c45eb93c4.png\")
步骤4：通过指定数据源名称提交 OceanBase 任务
请求URL：http://${gateway_url}:${port}/api/rest_j/v1/entrance/submit
请求方式：POST
请求参数：
{
\"executionContent\": {
\"code\": \"show databases\",
\"runType\": \"jdbc\"
},
\"params\": {
\"variable\": {},
\"configuration\": {
\"startup\": {},
\"runtime\": {
\"wds.linkis.engine.runtime.datasource\": \"ob-test\"
}
}
},
\"labels\": {
\"engineType\": \"jdbc-4\"
}
}
响应结果：
{
\"method\": \"/api/entrance/submit\",
\"status\": 0,
\"message\": \"OK\",
\"data\": {
\"taskID\": 93,
\"execID\": \"exec_id018017linkis-cg-entrance000830fb1364:9104IDE_hadoop_jdbc_0\"
}
}
管理台查看任务执行情况：
![](\"/zh-CN/assets/images/show-status-zh-2379e1ed08870b9a60410c85df3e0af8.png\")
引擎物料管理是linkis引擎物料管理系统，主要用来管理Linkis的引擎物料文件，存储用户的各种引擎文件，包括引擎类型、引擎版本等信息。总体流程为压缩文件经前端浏览器上传至物料库（BML），物料压缩文件解压、校验，需要执行时如果发现本地不存在该引擎，则需要去物料库中寻找并下载安装注册从而执行。
具备以下功能点：
1)、支持上传打包好的引擎文件，上传文件大小受nginx的配置影响，文件类型为zip文件类型，在windows环境下自行打包zip压缩文件不支持。
2)、支持对已有的引擎物料进行更新，更新后在BML中新增一个bml引擎物料的存储版本，可以对当前的版本进行回滚和删除。
3)、一个引擎涉及两个引擎物料，分别是lib和conf，可以进行分别管理。
![](\"/zh-CN/assets/images/bml-94c1a3494a1d7b2321ad2c911c530901.jpg\")
1、引擎物料管理在Linkis web管理台中，需要管理员权限，在开发调试时需要设置测试环境下的管理员字段。
2、引擎物料管理涉及引擎物料文件的增加、更新、删除，物料文件分为lib和conf分别存储。文件中涉及两个版本的概念，一个是引擎本身的版本，另一个则是物料版本，在更新操作中物料如果存在修改则会新增一个物料版本并将其存储在BML中，支持物料版本的删除和回滚。
3、利用BML Service对引擎物料文件进行存储，通过RPC调用BML的服务对文件进行存储，得到存储的资源id和版本并保存。
引擎物料资源信息表(linkis_cg_engine_conn_plugin_bml_resources)
| 字段名 | 作用 | 备注 |
|---|---|---|
| id | 引擎物料包标识id | Primary key |
| engine_conn_type | 存放资源的位置 | 如Spark |
| version | 引擎的版本 | 如Spark的v2.4.3 |
| file_name | 引擎文件名 | 如lib.zip |
| file_size | 引擎文件大小 | |
| last_modified | 文件最后的修改时间 | |
| bml_resource_id | 记录资源在BML（物料管理系统）中的id | 用于在BML中标识引擎文件的id |
| bml_resource_version | 记录资源在BML中的版本 | 如v000001 |
| create_time | 资源的创建时间 | |
| last_update_time | 资源最后的更新时间 |
随着业务的发展和社区产品的更新迭代，我们发现Linkis1.X服务过多，可以适当进行服务合并，减少服务数量，方便部署和调试。目前Linkis服务主要分为三大类，包括计算治理服务（CG: entrance/ecp/ecm/linkismanager）、公共增强服务（PS:publicservice/datasource/cs）和微服务治理服务（MG：Gateway/Eureka）。这三类服务延伸的子服务过多，可以进行服务合并，做到将PS的服务全部合并，CG服务支持全部合并，同时支持将ecm服务单独出去。
本次服务合并主要变动如下：
//变动前
override def route(gatewayContext: GatewayContext): ServiceInstance = {
if (gatewayContext.getGatewayRoute.getRequestURI.contains(HaContextGatewayRouter.CONTEXT_SERVICE_STR) ||
gatewayContext.getGatewayRoute.getRequestURI.contains(HaContextGatewayRouter.OLD_CONTEXT_SERVICE_PREFIX)){
val params: util.HashMap[String, String] = gatewayContext.getGatewayRoute.getParams
if (!gatewayContext.getRequest.getQueryParams.isEmpty) {
for ((k, vArr) <- gatewayContext.getRequest.getQueryParams) {
if (vArr.nonEmpty) {
params.putIfAbsent(k, vArr.head)
}
}
}
if (gatewayContext.getRequest.getHeaders.containsKey(ContextHTTPConstant.CONTEXT_ID_STR)) {
params.putIfAbsent(ContextHTTPConstant.CONTEXT_ID_STR, gatewayContext.getRequest.getHeaders.get(ContextHTTPConstant.CONTEXT_ID_STR)(0))
}
if (null == params || params.isEmpty) {
dealContextCreate(gatewayContext)
} else {
var contextId : String = null
for ((key, value) <- params) {
if (key.equalsIgnoreCase(ContextHTTPConstant.CONTEXT_ID_STR)) {
contextId = value
}
}
if (StringUtils.isNotBlank(contextId)) {
dealContextAccess(contextId.toString, gatewayContext)
} else {
dealContextCreate(gatewayContext)
}
}
}else{
null
}
}
//变动后
override def route(gatewayContext: GatewayContext): ServiceInstance = {
if (
gatewayContext.getGatewayRoute.getRequestURI.contains(
RPCConfiguration.CONTEXT_SERVICE_REQUEST_PREFIX
)
) {
val params: util.HashMap[String, String] = gatewayContext.getGatewayRoute.getParams
if (!gatewayContext.getRequest.getQueryParams.isEmpty) {
for ((k, vArr) <- gatewayContext.getRequest.getQueryParams.asScala) {
if (vArr.nonEmpty) {
params.putIfAbsent(k, vArr.head)
}
}
}
if (gatewayContext.getRequest.getHeaders.containsKey(ContextHTTPConstant.CONTEXT_ID_STR)) {
params.putIfAbsent(
ContextHTTPConstant.CONTEXT_ID_STR,
gatewayContext.getRequest.getHeaders.get(ContextHTTPConstant.CONTEXT_ID_STR)(0)
)
}
if (null == params || params.isEmpty) {
dealContextCreate(gatewayContext)
} else {
var contextId: String = null
for ((key, value) <- params.asScala) {
if (key.equalsIgnoreCase(ContextHTTPConstant.CONTEXT_ID_STR)) {
contextId = value
}
}
if (StringUtils.isNotBlank(contextId)) {
dealContextAccess(contextId, gatewayContext)
} else {
dealContextCreate(gatewayContext)
}
}
} else {
null
}
}
//变动前
def dealContextCreate(gatewayContext:GatewayContext):ServiceInstance = {
val serviceId = findService(HaContextGatewayRouter.CONTEXT_SERVICE_STR, list => {
val services = list.filter(_.contains(HaContextGatewayRouter.CONTEXT_SERVICE_STR))
services.headOption
})
val serviceInstances = ServiceInstanceUtils.getRPCServerLoader.getServiceInstances(serviceId.orNull)
if (serviceInstances.size > 0) {
val index = new Random().nextInt(serviceInstances.size)
serviceInstances(index)
} else {
logger.error(s\"No valid instance for service : \" + serviceId.orNull)
null
}
}
//变动后
def dealContextCreate(gatewayContext: GatewayContext): ServiceInstance = {
val serviceId = findService(
RPCConfiguration.CONTEXT_SERVICE_NAME,
list => {
val services = list.filter(_.contains(RPCConfiguration.CONTEXT_SERVICE_NAME))
services.headOption
}
)
val serviceInstances =
ServiceInstanceUtils.getRPCServerLoader.getServiceInstances(serviceId.orNull)
if (serviceInstances.size > 0) {
val index = new Random().nextInt(serviceInstances.size)
serviceInstances(index)
} else {
logger.error(s\"No valid instance for service : \" + serviceId.orNull)
null
}
}
//变动前
def dealContextAccess(contextIdStr:String, gatewayContext: GatewayContext):ServiceInstance = {
val contextId : String = {
var tmpId : String = null
if (serializationHelper.accepts(contextIdStr)) {
val contextID : ContextID = serializationHelper.deserialize(contextIdStr).asInstanceOf[ContextID]
if (null != contextID) {
tmpId = contextID.getContextId
} else {
logger.error(s\"Deserializate contextID null. contextIDStr : \" + contextIdStr)
}
} else {
logger.error(s\"ContxtIDStr cannot be deserialized. contextIDStr : \" + contextIdStr)
}
if (null == tmpId) {
contextIdStr
} else {
tmpId
}
}
val instances = contextIDParser.parse(contextId)
var serviceId:Option[String] = None
serviceId = findService(HaContextGatewayRouter.CONTEXT_SERVICE_STR, list => {
val services = list.filter(_.contains(HaContextGatewayRouter.CONTEXT_SERVICE_STR))
services.headOption
})
val serviceInstances = ServiceInstanceUtils.getRPCServerLoader.getServiceInstances(serviceId.orNull)
if (instances.size() > 0) {
serviceId.map(ServiceInstance(_, instances.get(0))).orNull
} else if (serviceInstances.size > 0) {
serviceInstances(0)
} else {
logger.error(s\"No valid instance for service : \" + serviceId.orNull)
null
}
}
}
//变动后
def dealContextAccess(contextIdStr: String, gatewayContext: GatewayContext): ServiceInstance = {
val contextId: String = {
var tmpId: String = null
if (serializationHelper.accepts(contextIdStr)) {
val contextID: ContextID =
serializationHelper.deserialize(contextIdStr).asInstanceOf[ContextID]
if (null != contextID) {
tmpId = contextID.getContextId
} else {
logger.error(s\"Deserializate contextID null. contextIDStr : \" + contextIdStr)
}
} else {
logger.error(s\"ContxtIDStr cannot be deserialized. contextIDStr : \" + contextIdStr)
}
if (null == tmpId) {
contextIdStr
} else {
tmpId
}
}
val instances = contextIDParser.parse(contextId)
var serviceId: Option[String] = None
serviceId = findService(
RPCConfiguration.CONTEXT_SERVICE_NAME,
list => {
val services = list.filter(_.contains(RPCConfiguration.CONTEXT_SERVICE_NAME))
services.headOption
}
)
val serviceInstances =
ServiceInstanceUtils.getRPCServerLoader.getServiceInstances(serviceId.orNull)
if (instances.size() > 0) {
serviceId.map(ServiceInstance(_, instances.get(0))).orNull
} else if (serviceInstances.size > 0) {
serviceInstances(0)
} else {
logger.error(s\"No valid instance for service : \" + serviceId.orNull)
null
}
}
//变动前
object HaContextGatewayRouter{
val CONTEXT_ID_STR:String = \"contextId\"
val CONTEXT_SERVICE_STR:String = \"ps-cs\"
@Deprecated
val OLD_CONTEXT_SERVICE_PREFIX = \"contextservice\"
val CONTEXT_REGEX: Regex = (normalPath(API_URL_PREFIX) + \"rest_[a-zA-Z][a-zA-Z_0-9]*/(v\\\\d+)/contextservice/\" + \".+\").r
}
//变动后
object HaContextGatewayRouter {
val CONTEXT_ID_STR: String = \"contextId\"
@deprecated(\"please use RPCConfiguration.CONTEXT_SERVICE_REQUEST_PREFIX\")
val CONTEXT_SERVICE_REQUEST_PREFIX = RPCConfiguration.CONTEXT_SERVICE_REQUEST_PREFIX
@deprecated(\"please use RPCConfiguration.CONTEXT_SERVICE_NAME\")
val CONTEXT_SERVICE_NAME: String =
if (
RPCConfiguration.ENABLE_PUBLIC_SERVICE.getValue && RPCConfiguration.PUBLIC_SERVICE_LIST
.exists(_.equalsIgnoreCase(RPCConfiguration.CONTEXT_SERVICE_REQUEST_PREFIX))
) {
RPCConfiguration.PUBLIC_SERVICE_APPLICATION_NAME.getValue
} else {
RPCConfiguration.CONTEXT_SERVICE_APPLICATION_NAME.getValue
}
val CONTEXT_REGEX: Regex =
(normalPath(API_URL_PREFIX) + \"rest_[a-zA-Z][a-zA-Z_0-9]*/(v\\\\d+)/contextservice/\" + \".+\").r
}
//变动前
val BDP_RPC_BROADCAST_THREAD_SIZE: CommonVars[Integer] = CommonVars(\"wds.linkis.rpc.broadcast.thread.num\", new Integer(25))
//变动后
val BDP_RPC_BROADCAST_THREAD_SIZE: CommonVars[Integer] = CommonVars(\"wds.linkis.rpc.broadcast.thread.num\", 25)
//变动前
val PUBLIC_SERVICE_LIST: Array[String] = CommonVars(\"wds.linkis.gateway.conf.publicservice.list\", \"query,jobhistory,application,configuration,filesystem,udf,variable,microservice,errorcode,bml,datasource\").getValue.split(\",\")
//变动后
val PUBLIC_SERVICE_LIST: Array[String] = CommonVars(\"wds.linkis.gateway.conf.publicservice.list\", \"cs,contextservice,data-source-manager,metadataquery,metadatamanager,query,jobhistory,application,configuration,filesystem,udf,variable,microservice,errorcode,bml,datasource\").getValue.split(\",\")
##去除部分
#删除如下配置文件
linkis-dist/package/conf/linkis-ps-cs.properties
linkis-dist/package/conf/linkis-ps-data-source-manager.properties
linkis-dist/package/conf/linkis-ps-metadataquery.properties
##修改部分
#修改linkis-dist/package/conf/linkis-ps-publicservice.properties
#restful修改前
wds.linkis.server.restful.scan.packages=org.apache.linkis.jobhistory.restful,org.apache.linkis.variable.restful,org.apache.linkis.configuration.restful,org.apache.linkis.udf.api,org.apache.linkis.filesystem.restful,org.apache.linkis.filesystem.restful,org.apache.linkis.instance.label.restful,org.apache.linkis.metadata.restful.api,org.apache.linkis.cs.server.restful,org.apache.linkis.bml.restful,org.apache.linkis.errorcode.server.restful
#restful修改后
wds.linkis.server.restful.scan.packages=org.apache.linkis.cs.server.restful,org.apache.linkis.datasourcemanager.core.restful,org.apache.linkis.metadata.query.server.restful,org.apache.linkis.jobhistory.restful,org.apache.linkis.variable.restful,org.apache.linkis.configuration.restful,org.apache.linkis.udf.api,org.apache.linkis.filesystem.restful,org.apache.linkis.filesystem.restful,org.apache.linkis.instance.label.restful,org.apache.linkis.metadata.restful.api,org.apache.linkis.cs.server.restful,org.apache.linkis.bml.restful,org.apache.linkis.errorcode.server.restful
#mybatis修改前
wds.linkis.server.mybatis.mapperLocations=classpath:org/apache/linkis/jobhistory/dao/impl/*.xml,classpath:org/apache/linkis/variable/dao/impl/*.xml,classpath:org/apache/linkis/configuration/dao/impl/*.xml,classpath:org/apache/linkis/udf/dao/impl/*.xml,classpath:org/apache/linkis/instance/label/dao/impl/*.xml,classpath:org/apache/linkis/metadata/hive/dao/impl/*.xml,org/apache/linkis/metadata/dao/impl/*.xml,classpath:org/apache/linkis/bml/dao/impl/*.xml
wds.linkis.server.mybatis.typeAliasesPackage=org.apache.linkis.configuration.entity,org.apache.linkis.jobhistory.entity,org.apache.linkis.udf.entity,org.apache.linkis.variable.entity,org.apache.linkis.instance.label.entity,org.apache.linkis.manager.entity,org.apache.linkis.metadata.domain,org.apache.linkis.bml.entity
wds.linkis.server.mybatis.BasePackage=org.apache.linkis.jobhistory.dao,org.apache.linkis.variable.dao,org.apache.linkis.configuration.dao,org.apache.linkis.udf.dao,org.apache.linkis.instance.label.dao,org.apache.linkis.metadata.hive.dao,org.apache.linkis.metadata.dao,org.apache.linkis.bml.dao,org.apache.linkis.errorcode.server.dao,org.apache.linkis.publicservice.common.lock.dao
#mybatis修改后
wds.linkis.server.mybatis.mapperLocations=classpath*:org/apache/linkis/cs/persistence/dao/impl/*.xml,classpath:org/apache/linkis/datasourcemanager/core/dao/mapper/*.xml,classpath:org/apache/linkis/jobhistory/dao/impl/*.xml,classpath:org/apache/linkis/variable/dao/impl/*.xml,classpath:org/apache/linkis/configuration/dao/impl/*.xml,classpath:org/apache/linkis/udf/dao/impl/*.xml,classpath:org/apache/linkis/instance/label/dao/impl/*.xml,classpath:org/apache/linkis/metadata/hive/dao/impl/*.xml,org/apache/linkis/metadata/dao/impl/*.xml,classpath:org/apache/linkis/bml/dao/impl/*.xml
wds.linkis.server.mybatis.typeAliasesPackage=org.apache.linkis.cs.persistence.entity,org.apache.linkis.datasourcemanager.common.domain,org.apache.linkis.datasourcemanager.core.vo,org.apache.linkis.configuration.entity,org.apache.linkis.jobhistory.entity,org.apache.linkis.udf.entity,org.apache.linkis.variable.entity,org.apache.linkis.instance.label.entity,org.apache.linkis.manager.entity,org.apache.linkis.metadata.domain,org.apache.linkis.bml.entity
wds.linkis.server.mybatis.BasePackage=org.apache.linkis.cs.persistence.dao,org.apache.linkis.datasourcemanager.core.dao,org.apache.linkis.jobhistory.dao,org.apache.linkis.variable.dao,org.apache.linkis.configuration.dao,org.apache.linkis.udf.dao,org.apache.linkis.instance.label.dao,org.apache.linkis.metadata.hive.dao,org.apache.linkis.metadata.dao,org.apache.linkis.bml.dao,org.apache.linkis.errorcode.server.dao,org.apache.linkis.publicservice.common.lock.dao
#服务启动脚本去掉如下部分
#linkis-ps-cs
SERVER_NAME=\"ps-cs\"
SERVER_IP=$CS_INSTALL_IP
startApp
if [ \"$ENABLE_METADATA_QUERY\" == \"true\" ]; then
#linkis-ps-data-source-manager
SERVER_NAME=\"ps-data-source-manager\"
SERVER_IP=$DATASOURCE_MANAGER_INSTALL_IP
startApp
#linkis-ps-metadataquery
SERVER_NAME=\"ps-metadataquery\"
SERVER_IP=$METADATA_QUERY_INSTALL_IP
startApp
fi
#linkis-ps-cs
SERVER_NAME=\"ps-cs\"
SERVER_IP=$CS_INSTALL_IP
checkServer
if [ \"$ENABLE_METADATA_QUERY\" == \"true\" ]; then
#linkis-ps-data-source-manager
SERVER_NAME=\"ps-data-source-manager\"
SERVER_IP=$DATASOURCE_MANAGER_INSTALL_IP
checkServer
#linkis-ps-metadataquery
SERVER_NAME=\"ps-metadataquery\"
SERVER_IP=$METADATA_QUERY_INSTALL_IP
checkServer
fi
#服务停止脚本去掉如下部分
#linkis-ps-cs
SERVER_NAME=\"ps-cs\"
SERVER_IP=$CS_INSTALL_IP
stopApp
if [ \"$ENABLE_METADATA_QUERY\" == \"true\" ]; then
#linkis-ps-data-source-manager
SERVER_NAME=\"ps-data-source-manager\"
SERVER_IP=$DATASOURCE_MANAGER_INSTALL_IP
stopApp
#linkis-ps-metadataquery
SERVER_NAME=\"ps-metadataquery\"
SERVER_IP=$METADATA_QUERY_INSTALL_IP
stopApp
fi
更多服务合并变动细节参见：https://github.com/apache/linkis/pull/2927/files
", "url": "https://linkis.apache.org/zh-CN/blog/2022/10/09/linkis-service-merge", "title": "Linkis 1.3.0 PES(Public Enhancement Services) 服务组内部分服务的合并", "summary": "前言", "date_modified": "2022-10-09T00:00:00.000Z", "author": { "name": "aiceflower", "url": "https://github.com/aiceflower/" }, "tags": [ "blog", "linki1.3.0", "service merge" ] }, { "id": "/2022/09/27/linkis111-deploy", "content_html": "随着业务的发展和社区产品的更新迭代，我们发现Linkis1.X在资源管理，引擎管理方面有极大的性能提升，可以更好的满足数据中台的建设。相较于0.9.3版本和我们之前使用的平台， 在用户体验方面也得到很大的提升，任务失败页面无法方便查看详情等问题也都得到改善，因此决定升级Linkis以及WDS套件，那么如下是具体的实践操作，希望给大家带来参考。
2台 128G 云物理机
本次安装部署采用的是release安装包方式部署。为了适配司内CDH6.3.2版本，hadoop和hive的相关依赖包需要替换成CDH6.3.2版本，这里采用的是直接替换安装包的方式。需要替换的依赖包与模块如下l列表所示。
--涉及到的模块
linkis-engineconn-plugins/spark
linkis-engineconn-plugins/hive
/linkis-commons/public-module
/linkis-computation-governance/
-----需要更换cdh包的列表
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hive-shims-0.23-2.1.1-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hive-shims-scheduler-2.1.1-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hadoop-annotations-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hadoop-auth-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hadoop-common-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hadoop-hdfs-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/spark/dist/v2.4.8/lib/hadoop-hdfs-client-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-client-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-mapreduce-client-common-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-yarn-api-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-yarn-client-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-yarn-server-common-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-hdfs-client-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-mapreduce-client-core-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-mapreduce-client-shuffle-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/hive/dist/v2.1.1/lib/hadoop-yarn-common-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-annotations-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-auth-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-mapreduce-client-core-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-yarn-api-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-yarn-client-3.0.0-cdh6.3.2.jar
./lib/linkis-engineconn-plugins/flink/dist/v1.12.2/lib/hadoop-yarn-common-3.0.0-cdh6.3.2.jar
./lib/linkis-commons/public-module/hadoop-annotations-3.0.0-cdh6.3.2.jar
./lib/linkis-commons/public-module/hadoop-auth-3.0.0-cdh6.3.2.jar
./lib/linkis-commons/public-module/hadoop-common-3.0.0-cdh6.3.2.jar
./lib/linkis-commons/public-module/hadoop-hdfs-client-3.0.0-cdh6.3.2.jar
./lib/linkis-computation-governance/linkis-cg-linkismanager/hadoop-annotations-3.0.0-cdh6.3.2.jar
./lib/linkis-computation-governance/linkis-cg-linkismanager/hadoop-auth-3.0.0-cdh6.3.2.jar
./lib/linkis-computation-governance/linkis-cg-linkismanager/hadoop-yarn-api-3.0.0-cdh6.3.2.jar
./lib/linkis-computation-governance/linkis-cg-linkismanager/hadoop-yarn-client-3.0.0-cdh6.3.2.jar
./lib/linkis-computation-governance/linkis-cg-linkismanager/hadoop-yarn-common-3.0.0-cdh6.3.2.jar
1、kerberos配置\n需要在linkis.properties公共配置中添加\n各个引擎conf也需要添加
wds.linkis.keytab.enable=true
wds.linkis.keytab.file=/hadoop/bigdata/kerberos/keytab
wds.linkis.keytab.host.enabled=false
wds.linkis.keytab.host=your_host
2、更换Hadoop依赖包后启动报错java.lang.NoClassDefFoundError:org/apache/commons/configuration2/Configuration
![\"image\"](\"/zh-CN/assets/images/config-err-0b7267a47e539866aefbe8be9db6c197.png\")
原因：Configuration类冲突，在linkis-commons模块下在添加一个commons-configuration2-2.1.1.jar解决冲突
3、script中运行spark、python等报错no plugin for XXX\n现象：在配置文件中修改完spark/python的版本后，启动引擎报错no plugin for XXX\n![\"image\"](\"/zh-CN/assets/images/pugin-error-0b7267a47e539866aefbe8be9db6c197.png\")
\n原因：LabelCommonConfig.java和GovernaceCommonConf.scala这两个类中写死了引擎的版本，修改相应版本，编译后替换掉linkis以及其他组件（包括schedulis等）里面所有包含这两个类的jar（linkis-computation-governance-common-1.1.1.jar和linkis-label-common-1.1.1.jar）
4、python引擎执行报错，初始化失败
修改python.py,移除引入pandas模块
配置python加载目录，修改python引擎的linkis-engineconn.properties
pythonVersion=/usr/local/bin/python3.6
5、运行pyspark任务失败报错\n![\"image\"](\"/zh-CN/assets/images/pyspark-error-59e263d21e848c5bda995cdc900e0ca9.png\")
\n原因：未设置PYSPARK_VERSION\n解决方法：\n在/etc/profile下设置两个参数
export PYSPARK_PYTHON=/usr/local/bin/python3.6
export PYSPARK_DRIVER_PYTHON=/usr/local/bin/python3.6
6、执行pyspark任务报错\njava.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT\n![\"image\"](\"/zh-CN/assets/images/spark-hive-verion-error-73f07dc42df540b1aeb4ea048a131fa8.png\")
\n原因：spark2.4.8里面使用的是hive1.2.1的包，但是我们的hive升级到了2.1.1版本，hive2里面已经去掉了这个参数，然后spark-sql里面的代码依然是要调用hive的这个参数的，然后就报错了，\n所以在spark-sql/hive代码中删除掉了HIVE_STATS_JDBC_TIMEOUT这个参数，重新编译后打包，替换spark2.4.8中的spark-hive_2.11-2.4.8.jar
7、jdbc引擎执行出现代理用户异常
现象：用A用户去执行一个jdbc任务1，引擎选了可以复用，然后我也用B用户去执行一个jdbc任务2，发现 任务2的提交人是A\n分析原因：\nConnectionManager::getConnection\n![\"image\"](\"/zh-CN/assets/images/jdbc-engine-analyze-e765a7057a729bb49816e9e7ebffc787.png\")
\n这里创建datasource的时候是根据key来判断是否创建，而这个key是jdbc url ，但这种粒度可能有点大，因为有可能是不同的用户去访问同一个数据源，比如说hive,他们的url是一样的，但是账号密码是不一样的，所以当第一个用户去创建datasource时，username已经指定了，第二个用户进来的时候，发现这个数据源存在，就直接拿这个数据源去用，而不是创建一个新的datasource，所以造成了用户B提交的代码通过A去执行了。
\n解决方法：数据源缓存map的key粒度降低，改成jdbc.url+jdbc.user。
安装过程参考官网文档进行安装配置，下面说明一下在安装调试过程中遇到的一些事项。
分析：DSS数据源模块显示的数据库信息是来源于hive的元数据库，但由于CDH6中通过sentry进行权限控制，大部分的hive表元数据信息没有存在于hive metastore中，所以展示的数据存在缺失。\n解决方法：\n将原有逻辑改造成使用jdbc链接hive的方式，从jdbc中获取表数据展示。\n简单逻辑描述：\njdbc的properties信息通过linkis控制台配置的IDE-jdbc的配置信息获取。\nDBS：通过connection.getMetaData()获取schema\nTBS：connection.getMetaData().getTables()获取对应db下的tables\nCOLUMNS:通过执行describe table 获取表的columns信息
分析：dss workflow中默认执行的creator是Schedulis，由于在管理台中未配置Schedulis的相关引擎参数，导致读取的参数全为空。\n在控制台中添加Schedulis的Category时报错，”Schedulis目录已存在“。由于调度系统中的creator是schedulis，导致无法添加Schedulis Category,为了更好的标识各个系统，所以将dss workflow中默认执行的creator改成nodeexcetion，该参数可以在dss-flow-execution-server.properties中添加wds.linkis.flow.job.creator.v1=nodeexecution一行配置即可。
", "url": "https://linkis.apache.org/zh-CN/blog/2022/09/27/linkis111-deploy", "title": "基于 CDH6.3.2 部署 Apache Linkis1.1.1 和 DSS1.1.0", "summary": "前言", "date_modified": "2022-09-27T00:00:00.000Z", "author": { "name": "kevinWdong", "url": "https://github.com/kongslove" }, "tags": [ "blog", "linki1.1.1", "hadoop3.0.0-cdh6.3.2", "spark2.4.8", "hive2.1.1" ] }, { "id": "/2022/08/08/linkis111-compile-integration", "content_html": "| 系统名字 | 版本 | 场景 |
|---|---|---|
| linkis | 1.1.1 | 引擎编排,运行执行hive,spark,flinkSql,shell,python等,数据源统一管理等 |
| DataSphereStudio | 1.1.0 | 实现对任务的dag编排,实现整合其他系统的规范以及统一接入,提供基于SparkSql的服务Api |
| Schudulis | 0.7.0 | 任务调度,以及调度详情和重跑,并且提供基于选择时间的补漏数据 |
| Qualitis | 0.9.2 | 提供内置Sql的版本等功能,对常见的数据质量以及可以自定义sql,对一些不符合规则的数据进行校验并写入到对应的库中 |
| Exchangis | 1.0.0 | Hive到Mysql,Mysql到Hive之间的数据交换 |
| Streamis | 0.2.0 | 流式开发应用中心 |
| Visualis | 1.0.0 | 可视化报表展示,可以分享外链接 |
从序号3之后的顺序可以自己选择进行调整.但是在部署exchangis中需要注意一点,将exchangis的sqoop引擎插件,给copy到linkis的lib下的engine插件包下\nSchedulis,Qualitis,Exchangis,Streamis,Visualis等系统,都是通过各自的appconn来与dss进行整合,注意每次整合组件-appconn后,进行重启dss对应的服务模块或者重启dss
![\"image.png\"](\"/zh-CN/assets/images/sx1-808e41fd5ce8b7cdf2a72953efcfb52a.png\")
如果你集成了Skywalking的话,就可以在扩拓扑图中,看到服务的状态和连接状态,如下图\n![\"image.png\"](\"/zh-CN/assets/images/sx2-72292e18cadcfa92b920613ea29abb73.png\")
\n同时你也可以看清晰到在追踪中看到调用链路,如下图,也便于你定位具体服务的错误日志文件\n![\"image.png\"](\"/zh-CN/assets/images/sx3-967b6ac9e375892ec45cfc8fe8e1a46c.png\")
由于spark是采用了3.x版本的,scala也是需要升级到12版本\n原项目代码地址\n适配修改代码参考地址
<hadoop.version>3.1.1</hadoop.version>
<scala.version>2.12.10</scala.version>
<scala.binary.version>2.12</scala.binary.version>
<!-- 将hadoop-hdfs 替换成为hadoop-hdfs-client -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs-client</artifactId>
<version>${hadoop.version}</version>
<!-- 注意这里的 <version>${hadoop.version}</version> , 根据你有没有遇到错误来进行调整 -->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<hive.version>3.1.2</hive.version>
<spark.version>3.0.1</spark.version>
SparkScalaExecutor 中 getField 方法需调整下代码
protected def getField(obj: Object, name: String): Object = {
// val field = obj.getClass.getField(name)
val field = obj.getClass.getDeclaredField(\"in0\")
field.setAccessible(true)
field.get(obj)
}
<flink.version>1.13.2</flink.version>
由于flink1.12.2版本和1.13.2有些类的调整,这里目前参考社区同学给出的临时\"暴力\"方法: 将1.12.2部分的类给copy到1.13.2,调整scala版本到12,自己编译\n涉及到flink具体的模块: flink-sql-client_${scala.binary.version}
-- 注意,下列的类是从1.12.2给copy到1.13.2版本来
org.apache.flink.table.client.config.entries.DeploymentEntry
org.apache.flink.table.client.config.entries.ExecutionEntry
org.apache.flink.table.client.gateway.local.CollectBatchTableSink
org.apache.flink.table.client.gateway.local.CollectStreamTableSink
![\"image.png\"](\"/zh-CN/assets/images/flink1-087dcf93f3692dc19b9eff3ba204823d.png\")
![\"image.png\"](\"/zh-CN/assets/images/flink2-fa8164c77b9feccfd6381b816995fcdd.png\")
参考pr\n如果linkis-engineplugin-python下的resource/python的python.py文件中,有import pandas as pd , 如果不想安装pandas的话,需对其进行移除
org.apache.linkis.manager.label.conf.LabelCommonConfig\n修改默认版本,便于后续的自编译调度组件使用
public static final CommonVars<String> SPARK_ENGINE_VERSION =
CommonVars.apply(\"wds.linkis.spark.engine.version\", \"3.0.1\");
public static final CommonVars<String> HIVE_ENGINE_VERSION =
CommonVars.apply(\"wds.linkis.hive.engine.version\", \"3.1.2\");
org.apache.linkis.governance.common.conf.GovernanceCommonConf\n修改默认版本,便于后续的自编译调度组件使用
val SPARK_ENGINE_VERSION = CommonVars(\"wds.linkis.spark.engine.version\", \"3.0.1\")
val HIVE_ENGINE_VERSION = CommonVars(\"wds.linkis.hive.engine.version\", \"3.1.2\")
确保以上修改和环境都有,依次执行
cd linkis-x.x.x
mvn -N install
mvn clean install -DskipTests
![\"image.png\"](\"/zh-CN/assets/images/linkis1-8a23252e4187925ce9aa3baf384fc782.png\")
由于dss依赖了linkis,所有编译dss之前编译linkis
<!-- scala 环境一致 -->
<scala.version>2.12.10</scala.version>
DolphinSchedulerTokenRestfulApi: 去掉类型的转换
responseRef.getValue(\"expireTime\")
前端编译地址\n参考pr\n将如下目录从master分支的内容覆盖,或者web基于master分支去build\n![\"image.png\"](\"/zh-CN/assets/images/dss1-20ef6540150ed9310355835fb507fbee.png\")
cd DataSphereStudio
mvn -N install
mvn clean install -DskipTests
<hadoop.version>3.1.1</hadoop.version>
<hive.version>3.1.2</hive.version>
<spark.version>3.0.1</spark.version>
下载对应版本的jobtype文件(注意对应好版本): 下载地址\n下载完后,将整个jobtypes放在jobtypes下\n![\"image.png\"](\"/zh-CN/assets/images/schedulis1-3dd098ac55f1fff03d5466bf1acf503b.png\")
release地址 下的release-0.9.1,解压完后放在.m2\\repository\\org下即可.
gradle建议使用4.6
cd Qualitis
gradle clean distZip
编译完后,会再qualitis下有一个qualitis-0.9.2.zip文件\n![\"image.png\"](\"/zh-CN/assets/images/qualitis1-8e3dba5b4b155e0c96ad3b1680ca7914.png\")
将appconn内从给copy到DataSphereStudio下的appconns中(创建dss-qualitis-appconn文件夹),如下图\n对dss-qualitis-appconn进行编译,out下的qualitis就是dss整合qualitis的包\n![\"image.png\"](\"/zh-CN/assets/images/qualitis2-15148e52070389ee6491f08119d6445b.png\")
<!-- scala 版本保持一致 -->
<scala.version>2.12.10</scala.version>
官方编译文档\nassembly-package的target包中wedatasphere-exchangis-1.0.0.tar.gz是自身的服务包\nlinkis-engineplugin-sqoop是需要放入linkis中(lib/linkis-engineconn-plugins)\nexchangis-appconn.zip是需要放入dss中(dss-appconns)
mvn clean install
![\"image.png\"](\"/zh-CN/assets/images/exchangis1-4921fd02462370bd7c40cb7f9ceb7fb2.png\")
如果前端你是自己用nginx部署的话,需要注意是拿到dist下面dist文件夹\n![\"image.png\"](\"/zh-CN/assets/images/exchangis2-e5f54b200065ab3ceec007472851d54a.png\")
<scala.version>2.12.10</scala.version>
官方编译文档\nassembly下的target中visualis-server-zip是自身服务的包\nvisualis-appconn的target是visualis.zip是dss需要的包(dss-appconns)\nbuild是前端打出来的包
cd Visualis
mvn -N install
mvn clean package -DskipTests=true
![\"image.png\"](\"/zh-CN/assets/images/visualis1-526c531225821a7aa99946d3a194ec18.png\")
<scala.version>2.12.10</scala.version>
streamis-project-server的pom文件
<!-- 如果你这里是1.0.1的话,就调整到${dss.version} -->
<dependency>
<groupId>com.webank.wedatasphere.dss</groupId>
<artifactId>dss-sso-integration-standard</artifactId>
<version>${dss.version}</version>
<scope>compile</scope>
</dependency>
官方编译文档\nassembly下target包wedatasphere-streamis-0.2.0-dist.tar.gz是自身后端服务的包\nstreamis-appconn下target的streamis.zip包是dss需要的(dss-appconns)\ndist下的dist是前端的包
cd ${STREAMIS_CODE_HOME}
mvn -N install
mvn clean install
![\"image.png\"](\"/zh-CN/assets/images/streamis1-067a0add4da497c30b77a6c0aba3128a.png\")
建议将相关的组件,部署同一个路径(比如我这里全部解压在/home/hadoop/application下)\n![\"image.png\"](\"/zh-CN/assets/images/deploy1-74f8a7facb0f4a9de3d43c233bcbb29c.png\")
db.sh中, MYSQL配置的linkis连接的地址,HIVE的元数据连接地址\nlinkis-env.sh
-- 保存script脚本的路径,下一次会有一个用户名字的文件夹,对应用户的脚本就存放在该文件夹中
WORKSPACE_USER_ROOT_PATH=file:///home/hadoop/logs/linkis
-- 存放物料以及引擎执行的log文件
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis
-- 引擎每次执行的log以及启动engineConnExec.sh相关的信息
ENGINECONN_ROOT_PATH=/home/hadoop/logs/linkis/apps
-- Yarn主节点访问地址(Active resourcemanager)
YARN_RESTFUL_URL
-- Hadoop/Hive/Spark的conf地址
HADOOP_CONF_DIR
HIVE_CONF_DIR
SPARK_CONF_DIR
-- 指定对应的版本
SPARK_VERSION=3.0.1
HIVE_VERSION=3.1.2
-- 指定linkis安装后的路径,比如我这里就同意指定在对应组件下的路径
LINKIS_HOME=/home/hadoop/application/linkis/linkis-home
如果你使用了flink的话,可以尝试从 flink-engine.sql 导入到linkis的数据库中.
需要修改@FLINK_LABEL版本为自己对应的版本,yarn的队列默认是default.
同时这个版本,如果你遇见了\"1G\"转换数字类型的错误,尝试去掉1g的单位以及正则校验的规则.参考如下:
![\"flink3.png\"](\"/zh-CN/assets/images/flink3-7e851b84808cf7d6116653a6978ca63d.png\")
如果你的hive使用了lzo的话,将对应的lzo的jar包给copy到hive路径下.比如下面路径:
lib/linkis-engineconn-plugins/hive/dist/v3.1.2/lib
linkis.properties中,flink看有没有使用
wds.linkis.spark.engine.version=3.0.1
wds.linkis.hive.engine.version=3.1.2
wds.linkis.flink.engine.version=1.13.2
![\"image.png\"](\"/zh-CN/assets/images/deploy2-cc5f46ae416646c300738e32a63754fe.png\")
\n![\"image.png\"](\"/zh-CN/assets/images/deploy3-a07614a61a4284be9bb0ad32c1ac6045.png\")
![\"1905943989d7782456c356b6ce0d72b.png\"](\"/zh-CN/assets/images/deploy4-fe0bda10b58063c12e25064aabcc9b8d.png\")
![\"1ca32f79d940016d72bf1393e4bccc8.jpg\"](\"/zh-CN/assets/images/deploy5-9a10e4fd895a0dd493b263f827fe9f92.jpg\")
db.sh: 配置dss的数据库\nconfig.sh
-- dss的安装路径,比如我这里就定义在dss下的文件夹中
DSS_INSTALL_HOME=/home/hadoop/application/dss/dss
dss.properties
# 主要检查spark/hive等版本有,如果没有,就追加上
wds.linkis.spark.engine.version=3.0.1
wds.linkis.hive.engine.version=3.1.2
wds.linkis.flink.engine.version=1.13.2
dss-flow-execution-server.properties
# 主要检查spark/hive等版本有,如果没有,就追加上
wds.linkis.spark.engine.version=3.0.1
wds.linkis.hive.engine.version=3.1.2
wds.linkis.flink.engine.version=1.13.2
如果调度是想使用dolphinscheduler的话,请参数这个pr添加对应的spark/hive版本\n参考pr
exchangis,qualitis,streamis,visualis 都分别要从 Exchangis , Qualitis , Streamis, Visualis 的项目去获取
![\"ec4989a817646f785c59f6802d0fab2.jpg\"](\"/zh-CN/assets/images/deploy6-93dece9bd52296bfd4a8269e387f6be0.jpg\")
azkaban.properties
# azkaban.jobtype.plugin.dir和executor.global.properties这里最好改成绝对路径
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_exec/plugins/jobtypes
# Loader for projects
executor.global.properties=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_exec/conf/global.properties
# 引擎的版本
wds.linkis.spark.engine.version=3.0.1
wds.linkis.hive.engine.version=3.1.2
wds.linkis.flink.engine.version=1.13.2
plugins/viewer/system/conf: 这里需要配置数据库连接地址,与schedulis保持一致\nazkaban.properties: 用户参数和系统管理的配置
viewer.plugins=system
viewer.plugin.dir=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_web/plugins/viewer
如果出现资源或者web界面出现没有css等静态文件的话,将相关的路径修改为绝对路径\n如果出现配置文件加载不到的问题,也可以将路径修改为绝对路径\n比如:
### web模块中
web.resource.dir=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_web/web/
viewer.plugin.dir=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_web/plugins/viewer
### exec模块中
azkaban.jobtype.plugin.dir=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_exec/plugins/jobtypes
executor.global.properties=/home/hadoop/application/schedulis/apps/schedulis_0.7.0_exec/conf/global.properties
application-dev.yml
# 这里配置正确的spark版本
spark:
application:
name: IDE
reparation: 50
engine:
name: spark
version: 3.0.1
如果点击数据源出现没有发布的错误的话,可以尝试将linkis_ps_dm_datasource的published_version_id值修改为1(如果是null的话)
如果出现预览视图一致出不来的话,请检查bin/phantomjs该文件是否完整上传.\n如果能看到如下结果的话,说明是上传是完整的
./phantomjs -v
2.1.1
qualitis,exchangis,streamis,visualis是分别要从各种的模块中编译好,copy到dss下的dss-appconns中,然后执行bin下的appconn-install.sh来为各自的组件进行安装\n如果你在整合的时候,如果到一些如下的Sql脚本错误的话,请检测错误的Sql周边是否有注释,如果有的话,删掉注释再重新appconn-install一遍尝试\n![\"903ceec2f69fc1c7a2be5f309f69726.png\"](\"/zh-CN/assets/images/deploy7-3d8d21245d502290cf376d396905122c.png\")
\n比如qualitis举例,下面的ip和host端口,根据自己具体使用的来
qualitis
127.0.0.1
8090
linkis.conf: dss/linkis/visualis 前端\nexchangis.conf: exchangis前端\nstreamis.conf: streamis前端\nSchedulis和Qualitis是分别在自己项目中.\nlinkis/visualis需要将前端打包出来的dist或者build在这里修改为对应组件的名字\n![\"image.png\"](\"/zh-CN/assets/images/deploy8-3db0b22721e52b2f2b8b389637b8ead7.png\")
\n![\"image.png\"](\"/zh-CN/assets/images/deploy9-363fc68aa5231009c4a649fa457e8e3a.png\")
\n![\"image.png\"](\"/zh-CN/assets/images/deploy10-4c6b8e7214798a09d2d7245cdbb25b4a.png\")
server {
listen 8089;# 访问端口
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location /dss/visualis {
# 修改为自己的前端路径
root /home/hadoop/application/webs; # 静态文件目录
autoindex on;
}
location /dss/linkis {
# 修改为自己的前端路径
root /home/hadoop/application/webs; # linkis管理台的静态文件目录
autoindex on;
}
location / {
# 修改为自己的前端路径
root /home/hadoop/application/webs/dist; # 静态文件目录
#root /home/hadoop/dss/web/dss/linkis;
index index.html index.html;
}
location /ws {
proxy_pass http://127.0.0.1:9001;#后端Linkis的地址
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
location /api {
proxy_pass http://127.0.0.1:9001; #后端Linkis的地址
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 600s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
server {
listen 9800; # 访问端口 如果该端口被占用，则需要修改
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location / {
# 修改为自己路径
root /home/hadoop/application/webs/exchangis/dist/dist; # Exchangis 前端部署目录
autoindex on;
}
location /api {
proxy_pass http://127.0.0.1:9001; # 后端Linkis的地址，需要修改
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 600s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
server {
listen 9088;# 访问端口 如果该端口被占用，则需要修改
server_name localhost;
location / {
# 修改为自己的路径
root /home/hadoop/application/webs/streamis/dist/dist; # 请修改成Streamis前端的静态文件目录
index index.html index.html;
}
location /api {
proxy_pass http://127.0.0.1:9001; #后端Linkis的地址,请修改成Linkis网关的ip和端口
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 600s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
kind github：https://github.com/kubernetes-sigs/kind
kind官网：kind.sigs.k8s.io/
版本:
注意：
1.先确保前后端能够正常编译
2.确保组件依赖版本
3.kind是用docker容器模拟节点的 机器重启回来容器都变了 调度器就不工作了 这个是kind的limitation,官方文档有详细说明。
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
sudo yum makecache fast
sudo yum -y install docker-ce
systemctl start docker
systemctl enable docker
vi /etc/docker/daemon.json
{
\"registry-mirrors\": [\"http://hub-mirror.c.163.com\"],
\"insecure-registries\": [\"https://registry.mydomain.com\",\"http://hub-mirror.c.163.com\"]
}
（1）手工下载kind二进制
https://github.com/kubernetes-sigs/kind/releases
（2）安装kind二进制
chmod +x ./kind
mv kind-linux-amd64 /usr/bin/kind
（1）参考通用安装教程，安装如下组件
jdk 1.8
mavne 3.5+
（1）安装版本
node v16.0.0
（2）安装nvm
export http_proxy=http://10.0.0.150:7890
export https_proxy=http://10.0.0.150:7890
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
export NVM_DIR=\"$HOME/.nvm\"
[ -s \"$NVM_DIR/nvm.sh\" ] && \\. \"$NVM_DIR/nvm.sh\" # This loads nvm
[ -s \"$NVM_DIR/bash_completion\" ] && \\. \"$NVM_DIR/bash_completion\" # This loads nvm bash_completion
（3）安装nodejs
nvm ls-remote
nvm install v14.19.3
（4）配置NPM
npm config set registry https://registry.npmmirror.com
npm config set sass_binary_site https://registry.npmmirror.com/binary.html?path=node-sass/
（5）编译前端
npm install -g yarn
yarn
yarn build
yarn
\\# 1. When compiling for the first time, execute the following command first
./mvnw -N install
\\# 2. make the linkis distribution package
\\# - Option 1: make the linkis distribution package only
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
\\# - Option 2: make the linkis distribution package and docker image
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
\\# - Option 3: linkis distribution package and docker image (included web)
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true
dos2unix ./linkis-dist/helm/scripts/*.sh
./linkis-dist/helm/scripts/create-test-kind.sh
./scripts/install-charts.sh linkis linkis-demo
kubectl port-forward -n linkis --address=0.0.0.0 service/linkis-demo-web 8087:8087
http://10.0.2.101:8087
kubectl -n linkis exec -it linkis-demo-ps-publicservice-77d7685d9-f59ht -- bash
./linkis-cli -engineType shell-1 -codeType shell -code \"echo \\\"hello\\\" \" -submitUser hadoop -proxyUser hadoop
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum install -y --nogpgcheck kubectl
kubectl config view 查看集群信息
kubectl config get-contexts 得到所有集群context对象信息
kubectl cluster-info 查看当前集群情况
大家知道，持续集成由很多操作组成，比如抓取代码、运行测试、登录远程服务器，发布到第三方服务等等。gitHub 把这些操作就称为 actions。很多操作在不同项目里面是类似的，完全可以共享。github注意到了这一点，想出了一个很妙的点子，允许开发者把每个操作写成独立的脚本文件，存放到代码仓库，使得其他开发者可以引用。如果你需要某个 action，不必自己写复杂的脚本，直接引用他人写好的 action 即可，整个持续集成过程，就变成了一个 actions 的组合。这就是gitHub actions 最特别的地方。
Github为广大开发者提供了一个github action市场，我们可以从这个市场中找到我们想要的github action并配置到仓库的workflow中实现自动化操作，当然这个市场能提供的github action有限，有些情况下找不到能满足我们需求的github action，本篇博客在后面我也会教大家如何自己编写github action。
简单说就是自动化程序，举个例子，对于前端程序员每次提交代码到 Github 的仓库后，Github 都会自动创建一个虚拟机（Mac / Windows / Linux 任我们选），来执行一段或多段指令（由我们定），例如：
npm install
npm run build
我们集成github action的做法，就是在我们仓库的根目录下，创建一个 .github/workflow目录，里面放一个 *.yaml文件——这个yaml文件就是我们配置github action所用的文件。它是一个非常容易的脚本语言，对于不熟悉yaml的用户可以参考此处。
Workflow的名称，github在存储库的Action页面上显示Workflow的名称。如果我们省略 name，则github会将其设置为相对于存储库根目录的工作流文件路径。
name:
Say Hello
事件有很多，例如：用户提交pull request到仓库、用户给仓库提交issue或者用户关闭issue等，我们希望某些事件发生时，自动执行workflow，这就需要定义触发事件了。下面是自定触发事件的一个例子：
name:
Say Hello
on:
pull_request
上面的代码能在用户提交pull request时触发workflow，对于多个事件我们用方括号括起来，例如：
name:
Say Hello
on:
[pull_request,pull]
当然我们希望触发事件能更具体一些，就比如当一个pull request关闭或重新开启时触发workflow：
name:
Say Hello
on:
pull_request:
type:
[reopend,closed]
想了解更多的触发事件请参考此处的文档。
一个Workflow由一个或多个jobs构成，含义是一次持续集成的运行，可以完成多个任务，下面是一个例子。
name:
Say Hello
on:
pull_request
jobs:
my_first_job:
name: My first job
my_second_job:
name: My second job
每个job必须具有一个id与之关联。上面的my_first_job和my_second_job就是job的id。
指定运行job的运行环境，github上可用的操作系统为：
下面是指定运行环境的一个例子：
# 受限于篇幅，前面代码部分省略
jobs:
my_first_job:
name: My first job
runs-on: macos-10.15
每个job由多个step构成，它会从上至下依次执行。step可以运行commands（如linux命令）以及action。\n下面是一个输出hello world的例子：
# 受限于篇幅，前面代码部分省略
jobs:
my_first_job:
name: My first job
runs-on: macos-10.15
step:
- name: Print a greeting
# 定义 step 的环境变量
env:
FIRST_WORD: Hello
SECOND_WORD: WORD
# 运行指令：输出环境变量
run: |
echo $FIRST_WORD $SECOND_WORD.
接下来是action的使用，这里的action其实就是命令，比如github官方给了我们一些默认的命令，我么可以直接使用这些命令来减少仓库中workflow的代码量。最常见的action是checkout，它可以把仓库中最新的代码克隆到Workflow的工作区：
# 受限于篇幅，前面代码部分省略
step:
- name: Check out git repository
uses: actions/checkout@v2
有些action会需要传入额外的参数，一般使用with来设置参数值：
# 受限于篇幅，前面代码部分省略
step:
- name: Check out git repository
uses: actions/checkout@v2
uses: actions/setup-node@v2.2.0
with:
node-version: 14
当在github action市场上找不到我们想要的action时我们可以自己动手编写满足自己需求的action。自定action需要在.github目录下新建一个actions目录，然后再新建一个自定的action名称的目录。每个action都需要有一个action.yml的配置文件，action.yml的runs段制定了操作的启动方式。启动方式可以分为三种：运行 Node.js脚本，运行Docker镜像，运行组合脚本。下面说明action.yml的常用参数：
下面是一个action.yml的配置例子：
name: \"example action\"
description: \"This is an example action\"
inputs:
param1:
description: \"The first param of this action\"
required: true #必传参数必须要设置required为true
param2:
description: \"The second param of this action\"
required: true
outputs:
out1:
description: \"The outputs of this action\"
runs:
using: node16
main: dist/index.js
post: dist/index.js
将runs.using设置为node16或node12，就可以指定为启动Node.js脚本。用main字段指定脚本的入口点。启动的方式类似于直接运行node main.js，所以并不会从 package.json中安装依赖。因此，在开发时，一般都会使用打包工具将依赖项打包到一起，输出一个单独的js文件，然后将这个文件作为入口点。post字段可以指定清理工作，这里的内容将会在 workflow 结束时运行。
若使用Docker，我们需要把action.yml中的runs修改为：
runs:
using: docker
image: Dockerfile
image 指定镜像启动需要的Dockerfile，这里指定为项目根目录下的Dockerfile文件，在 Dockerfile中，用ENTRYPOINT或者CMD指定启动的脚本。比如这样定义一个用python运行脚本的程序：
FROM python:3
RUN pip install --no-cache-dir requests
COPY . .
CMD [ \"python\", \"/main.py\"]
这里可以看出使用Docker的优点：可以自定义运行环境，就能够使用除了Node.js以外的环境，也能使用其他的语言。
在本节我会以一个具体的例子来讲述如何编写自己的github action。
假设我们的github仓库中有许多待处理的issue，用户提交的每一个pull request可能会关联一个issue，如果每合并一个pull request后就要手动关闭一个issue会相当繁琐。
这时workflow就派上用场了。我们可以监听pull request的closed事件，同时判断closed时是被merged关闭还是非merged关闭。如果是merged关闭则关闭关联的issue。\n但这里仍然有一个问题，如何获取关联的issue？我们可以要求用户在提交pull request时在描述部分添加需要关联的issue如#345，再把345的issue编号抽取出来。如何实现这个功能呢？我们可以自己来编写github action。为了让github action程序更加简洁，这里我使用docker来启动github action。首先是准备action.yml：
# github action 的名称
name: \"Auto_close_associate_issue\"
# 该action的描述
description: \"Auto close an issue which associate with a PR.\"
#定义需要输入的参数
inputs:
# 第一个参数名叫prbody
prbody:
#对该参数名的描述
description: \"The body of the PR to search for related issues\"
# 必须参数
required: true
outputs:
#输出的参数名
issurNumber:
description: \"The issue number\"
runs:
# 使用docker镜像
using: \"docker\"
image: \"Dockerfile\"
接下来是编写脚本文件，在这我使用node.js来编写脚本，此脚本的思路是：先从环境中获取变量值，抽取出issue编号再输出到环境中，对应的脚本（取名为main.js）如下：
// 获取环境变量，所有传给github action的参数一律大写，且需要加上INPUT_前缀，此处是github规定的
let body = process.env['INPUT_PRBODY'];
// 利用正则表达式抽取出issue编号数字
let pattern = /#\\d+/;
let issueNumber = body.match(pattern)[0].replace('#', '');
// 输出到环境中
console.log(`::set-output name=issueNumber::${issueNumber}`);
接下来是docker的镜像文件（文件名为Dockerfile）：
FROM node:10.15
COPY . .
CMD [ \"node\", \"/main.js\"]
最后在.github/actions/Auto_close_associate_issue路径下放入action.yml、Dockerfile以及main.js三个文件，一个action的编写到此结束。
最后的最后就是编写workflow，workflow的配置在开始编写第一个workflow中进行了细致讲述，这里就不作具体赘述了，具体配置如下：
name: Auto close issue when PR is merged
on:
pull_request_target:
types: [ closed ]
jobs:
close-issue:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v2
- name: \"Auto issue closer\"
uses: ./.github/actions/Auto_close_associate_issue/
id: Closer
with:
prbody: ${{ github.event.pull_request.body }}
- name: Close Issue
uses: peter-evans/close-issue@v2
if: ${{ github.event.pull_request.merged }}
with:
issue-number: ${{ steps.Closer.outputs.issueNumber }}
comment: The associated PR has been merged, this issue is automatically closed, you can reopend if necessary.
env:
Github_Token: ${{ secrets.GITHUB_TOKEN }}
PRNUM: ${{ github.event.pull_request.number }}
本文主要指引大家如何下载每个版本对应的非默认引擎安装插件包。
考虑到发布包的大小和大家使用插件的情况，linkis发布的二进制安装包中只包含了部分常用引擎/hive/spark/python/shell，\n非常用引擎，项目代码中有对应的模块flink/io_file/pipeline/sqoop(不同版本之间可能有区别)，\n为了方便大家使用，基于linkis每个版本的release分支代码: https://github.com/apache/linkis, 编译出这部分引擎，供大家选择使用。
| linkis版本 | 包含的引擎 | 引擎物料包下载链接 |
|---|---|---|
| 1.4.0 | jdbc pipeline io_file flink openlookeng sqoop presto elasticsearch trino impala | 1.4.0-engineconn-plugin.tar |
| 1.3.2 | jdbc pipeline io_file flink openlookeng sqoop presto elasticsearch trino seatunnel | 1.3.2-engineconn-plugin.tar |
| 1.3.1 | jdbc pipeline io_file flink openlookeng sqoop presto elasticsearch trino seatunnel | 1.3.1-engineconn-plugin.tar |
| 1.3.0 | jdbc pipeline io_file flink openlookeng sqoop presto elasticsearch | 1.3.0-engineconn-plugin.tar |
| 1.2.0 | jdbc pipeline flink openlookeng sqoop presto elasticsearch | 1.2.0-engineconn-plugin.tar |
| 1.1.3 | jdbc pipeline flink openlookeng sqoop | 1.1.3-engineconn-plugin.tar |
| 1.1.2 | jdbc pipeline flink openlookeng sqoop | 1.1.2-engineconn-plugin.tar |
| 1.1.1 | jdbc pipeline flink openlookeng | 1.1.1-engineconn-plugin.tar |
| 1.1.0 | jdbc pipeline flink | 1.1.0-engineconn-plugin.tar |
| 1.0.3 | jdbc pipeline flink | 1.0.3-engineconn-plugin.tar |
| 引擎名 | 支持底层组件版本 (默认依赖版本) | Linkis 版本要求 | 是否默认包含在发布包中 | 说明 |
|---|---|---|---|---|
| Spark | Apache 2.0.0~2.4.7, CDH >= 5.4.0, （默认Apache Spark 2.4.3） | >=1.0.3 | 是 | Spark EngineConn， 支持SQL, Scala, Pyspark 和R 代码 |
| Hive | Apache >= 1.0.0, CDH >= 5.4.0, （默认Apache Hive 2.3.3） | >=1.0.3 | 是 | Hive EngineConn， 支持HiveQL 代码 |
| Python | Python >= 2.6, （默认Python2*） | >=1.0.3 | 是 | Python EngineConn， 支持python 代码 |
| Shell | Bash >= 2.0 | >=1.0.3 | 是 | Shell EngineConn， 支持Bash shell 代码 |
| JDBC | MySQL >= 5.0, Hive >=1.2.1, (默认Hive-jdbc 2.3.4) | >=1.0.3 | 否 | JDBC EngineConn, 已支持Mysql,Oracle,KingBase,PostgreSQL,SqlServer,DB2,Greenplum,DM,Doris,ClickHouse,TiDB,Starrocks,GaussDB和OceanBase, 可快速扩展支持其他有JDBC Driver 包的引擎, 如SQLite |
| Flink | Flink >= 1.12.2, (默认Apache Flink 1.12.2) | >=1.0.2 | 否 | Flink EngineConn， 支持FlinkSQL 代码，也支持以Flink Jar 形式启动一个新的Yarn 应用程序 |
| Pipeline | - | >=1.0.2 | 否 | Pipeline EngineConn， 支持文件的导入和导出 |
| openLooKeng | openLooKeng >= 1.5.0, (默认openLookEng 1.5.0) | >=1.1.1 | 否 | openLooKeng EngineConn， 支持用Sql查询数据虚拟化引擎openLooKeng |
| Sqoop | Sqoop >= 1.4.6, (默认Apache Sqoop 1.4.6) | >=1.1.2 | 否 | Sqoop EngineConn， 支持 数据迁移工具 Sqoop 引擎 |
| Presto | Presto >= 0.180 | >=1.2.0 | 否 | Presto EngineConn， 支持Presto SQL 代码 |
| ElasticSearch | ElasticSearch >=6.0 | >=1.2.0 | 否 | ElasticSearch EngineConn， 支持SQL 和DSL 代码 |
| Trino | Trino >=371 | >=1.3.1 | 否 | Trino EngineConn， 支持Trino SQL 代码 |
| Seatunnel | Seatunnel >=2.1.2 | >=1.3.1 | 否 | Seatunnel EngineConn， 支持Seatunnel SQL 代码 |
下载引擎的物料包后，解压包
tar -xvf 1.0.3-engineconn-plugin.tar
cd 1.0.3-engineconn-plugin
将需要要使用的引擎物料包拷贝至linkis的引擎插件目录，然后刷新引擎物料即可
详细流程参考安装 EngineConnPlugin 引擎。
", "url": "https://linkis.apache.org/zh-CN/blog/2022/04/15/how-to-download-engineconn-plugin", "title": "如何下载安装包中默认没有的引擎插件", "summary": "本文主要指引大家如何下载每个版本对应的非默认引擎安装插件包。", "date_modified": "2022-04-15T00:00:00.000Z", "author": { "name": "Casion", "url": "https://github.com/casionone/" }, "tags": [ "engine", "guide" ] }, { "id": "/2022/03/20/openlookeng", "content_html": "openLooKeng是一种\"开箱即用\"的引擎，支持在任何地点（包括地理上的远程数据源）对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持，为企业工作负载提供了所需的可靠性。
openLooKeng用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以达到接近“本地”的性能。\nLinkis实现openLooKeng引擎可以让Linkis拥有数据虚拟化的能力，支持提交跨源异构查询、跨域跨DC查询型任务。Linkis作为计算中间件通过利用openLooKeng的连接器基于Linkis的EngineConn的连通通能力可以做到连接更多的底层计算存储组件。
openLooKeng ec的实现基于Linkis的EngineConn Plugin（ECP）进行扩展，因为OpengLooKeng服务支持多用户通过Client进行查询，所以实现模式为采用多用户并发引擎的实现模式。\n也就是多个用户提交的任务，可以同时在一个EC进程里面进行运行，可以极大的复用EC资源，减少资源浪费。具体类图如下：
【缺图】
具体实现为openLooKengEngineConnExecutor继承于ConcurrentComputationExecutor，支持多用户多任务并发，并且支持对接到多个不同的openLooKeng集群。
架构图：\n![\"image\"](\"https://user-images.githubusercontent.com/7869972/166736911-c0f50968-3996-40d0-afdf-52b35d4cd71c.png\")
任务流转图如下：\n![\"image\"](\"https://user-images.githubusercontent.com/7869972/166737177-57f8f84a-b16d-44bd-b7cf-a61fc2cc160c.png\")
基于Linkis和openLooKeng的能力可以提供如下能力：
后续两个社区将继续进行合作，计划推出以下功能：
linkis的部署说明和注意点
硬件要求
\n安装linkis 微服务近10个，每个微服务默认配置启动的jvm -Xmx 内存大小为 512M(内存不够的情况下，可以尝试调小至256/128M，内存足够情况下也可以调大)
软件要求
\n基本的软件环境
\n使用下面命令检查是否已安装对应的软件 ，若未安装，请先进行安装
#java环境 推荐>=1.0.8
command -v java
#yum 包管理工具，主要是在执行linkis web管理台安装脚本时,会通过yum安装nginx/policycoreutils-python软件
command -v yum
#linkis的数据库初始化时，会使用到mysql客户端连接数据库，执行sql语句
command -v mysql
command -v telnet
#用于解压linkis的相关安装包
command -v tar
#初始的服务配置文件linkis-*.properties是执行安装脚本install.sh时候，根据`deploy-config/*sh`配置的数据 通过sed 替换到properties文件中的
command -v sed
部署用户: linkis核心进程的启动用户，同时此用户会默认作为管理员权限，部署过程中会生成对应的管理员登录密码，位于conf/linkis-mg-gateway.properties文件中
linkis支持指定提交、执行的用户。linkis主要进程服务会通过sudo -u ${linkis-user} 切换到对应用户下，然后执行对应的引擎启动命令，所以引擎linkis-engine进程归属的用户是任务的执行者（所以部署用户需要有sudo权限，而且是免密的）
以hadoop用户为例:
先查看系统中是否已经有 hadoop 用户，若已经存在，则直接授权即可；若不存在，先创建用户，再授权。
查看是否已存在 hadoop 用户
$ id hadoop
uid=2001(hadoop) gid=2001(hadoop) groups=2001(hadoop)
若不存在，则需要创建 hadoop 用户，并加入 hadoop 用户组
$ sudo useradd hadoop -g hadoop
$ vi /etc/sudoers
#加上配置
hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
修改安装用户的环境变量,vim /home/hadoop/.bash_rc配置环境变量，环境变量如下：
export JAVA_HOME=/opt/jdk1.8
export HADOOP_HOME=/opt/install/hadoop
export HADOOP_CONF_DIR=/etc/conf/hadoop
export HIVE_HOME=/opt/install/hive
export HIVE_CONF_DIR=/etc/conf/conf
export SPARK_HOME=/opt/install/spark
export SPARK_CONF_DIR=/etc/spark/conf
export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # 如果是Pyspark，则必须加此参数
刷新配置
$ source /home/hadoop/.bash_rc
#如果.bashrc文件不存，可以配置到.bash_profile中
查看是否生效
$ sudo -su hadoop
$ echo $JAVA_HOME
$ echo $HADOOP_HOME
linkis安装包，推荐使用1.X及上版本\n0.X 和1.X的版本差异化比较大，1.0.3前是com.webank.wedatasphere.linkis的包名，linkis>=1.0.3为org.apache.linkis的包名
下载地址:https://linkis.apache.org/zh-CN/download/main
可以执行相应的命令，查看是否支持
spark/hive/hdfs/python/
$ spark-submit --version //spark 任务会通过这个命令提交到YARN上执行
$ python --version
$ hdfs version
$ hive --version
可以访问的mysql数据库资源 用来存储linkis自身的业务数据的数据库
\n可以访问的yarn资源队列 spark/hive/flink引擎的执行都需要yarn队列资源
\n可以访问的hive的matedata数据库资源(mysql为例) hive引擎执行时需要
注意：hive spark的版本,如果和默认版本区别比较大，最好修改linkis maven依赖相关的hive/spark版本，然后重新进行编译
上传安装包apache-linkis-1.3.1-bin.tar.gz后，进行解压安装包
$ tar -xvf apache-linkis-1.3.1-bin.tar.gz
解压后的目录结构如下
-rw-r--r-- 1 hadoop hadoop 518192043 Jun 20 09:50 apache-linkis-1.3.1-bin.tar.gz
drwxrwxr-x 2 hadoop hadoop 4096 Jun 20 09:56 bin //执行环境检查和安装的脚本
drwxrwxr-x 2 hadoop hadoop 4096 Jun 20 09:56 deploy-config // 部署时依赖的DB等环境配置信息
drwxrwxr-x 4 hadoop hadoop 4096 Jun 20 09:56 docker
drwxrwxr-x 4 hadoop hadoop 4096 Jun 20 09:56 helm
-rwxrwxr-x 1 hadoop hadoop 84732 Jan 22 2020 LICENSE
drwxr-xr-x 2 hadoop hadoop 20480 Jun 20 09:56 licenses
drwxrwxr-x 7 hadoop hadoop 4096 Jun 20 09:56 linkis-package // 实际的软件包，包括lib/服务启动脚本工具/db的初始化脚本/微服务的配置文件等
-rwxrwxr-x 1 hadoop hadoop 119503 Jan 22 2020 NOTICE
-rw-r--r-- 1 hadoop hadoop 11959 Jan 22 2020 README_CN.md
-rw-r--r-- 1 hadoop hadoop 12587 Jan 22 2020 README.md
vim deploy-config/db.sh
示例:
MYSQL_HOST=xx.xx.xx.xx
MYSQL_PORT=3306
MYSQL_DB=linkis_test
MYSQL_USER=test
MYSQL_PASSWORD=xxxxx
文件位于deploy-config/linkis-env.sh
请确认部署用户deployUser，拥有这些配置目录的读写权限
deployUser=hadoop #执行部署的用户，之前创建的用户hadoop
WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis # 指定用户使用的目录路径，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。 对应的配置文件配置项为 wds.linkis.filesystem.root.path(linkis.properties)
RESULT_SET_ROOT_PATH=file:///tmp/linkis # 结果集日志等文件路径，用于存储Job的结果集文件 wds.linkis.resultSet.store.path(linkis-cg-entrance.properties) //如果未配置 使用HDFS_USER_ROOT_PATH的配置
HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis # 结果集日志等文件路径，用于存储Job的结果集文件 wds.linkis.filesystem.hdfs.root.path(linkis.properties)
ENGINECONN_ROOT_PATH=/appcom/tmp #存放执行引擎的工作路径，需要部署用户有写权限的本地目录 wds.linkis.engineconn.root.dir(linkis-cg-engineconnmanager.properties)
注意：确认部署用户是否有对应文件目录的读写的权限
HIVE_META_URL=jdbc:mysql://127.0.0.1:3306/hive_meta_demo?useUnicode=true&characterEncoding=UTF-8 # HiveMeta元数据库的URL
HIVE_META_USER=demo # HiveMeta元数据库的用户
HIVE_META_PASSWORD=demo123 # HiveMeta元数据库的密码
#可以通过访问http://xx.xx.xx.xx:8088/ws/v1/cluster/scheduler 接口确认是否正常
YARN_RESTFUL_URL=http://xx.xx.xx.xx:8088
执行spark任务时，需要使用到yarn的ResourceManager，linkis默认它是未开启权限验证的，如果ResourceManager开启了密码权限验证，请安装部署后，修改linkis_cg_engine_conn_plugin_bml_resources表数据(或则参见检查引擎物料资源是否上传成功)
linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于{InstallPath}/conf/linkis-mg-gateway.properties(>=1.0.3版本)。
#LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
#LDAP_URL=ldap://localhost:1389/
#LDAP_BASEDN=dc=webank,dc=com
最好通过用户的系统环境变量配置(步骤 1.2 添加部署用户已说明), deploy-config/linkis-env.sh配置文件中可以不进行配置 直接注释掉
###HADOOP CONF DIR
#HADOOP_CONF_DIR=/appcom/config/hadoop-config
###HIVE CONF DIR
#HIVE_CONF_DIR=/appcom/config/hive-config
###SPARK CONF DIR
#SPARK_CONF_DIR=/appcom/config/spark-config
如果使用的官方发布包 无需修改，如果是有自行修改Hive/Spark引擎版本编译的，需要修改。
如果spark不是2.4.3的版本，需要修改参数：
## Engine version conf
#SPARK_VERSION，如果安装的Spark版本不是2.4.3，则需要修改为相应的版本，如3.1.1
SPARK_VERSION=3.1.1
如果hive不是2.3.3的版本，需要修改参数：
## Engine version conf
##HIVE_VERSION，如果安装的Hive版本不是2.3.3，则需要修改为相应的版本，如2.3.4
HIVE_VERSION=2.3.4
如果配置了，执行安装部署后，实际会在{linkisInstallPath}/conf/linkis.properties文件中被更新
#wds.linkis.spark.engine.version=
#wds.linkis.hive.engine.version=
#wds.linkis.python.engine.version=
微服务启动jvm内存配置，可以根据机器实际情况进行调整，如果机器内存资源较少，可以尝试调小至256/128M
## java application default jvm memory
export SERVER_HEAP_SIZE=\"512M\"
linkis最终会被安装到此目录下，不配置默认是与当前安装包同一级目录下
##The decompression directory and the installation directory need to be inconsistent
LINKIS_HOME=/appcom/Install/LinkisInstall
sh bin/install.sh
sh -v bin/install.sh，将shell脚本执行过程日志打印出来，方便定位问题执行成功提示如下:\nCongratulations! You have installed Linkis 1.0.3 successfully, please use sh /data/Install/linkis/sbin/linkis-start-all.sh to start it! \nYour default account password is [hadoop/5e8e312b4]
安装完成后，如果需要修改配置，可以重新执行安装，或则修改对应${InstallPath}/conf/*properties文件，重启对应的服务
因为license原因，linkis官方发布包中(dss集成的全家桶会包含，无需手动添加)移除了mysql-connector-java，需要手动添加
\n具体参见 添加mysql驱动包
sh sbin/linkis-start-all.sh
访问eureka服务页面(http://eurekaip:20303)，1.0.x版本，以下服务是必须正常启动
LINKIS-CG-ENGINECONNMANAGER
LINKIS-CG-ENGINEPLUGIN
LINKIS-CG-ENTRANCE
LINKIS-CG-LINKISMANAGER
LINKIS-MG-EUREKA
LINKIS-MG-GATEWAY
LINKIS-PS-CS
LINKIS-PS-PUBLICSERVICE
如果有服务未启动，可以在对应的log/${服务名}.log文件中查看详细异常日志。
web端是使用nginx作为静态资源服务器的，访问请求流程是:\nlinkis管理台请求->nginx ip:port->linkis-gateway ip:port-> 其他服务
tar -xvf apache-linkis-1.0.x-incubating-web-bin.tar.gz
#管理台访问的端口 http://localhost:8088
linkis_port=\"8088\"
#linkis-mg-gateway服务地址
linkis_url=\"http://localhost:9020\"
#nginx 需要sudo权限进行安装
sudo sh install.sh
安装后，linkis的nginx配置文件默认是 在/etc/nginx/conf.d/linkis.conf\nnginx的日志文件在 /var/log/nginx/access.log 和/var/log/nginx/error.log
server {
listen 8188;# 访问端口 如果端口被占用，则需要修改
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location /linkis/visualis {
root /appcom/Install/linkis-web/linkis/visualis; # 静态文件目录
autoindex on;
}
location / {
root /appcom/Install/linkis-web/dist; # 静态文件目录
index index.html index.html;
}
location /ws {
proxy_pass http://localhost:9020;#后端Linkis的地址
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
location /api {
proxy_pass http://localhost:9020; #后端Linkis的地址
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 600s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection upgrade;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
如果需要修改端口或则静态资源目录等，请修改/etc/nginx/conf.d/linkis.conf 文件后执行 sudo nginx -s reload 命令
/etc/nginx/conf.d/linkis.conflisten端口值，保存后重新启动Unexpected token < in JSON at position 0异常，请确认linkis-mg-gateway是否正常启动，如果正常启动，查看nginx配置文件中配置的linkis-mg-gateway服务地址是否正确http://xx.xx.xx.xx:8188/#/login\n用户名/密码在{InstallPath}/conf/linkis-mg-gateway.properties中查看
#未使用LDAP配置时
wds.linkis.admin.user= #用户
wds.linkis.admin.password= #密码
如果需要使用到spark/hive/flink引擎
登录后查看能否正常显示yarn队列资源(点击页面右下角按钮)
\n正常如下图所示:
\n![\"yarn-normal\"](\"https://user-images.githubusercontent.com/7869972/159955494-2f305a38-a3d6-4798-83aa-58cde23bc436.png\")
若如果无法显示：可以按以下指引调整
数据库表 linkis_cg_rm_external_resource_provider
\n插入yarn数据信息
INSERT INTO `linkis_cg_rm_external_resource_provider`
(`resource_type`, `name`, `labels`, `config`) VALUES
('Yarn', 'default', NULL,
'{\\r\\n\"rmWebAddress\": \"http://xx.xx.xx.xx:8088\",\\r\\n\"hadoopVersion\": \"2.7.2\",\\r\\n\"authorEnable\":false,\\r\\n\"user\":\"hadoop\",\\r\\n\"pwd\":\"123456\"\\r\\n}'
);
config字段属性
\"rmWebAddress\": \"http://xx.xx.xx.xx:8088\", #需要带上http以及端口
\"hadoopVersion\": \"2.7.2\",
\"authorEnable\":true, //是否需要认证 可以在浏览器中通过访问http://xx.xx.xx.xx:8088验证用户名和密码
\"user\":\"user\",//用户名
\"pwd\":\"pwd\"//密码
更新后，因为程序中有使用到缓存，想要立即生效，需要重启linkis-cg-linkismanager服务
sh sbin/linkis-daemon.sh restart cg-linkismanager
异常信息:desc: queue ide is not exists in YARN.\n表明配置的yarn队列不存在，需要进行调整
修改方式:linkis管理台/参数配置>全局设置>yarn队列名[wds.linkis.rm.yarnqueue],修改一个可以使用的yarn队列,可以使用的yarn 队列可以在 rmWebAddress:http://xx.xx.xx.xx:8088/cluster/scheduler 上查看到
#登陆到linkis的数据库
select * from linkis_cg_engine_conn_plugin_bml_resources
正常如下：\n![\"bml\"](\"https://user-images.githubusercontent.com/29391030/156343249-9f6dca8f-4e0d-438b-995f-4f469270a22d.png\")
查看引擎的物料记录是否存在(如果有更新,查看更新时间是否正确)。
如果不存在或则未更新，先尝试手动刷新物料资源(详细见引擎物料资源刷新)。通过log/linkis-cg-engineplugin.log日志，查看物料失败的具体原因，很多时候可能是hdfs目录没有权限导致，检查gateway地址配置是否正确conf/linkis.properties:wds.linkis.gateway.url
引擎的物料资源默认上传到hdfs目录为 /apps-data/${deployUser}/bml
hdfs dfs -ls /apps-data/hadoop/bml
#如果没有该目录 请手动创建目录并授予${deployUser}读写权限
hdfs dfs -mkdir /apps-data
hdfs dfs -chown hadoop:hadoop /apps-data
#引擎的engineType 拼接的版本号，一定要与实际的相匹配
sh bin/linkis-cli -submitUser hadoop -engineType shell-1 -codeType shell -code \"whoami\"
sh bin/linkis-cli -submitUser hadoop -engineType hive-2.3.3 -codeType hql -code \"show tables\"
sh bin/linkis-cli -submitUser hadoop -engineType spark-2.4.3 -codeType sql -code \"show tables\"
sh bin/linkis-cli -submitUser hadoop -engineType python-python2 -codeType python -code 'print(\"hello, world!\")'
$ tree linkis-package/lib/linkis-engineconn-plugins/ -L 3
linkis-package/lib/linkis-engineconn-plugins/
├── hive
│ ├── dist
│ │ └── v2.3.3 #版本为2.3.3 engineType 为hive-2.3.3
│ └── plugin
│ └── 2.3.3
├── python
│ ├── dist
│ │ └── vpython2
│ └── plugin
│ └── python2 #版本为python2 engineType 为python-python2
├── shell
│ ├── dist
│ │ └── v1
│ └── plugin
│ └── 1
└── spark
├── dist
│ └── v2.4.3
└── plugin
└── 2.4.3
select * from linkis_cg_engine_conn_plugin_bml_resources
linkis默认是使用静态用户和密码,静态用户即部署用户，静态密码会在执行部署是随机生成一个密码串，存储于{InstallPath}/conf/linkis-mg-gateway.properties(>=1.0.3版本)
linkis默认支持的引擎，与dss兼容关系可以查看此文档 https://github.com/apache/linkis/blob/master/README.md
linkis的微服务比较多，若对系统不熟悉，有时候无法定位到具体哪个模块出现了异常，可以通过全局日志搜索方式
tail -f log/* |grep -5n exception(或则tail -f log/* |grep -5n ERROR)
less log/* |grep -5n exception(或则less log/* |grep -5n ERROR)
step1:找到引擎的启动部署目录
\n方式1：如果执行日志中有显示，可以在管理台上查看到 如下图:
\n![\"engine-log\"](\"https://user-images.githubusercontent.com/29391030/156343802-9d47fa98-dc70-4206-b07f-df439b291028.png\")
\n方式2:如果方式1中没有找到，可以通过找到conf/linkis-cg-engineconnmanager.properties配置的wds.linkis.engineconn.root.dir的参数，该值就是引擎启动部署的目录，子目录按执行引擎的用户进行了隔离。
如果不清楚taskid，可以按时间排序后进行选择 ll -rt /appcom/tmp/${执行的用户}/workDir
cd /appcom/tmp/${执行的用户}/workDir/${taskId}
目录大体如下
conf -> /appcom/tmp/engineConnPublickDir/6a09d5fb-81dd-41af-a58b-9cb5d5d81b5a/v000002/conf #引擎的配置文件
engineConnExec.sh #生成的引擎的启动脚本
lib -> /appcom/tmp/engineConnPublickDir/45bf0e6b-0fa5-47da-9532-c2a9f3ec764d/v000003/lib #引擎依赖的包
logs #引擎启动执行的相关日志
step2：查看引擎的日志
less logs/stdout
step3：尝试手动执行脚本(如果需要)
\n可以通过尝试手动执行脚本，进行调试
sh -v engineConnExec.sh
CDH本身不是使用的官方标准的hive/spark包,进行适配时，最好修改linkis的源码中的hive/spark版本的依赖，进行重新编译部署。
\n具体可以参考CDH适配博文
\n【Linkis1.0——CDH5环境中的安装与踩坑】
\n【DSS1.0.0+Linkis1.0.2——CDH5环境中的试用记录】
\n【DSS1.0.0与Linkis1.0.2——JDBC引擎相关问题汇总】
\n【DSS1.0.0与Linkis1.0.2——Flink引擎相关问题汇总】
![\"bml\"](\"https://user-images.githubusercontent.com/7869972/157619718-3afb480f-6087-4d5c-9a77-5e75c8cb4a3c.png\")
Cookie: bdp-user-ticket-id=xxxxxxxxxxxxxxxxxxxxxxxxxxx
Token-Code:TEST-AUTH
Token-User:hadoop
首先要按上述步骤检查服务/环境等是否都正常启动
\n按上述罗列的一些场景的方式进行基础问题的排查
\nQA文档中查找是否有解决方案，链接：https://docs.qq.com/doc/DSGZhdnpMV3lTUUxq
\n通过搜索issue中的内容,看是否能找到解决方案
\n![\"issues\"](\"https://user-images.githubusercontent.com/29391030/156343419-81cc25e0-aa94-4c06-871c-bb036eb6d4ff.png\")
\n通过官网文档搜索，对于某些问题，可以通过官网搜索关键字进行查询，比如搜索\"部署\"相关。(如果出现404,请浏览器中刷新一下)
\n![\"search\"](\"https://user-images.githubusercontent.com/29391030/156343459-7911bd05-4d8d-4a7b-b9f8-35c152d52c41.png\")
linkis官网文档正在不断的完善,可以在本官网查看/关键字搜索相关文档。
\n相关博文链接
本文主要指引大家如何在 Linkis 官网发布博文，欢迎大家提交关于Apache Linkis的博文文档，包括但不仅限于Linkis的安装/源码解析/架构/经验分享等。
本文主要参考Docusaurus的官方博文规范和示例，指引和规范可能并不完善，有任何意见或建议，欢迎提出。
每篇博文需要支持中文和英文，提交时请不要遗漏对应的英文文档。
框架会自动从目录/文件名中，解析出 YYYY-MM-DD 格式的发布日期
博文发布日志会根据文件自动解析出对应的日期:2021-02-08，这样默认就是按照日期进行排序。
|-- blog
| |--2021-02-08-how-to-user-blog
| | |-- img //存放图片
| | |-- index.md //博文内容
参考示例:
博客的首页（默认为 /blog ）是博客列表页，会展示所有的博客文章。
在博文中使用 来标记文章摘要。 以上的内容均将成为摘要，会在博客主页进行展示。\n举个例子：
---
title: 摘要示例
---
All these will be part of the blog post summary.
甚至包括这一行。
<!--truncate-->
但这一行和这一行下方的内容将不会被截取。
这行不会。
这行也不会。
Markdown 文档可以使用以下 Markdown 前端元数据字段，由---两边的线括起来。
---
title: Welcome Docusaurus v2
description: This is my first post on Docusaurus 2.
data:2022-02-01
slug: welcome-docusaurus-v2
authors:
- name: Joel Marcey
title: Co-creator of Docusaurus 1
url: https://github.com/JoelMarcey
image_url: https://github.com/JoelMarcey.png
- name: Sébastien Lorber
title: Docusaurus maintainer
url: https://sebastienlorber.com
image_url: https://github.com/slorber.png
tags: [hello, docusaurus-v2]
image: https://i.imgur.com/mErPwqL.png
hide_table_of_contents: false
---
Welcome to this blog. 此博客使用 [**Docusaurus 2**](https://docusaurus.io/) 搭建。
<!--truncate-->
这是我的首篇博文。
下方是一系列内容。
常用参数
| 姓名 | 类型 | 默认 | 说明 |
|---|---|---|---|
authors | string | 未定义 | 博客文章作者（或唯一作者）列表。 |
authors.url | string | 未定义 | 作者姓名将链接到的 URL。这可能是 GitHub、Twitter、Facebook 个人资料 URL 等。 |
authors.image_url | string | 未定义 | 作者缩略图的 URL。 |
authors.title | string | 未定义 | 作者的描述。 |
title | string | 降价标题 | 博文标题。 |
date | string | 文件名或文件创建时间 | 博文创建日期。如果未指定，则可以从文件或文件夹名称中提取，例如，2021-04-15-blog-post.mdx、2021-04-15-blog-post/index.mdx、2021/ 04/15/blog-post.mdx。否则，就是 Markdown 文件的创建时间。 |
tags | Tag[] | 未定义 | 两个字符串字段“标签”和“永久链接”的字符串或对象列表，用于标记您的帖子。 |
keywords | string[] | 未定义 | 关键字元标记，将成为 <head> 中的 <meta name=\"keywords\" content=\"keyword1,keyword2,...\"/>，供搜索引擎使用。 |
description | string | 第一行 Markdown 内容 | 您的文档的描述，它将成为 <meta name=\"description\" content=\"...\"/> 和 <meta property=\"og:description\" content=\"...\"/> in <head>，被搜索引擎使用。 |
image | string | 未定义 | 显示帖子链接时将使用的封面或缩略图。 |
slug | string | 文件路径 | 允许自定义博客文章 url (/<routeBasePath>/<slug>)。支持多种模式：slug: my-blog-post, slug: /my/path/to/blog/post, slug: /。 |
| Name | Type | Default | Description |
|---|---|---|---|
authors | Authors | undefined | List of blog post authors (or unique author). |
authors.url | string | undefined | The URL that the author's name will be linked to. This could be a GitHub, Twitter, Facebook profile URL, etc. |
authors.image_url | string | undefined | The URL to the author's thumbnail image. |
authors.title | string | undefined | A description of the author. |
title | string | Markdown title | The blog post title. |
date | string | File name or file creation time | The blog post creation date. If not specified, this can be extracted from the file or folder name, e.g, 2021-04-15-blog-post.mdx, 2021-04-15-blog-post/index.mdx, 2021/04/15/blog-post.mdx. Otherwise, it is the Markdown file creation time. |
tags | Tag[] | undefined | A list of strings or objects of two string fields label and permalink to tag to your post. |
keywords | string[] | undefined | Keywords meta tag, which will become the <meta name=\"keywords\" content=\"keyword1,keyword2,...\"/> in <head>, used by search engines. |
description | string | The first line of Markdown content | The description of your document, which will become the <meta name=\"description\" content=\"...\"/> and <meta property=\"og:description\" content=\"...\"/> in <head>, used by search engines. |
image | string | undefined | Cover or thumbnail image that will be used when displaying the link to your post. |
slug | string | File path | Allows to customize the blog post url (/<routeBasePath>/<slug>). Support multiple patterns: slug: my-blog-post, slug: /my/path/to/blog/post, slug: /. |
对于普通的博客文章作者来说，维护每篇博客文章中内联的作者信息可能很乏味。\n可以在配置文件中全局声明这些作者：\nblog/authors.yml
Casion:
name: Casion
title: Development Engineer of WeBank
url: https://github.com/casionone/
image_url: https://avatars.githubusercontent.com/u/7869972?v=4