测试页:AI预测蛋白质结构 - Protenix的快速部署和应用
本页面为测试使用,内容不可靠
应用概述
应用概述
使用场景
本应用适合(推荐)使用的场景
操作步骤
部署前准备工作
本次部署使用到Docker和Kubernetes,请准备好Docker环境,并确保本地有可用的Kubernestes客户端工具kubectl。 Docker环境安装请参考官方文档:https://docs.docker.com/get-docker/ kubectl安装请参考官方文档:https://kubernetes.io/docs/tasks/tools/
模板脚本文件下载
请下载模板脚本文件,并解压到本地目录。 链接:***(脚本压缩包下载地址)
具体每个步骤应该有:操作目的,方法,结果检验等部分组成
开通集群
资源要求
最少资源及推荐资源估算
申请开通
脚本准备
在前面下载并解压的模板脚本文件中,对所有文件进行变量替换。
需要替换的变量有:
变量名 | 说明 | 来源 | 例子 |
---|---|---|---|
cluster_name | 集群名称 | 开通集群后给出的名称 | vckg0tnisvp6 |
storage_class_name | 存储类别名称 | 集群创建时默认创建的存储类别名称 | mas-cephfs-hdd-vckg0tnisvp6 |
GPU_resource_name | GPU标签 | 集群创建时分配的并要使用的GPU标签 | nvidia.com/gpu-h800 |
s3_endpoint | 对象存储服务端点 | 集群创建时分配的对象存储服务端点 | s3.hd-01.alayanew.com:8081 |
s3_access_key | 对象存储访问密钥 | 集群创建时分配的对象存储访问密钥 | 3CCE5ZNO1PW034C8LFGZ |
s3_secret_key | 对象存储密钥 | 集群创建时分配的对象存储密钥 | aVTIoDlSuU8gbVJvze32A0x5Vh9jYVuzng7CX3fd |
harbor_endpoint | 镜像仓库服务端点 | 集群创建时分配的镜像仓库服务端点 | https://registry.hd-01.alayanew.com:8443 |
harbor_username | 镜像仓库用户名 | 集群创建时分配的镜像仓库用户名 | hb_abc123 |
harbor_password | 镜像仓库密码 | 集群创建时分配的镜像仓库密码 | 123456 |
secret准备
secret文件是用于保存敏感信息的,如对象存储的密钥等。本次部署中需要对harbor registry的用户名和密码进行加密,并保存到secret文件中。
- 当执行过前面的步骤后,请将harbor-config.json中的内容做base64编码。linux中可以使用base64命令进行编码。或者在线网站也可以进行编码。可以参考:https://tool.lu/encdec/
- 将编码后的内容保存到harbor-secret.yaml的.dockerconfigjson字段。 例子:
apiVersion: v1
kind: Secret
metadata:
name: alaya-harbor-secret
namespace: protenix
type: kubernetes.io/dockerconfigjson
data:
.dockerconfigjson: <base64编码后的内容>
镜像准备
包括以下步骤:
- 执行Dockerfile文件,生成镜像
- 登录镜像仓库,推送镜像 请执行image.sh(linux)或者image.bat(windows)脚本,完成镜像的构建和推送。 当执行完毕后,请检查镜像仓库中是有镜像文件registry.hd-01.alayanew.com:8443/vc-huangxs/protenix-dc:v0.0.1存在。 关于如何查看镜像仓库,请参考:https://xxx.com/yyyyy/zzzzz
模型,数据准备
模型文件:https://af3-dev.tos-cn-beijing.volces.com/release_model/model_v1.pt
数据文件:https://af3-dev.tos-cn-beijing.volces.com/release_data.tar.gz
注意: 数据文件较大,下载时间较长,请耐心等待。
如果只做推理,那么只需要下载以下两个文件即可:
- https://af3-dev.tos-cn-beijing.volces.com/release_data/components.v20240608.cif
- https://af3-dev.tos-cn-beijing.volces.com/release_data/components.v20240608.cif.rdkit_mol.pkl
准备工作包含以下步骤:
- 下载上面的模型文件和数据文件
- 上传到对象存储中
请执行以下脚本:
- 进入前面下载并解压的模板脚本文件目录
- linux环境:data_prep.sh 或者 data_prediction_prep.sh
- windows环境:data_prep.bat 或者 data_prediction_prep.bat
脚本执行完成后,请在对象存储中确认数据文件已经上传成功。 关于对象存储的使用,请参考:https://xxx.com/yyyyy/zzzzz
部署应用
包含以下步骤:
- 执行k8s配置文件,部署应用
- 检查k8s部署结果
- 进入pod,并进行初始化
执行部署脚本
请执行deploy.sh(linux)或者deploy.bat(windows)脚本,完成应用的部署。确保执行过程中没有错误。
检查部署结果
请执行以下命令:
kubectl get pods -n protenix
如果出现以下输出,说明部署成功:
NAME READY STATUS RESTARTS AGE
deploy-protenix-7bfc98c86d-ls67t 1/1 Running 0 5h10m
其中deploy-protenix-7bfc98c86d-ls67t是pod的名字,每次部署都会产生一个新的pod名字,后面的命令都需要使用这个名字。
进入pod,并进行初始化
请执行以下命令:
kubectl exec -it deploy-protenix-7bfc98c86d-ls67t -n protenix -- /bin/bash
注意: 请使用实际的pod名字替换上面的deploy-protenix-7bfc98c86d-ls67t。
进入pod后,请执行以下命令:
/app/init.sh
# 对于只做推理的情况,请执行以下命令:
/app/init_prediction.sh
请做一下检查:
- /workspace中存在目录protenix
- 模型检查:/af3-dev/release_model/model_v1.pt
- 数据检查:
- 如果只做推理,那么只需要检查以下两个文件:
- /af3-dev/release_data/components.v20240608.cif
- /af3-dev/release_data/components.v20240608.cif.rdkit_mol.pkl
- 如果做训练,那么需要在/af3-dev/release_data/目录下检查以下文件:
├── components.v20240608.cif [408M] # ccd source file
├── components.v20240608.cif.rdkit_mol.pkl [121M] # rdkit Mol object generated by ccd source file
├── indices [33M] # chain or interface entries
├── mmcif [283G] # raw mmcif data
├── mmcif_bioassembly [36G] # preprocessed wwPDB structural data
├── mmcif_msa [450G] # msa files
├── posebusters_bioassembly [42M] # preprocessed posebusters structural data
├── posebusters_mmcif [361M] # raw mmcif data
├── recentPDB_bioassembly [1.5G] # preprocessed recentPDB structural data
└── seq_to_pdb_index.json [45M] # sequence to pdb id mapping file
- 如果只做推理,那么只需要检查以下两个文件:
开始使用
使用的基本说明,对于进一步的使用,可以引用其他文档(应用自己的说明);
使用中的注意事项
了解更多:
关于应用的、部署方案等的进一步说明
关于license
“请按照。。。的版权要求使用” + license文件连接
- 九章云极
- npm
- yarn
To set up web-core and UI Kit components, add the following script tags inside
the <head />
tag.
You can also import utilities or any other export from CDN:
npm install @dytesdk/web-core @dytesdk/ui-kit
yarn add @dytesdk/web-core @dytesdk/ui-kit
- Debian/Ubuntu
- CentOS/RHEL/Fedora
- Windows
- MacOS
apt-get update && apt-get install -y apt-transport-https
curl -fsSL https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/deb/Release.key |
gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/deb/ /" |
tee /etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y kubectl
cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.28/rpm/repodata/repomd.xml.key
EOF
setenforce 0
yum install -y kubelet kubeadm kubectl
systemctl enable kubelet && systemctl start kubelet
**使用 Homebrew 安装**:
cd "$(brew --repo)"
git remote set-url origin https://mirrors.aliyun.com/homebrew/brew.git
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.aliyun.com/homebrew/homebrew-core.git
brew install kubectl
#!/bin/bash
FILE_PATH="./example.txt"
if [ -f "$FILE_PATH" ]; then
echo "File exists. Reading contents..."
cat "$FILE_PATH"
else
echo "File does not exist."
fi
HighlightCode组件同样支持多种编程语言,包括但不限于: JavaScript CSS HTML/XML SQL Java Python PHP Ruby C/C++ C# Bash Go Swift Objective-C Scala Haskell R Julia Perl Lua MATLAB CoffeeScript TypeScript Rust VHDL Verilog Ada Erlang Elixir Fortran Groovy Kotlin OCaml Pascal Racket Scheme Smalltalk Tcl Visual Basic .NET
参数名称 | 参数值 | 类型 | 说明 | 是否必须 |
---|---|---|---|---|
1 | 5855 | post | 这是解释说明 | |
2 | 5855 | |||
3 | 5855 |