九章智算云

使用混闪-OSS (Rclone)

混闪-OSS是云计算领域中最常用的存储方式之一,可以帮助企业和个人高效地管理和分发大量数据。在使弹性容器集群的过程中,也经常会用到混闪-OSS来做文件中转、保存的需求。那么要如何管理我们的存储对象呢,这里我们推荐使用Rclone。

Rclone 是一个强大的命令行工具,用于管理云存储。它可以同步、传输、缓存和管理文件,支持多种云存储服务。本文介绍如何用 Rclone 管理 Alaya NeW 混闪-OSS。

前提条件

下载与安装

1. 手动安装 Rclone

#下载并安装 Rclone
curl https://rclone.org/install.sh | sudo bash

#验证
rclone --version

2. 使用包管理器安装

2.1 使用 apt(Debian/Ubuntu)
# 更新包列表
sudo apt update

# 安装 Rclone
sudo apt install rclone

# 验证安装
rclone --version
2.2 使用 yum(CentOS/RHEL)
# 安装 EPEL 仓库(如果尚未安装)
sudo yum install epel-release
#安装 Rclone
sudo yum install rclone
#验证安装
rclone --version
2.3 使用 dnf(Fedora)
# 安装 Rclone
sudo dnf install rclone
# 验证安装
rclone --version
  1. 下载安装包
  • 访问  Rclone 官方网站 下载最新版本的安装包。
  • 下载完成后,双击安装包进行安装。
  1. 验证安装

    • 打开命令提示符,输入以下命令:
rclone --version

使用 Homebrew 安装

# 安装
brew install rclone

# 验证安装
rclone --version

配置

可通过命令行向导或编辑配置文件两种方式配置(推荐配置文件)。

以 linux 系统为例,编写配置文件 /root/.config/rclone/rclone.conf,文件内容如下: 其中: access_key_id 和 secret_access_key 在混闪-OSS开通通知短信中 endpoint:在产品中心/存储管理/非NAS型存储/混闪-OSS的“访问”页面。

[s3_store]     #自定义的名称
type = s3  
provider = Ceph
access_key_id = ******* #替换成你自己的access_key_id
secret_access_key = ******* #替换成你自己的secret_access_key
endpoint = https://s3.hd-01.alayanew.com:8082
acl = public-read-write
no_check_bucket = true

编写配置文件时,替换以下信息:

变量名说明来源示例
s3_store自定义的名称,可修改自定义s3_store
access_key_idaccess_key_id通知短信Asjnf****233s
secret_access_keysecret_access_key通知短信sder*******nfksu9j5lw
endpoint访问地址混闪-OSS的详情页http://s3.hd-01.alayanew.com:8082

运行配置向导

# 运行配置向导
rclone config

按照提示进行配置

  • 选择 n 创建新的远程存储配置。
  • 输入远程存储的名称,例如 s3_store。
  • 选择云存储服务,例如 "s3"。
  • 按照提示进行身份验证。
  • 完成配置后,输入 q 退出配置向导。

常用命令

命令描述
rclone lsd列出路径下所有目录 / 容器 / 桶
rclone ls列出路径中对象的大小和路径
rclone copy拷贝文件
rclone move移动文件
rclone delete删除文件或目录
rclone rmdir删除空目录
rclone sync同步文件(只修改目标)
rclone help查看帮助
rclone help <command>查看某命令的详细帮助
rclone listremotes查看已配置的远程
rclone config show <name>查看某个远程的配置

高级用法

命令描述
rclone copy /local s3_store:/remote --bwlimit 1M限制传输速率
rclone copy /local s3_store:/remote --retries 3重试失败传输
rclone copy /local s3_store:/remote --log-file transfer.log记录传输日志
rclone copy /local s3_store:/remote --progress显示进度
rclone copy /local s3_store:/remote --include "*.txt" --exclude "*.log"文件过滤
rclone copy /local s3_store:/remote --transfers 4并发传输

更多缓存、加密等高级功能详见 Rclone 官方文档

  • 安全:妥善保管你的 Access Key ID 和 Secret Access Key,避免泄露。
  • 性能:对于大规模数据操作,建议在网络条件良好的环境下使用。

最后更新于

这篇文档对你有帮助吗?

目录