Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537
Elasticsearch 是一個(gè)開(kāi)源的分布式 RESTful 搜索和分析引擎。它可以在近實(shí)時(shí)條件下,存儲(chǔ),查詢(xún)和分析海量的數(shù)據(jù)。它還支持將快照備份至HDFS/S3上面,而阿里云OSS兼容S3的API,本文將介紹如何使用ES的Repository-S3插件將快照備份至OSS。
首先,我們需要安裝repository-s3,可以參考官方文檔:
https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-s3.html
啟動(dòng)ES,我們可以從log中看到,ES已經(jīng)load了這個(gè)plugin:
[2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [aggs-matrix-stats] [2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [analysis-common] [2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-common] [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-geoip] [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-user-agent] [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-expression] [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-mustache] [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-painless] [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [mapper-extras] [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [parent-join] [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [percolator] [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [rank-eval] [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [reindex] [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [repository-url] [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [transport-netty4] [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded plugin [repository-s3] [2019-07-15T14:12:12,375][INFO ][o.e.d.DiscoveryModule ] [master] using discovery type [zen] and seed hosts providers [settings] [2019-07-15T14:12:12,801][INFO ][o.e.n.Node ] [master] initialized [2019-07-15T14:12:12,802][INFO ][o.e.n.Node ] [master] starting ...
然后,我們需要將OSS使用的Access Key和Secret Key配置到ES去,分別執(zhí)行下面的命令:
bin/elasticsearch-keystore add s3.client.default.access_key bin/elasticsearch-keystore add s3.client.default.secret_key
首先,我們創(chuàng)建一個(gè)備份:
[root@master ~]# curl -XPUT 'http://localhost:9200/_snapshot/test' -H 'Content-Type: application/json' -d '{ "type": "s3", "settings": { "bucket": "hadoop-oss-test", "endpoint": "oss-cn-zhangjiakou-internal.aliyuncs.com"} }' {"acknowledged":true}
NOTE: 上面的命令默認(rèn)使用https協(xié)議來(lái)傳輸數(shù)據(jù),如果想使用http協(xié)議,需要將"protocol": "http", "disable_chunked_encoding": true加到settings里面(這個(gè)特性將會(huì)在新版本發(fā)布后可用)。
可以使用下面的命令來(lái)確實(shí)創(chuàng)建是否成功:
[root@master ~]# curl -XGET localhost:9200/_snapshot/test?pretty { "test" : { "type" : "s3", "settings" : { "bucket" : "hadoop-oss-test", "endpoint" : "oss-cn-zhangjiakou-internal.aliyuncs.com" } } }
我們可以寫(xiě)入一些測(cè)試數(shù)據(jù)到ES,然后看下目前集群的索引信息:
[root@master ~]# curl -X GET "localhost:9200/_cat/indices?v" health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 271786 0 15mb 15mb green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
假設(shè)我們只備份sales索引:
[root@master ~]# curl -XPUT 'http://localhost:9200/_snapshot/test/sales' -H 'Content-Type: application/json' -d '{ "indices": "sales" }' {"accepted":true}
然后我們可以從OSS控制臺(tái)看到備份的結(jié)果:
現(xiàn)在我們?cè)偻鵶ales索引里面寫(xiě)一些數(shù)據(jù):
[root@master ~]# curl -X GET "localhost:9200/_cat/indices?v" health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 281502 0 15.6mb 15.6mb green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
我們利用剛才備份到OSS的快照來(lái)恢復(fù)sales索引,分別執(zhí)行下面的命令:
[root@master ~]# curl -XPOST localhost:9200/sales/_close {"acknowledged":true,"shards_acknowledged":true,"indices":{"sales":{"closed":true}}} [root@master ~]# curl -XPOST 'http://localhost:9200/_snapshot/test/sales/_restore?pretty' { "accepted" : true } [root@master ~]# curl -X GET "localhost:9200/_cat/indices?v" health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 271786 0 15mb 15mb green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
我們可以看到,sales索引跟之前的一致。
https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-s3.html
https://www.elastic.co/cn/products/elasticsearch
作者:冷月_wjh
者| 王濤(揚(yáng)禮)、車(chē)漾(必嘫)
來(lái)源|阿里巴巴云原生公眾號(hào)
Fluid 是一個(gè)開(kāi)源的 Kubernetes 原生的分布式數(shù)據(jù)集編排和加速引擎,主要服務(wù)于云原生場(chǎng)景下的數(shù)據(jù)密集型應(yīng)用,例如大數(shù)據(jù)應(yīng)用、AI 應(yīng)用等。通過(guò) Kubernetes 服務(wù)提供的數(shù)據(jù)層抽象,可以讓數(shù)據(jù)像流體一樣在諸如 HDFS、OSS、Ceph 等存儲(chǔ)源和 Kubernetes 上層云原生應(yīng)用計(jì)算之間靈活高效地移動(dòng)、復(fù)制、驅(qū)逐、轉(zhuǎn)換和管理。而具體數(shù)據(jù)操作對(duì)用戶(hù)透明,用戶(hù)不必再擔(dān)心訪問(wèn)遠(yuǎn)端數(shù)據(jù)的效率、管理數(shù)據(jù)源的便捷性,以及如何幫助 Kuberntes 做出運(yùn)維調(diào)度決策等問(wèn)題。用戶(hù)只需以最自然的 Kubernetes 原生數(shù)據(jù)卷方式直接訪問(wèn)抽象出來(lái)的數(shù)據(jù),剩余任務(wù)和底層細(xì)節(jié)全部交給 Fluid 處理。
Fluid 項(xiàng)目當(dāng)前主要關(guān)注數(shù)據(jù)集編排和應(yīng)用編排這兩個(gè)重要場(chǎng)景。數(shù)據(jù)集編排可以將指定數(shù)據(jù)集的數(shù)據(jù)緩存到指定特性的 Kubernetes 節(jié)點(diǎn),而應(yīng)用編排將指定該應(yīng)用調(diào)度到可以或已經(jīng)存儲(chǔ)了指定數(shù)據(jù)集的節(jié)點(diǎn)上。這兩者還可以組合形成協(xié)同編排場(chǎng)景,即協(xié)同考慮數(shù)據(jù)集和應(yīng)用需求進(jìn)行節(jié)點(diǎn)資源調(diào)度。
然后介紹 Fluid 中 Dataset 的概念,數(shù)據(jù)集是邏輯上相關(guān)的一組數(shù)據(jù)的集合,會(huì)被運(yùn)算引擎使用,比如大數(shù)據(jù)的 Spark,AI 場(chǎng)景的 TensorFlow,而關(guān)于數(shù)據(jù)集智能的應(yīng)用和調(diào)度會(huì)創(chuàng)造工業(yè)界的核心價(jià)值。Dataset 的管理實(shí)際上也有多個(gè)維度,比如安全性,版本管理和數(shù)據(jù)加速。
我們希望從數(shù)據(jù)加速出發(fā),對(duì)于數(shù)據(jù)集的管理提供支持。在 Dataset 上面,我們通過(guò)定義 Runtime 這樣一個(gè)執(zhí)行引擎來(lái)實(shí)現(xiàn)數(shù)據(jù)集安全性,版本管理和數(shù)據(jù)加速等能力,Runtime 定義了一系列生命周期的接口,可以通過(guò)實(shí)現(xiàn)這些接口來(lái)支持?jǐn)?shù)據(jù)集的管理和加速,目前 Fluid 中支持的 Runtime 有 AlluxioRuntime 和 JindoRuntime 兩種。Fluid 的目標(biāo)是為 AI 與大數(shù)據(jù)云原生應(yīng)用提供一層高效便捷的數(shù)據(jù)抽象,將數(shù)據(jù)從存儲(chǔ)抽象出來(lái)從而達(dá)到如下功能:
如果要了解 Fluid 的 JindoRuntime,先要介紹 JindoFS。它是 JindoRuntime 的引擎層。
JindoFS 是阿里云針對(duì) OSS 開(kāi)發(fā)的自研大數(shù)據(jù)存儲(chǔ)優(yōu)化引擎,完全兼容 Hadoop 文件系統(tǒng)接口,給客戶(hù)帶來(lái)更加靈活、高效的計(jì)算存儲(chǔ)方案,目前已驗(yàn)證支持阿里云 EMR 中所有的計(jì)算服務(wù)和引擎:Spark、Flink、Hive、MapReduce、Presto、Impala 等。JindoFS 有兩種使用模式,塊存儲(chǔ)(Block)模式和緩存(Cache)模式。Block 模式將文件內(nèi)容以數(shù)據(jù)塊的形式存放在 OSS 上并在本地可選擇使用數(shù)據(jù)備份來(lái)進(jìn)行緩存加速,使用本地的 namespace 服務(wù)管理元數(shù)據(jù),從而通過(guò)本地元數(shù)據(jù)以及塊數(shù)據(jù)構(gòu)建出文件數(shù)據(jù)。Cache 模式將文件存儲(chǔ)在 OSS 上,該模式兼容現(xiàn)有的 OSS 文件系統(tǒng),用戶(hù)可以通過(guò) OSS 訪問(wèn)原有的目錄結(jié)構(gòu)以及文件,同時(shí)該模式提供數(shù)據(jù)以及元數(shù)據(jù)的緩存,加速用戶(hù)讀寫(xiě)數(shù)據(jù)的性能。使用該模式的用戶(hù)無(wú)需遷移數(shù)據(jù)到 OSS,可以無(wú)縫對(duì)接現(xiàn)有 OSS 上的數(shù)據(jù),在元數(shù)據(jù)同步方面用戶(hù)可以根據(jù)不同的需求選擇不同的元數(shù)據(jù)同步策略。
在 Fluid 中,JindoRuntime 也是使用 JindoFS 的 Cache 模式進(jìn)行遠(yuǎn)端文件的訪問(wèn)和緩存,如您需要在其他環(huán)境單獨(dú)使用 JindoFS 獲得訪問(wèn) OSS 的能力,您也可以下載我們的 JindoFS SDK 按照使用文檔進(jìn)行部署使用。JindoRuntime 來(lái)源于阿里云 EMR 團(tuán)隊(duì)自研 JindoFS 分布式系統(tǒng),是支撐 Dataset 數(shù)據(jù)管理和緩存的執(zhí)行引擎實(shí)現(xiàn)。Fluid 通過(guò)管理和調(diào)度 Jindo Runtime 實(shí)現(xiàn)數(shù)據(jù)集的可見(jiàn)性、彈性伸縮、數(shù)據(jù)遷移、計(jì)算加速等。在 Fluid 上使用和部署 JindoRuntime 流程簡(jiǎn)單、兼容原生 K8s 環(huán)境、可以開(kāi)箱即用。深度結(jié)合對(duì)象存儲(chǔ)特性,使用 Navite 框架優(yōu)化性能,并支持免密、checksum 校驗(yàn)等云上數(shù)據(jù)安全功能。
JindoRuntime 提供對(duì) Aliyun OSS 對(duì)象存儲(chǔ)服務(wù)的訪問(wèn)和緩存加速能力,并且利用 FUSE 的 POSIX 文件系統(tǒng)接口實(shí)現(xiàn)可以像本地磁盤(pán)一樣輕松使用 OSS 上的海量文件,具有以下特點(diǎn):
支持原生 K8s 環(huán)境,利用自定義資源定義,對(duì)接數(shù)據(jù)卷概念。使用部署流程簡(jiǎn)單,可以開(kāi)箱即用。
底層基于 c++ 代碼,整體結(jié)構(gòu)輕量化,各種 OSS 訪問(wèn)接口額外開(kāi)銷(xiāo)較小。
我們使用 ImageNet 數(shù)據(jù)集基于 Kubernetes 集群并使用 Arena 在此數(shù)據(jù)集上訓(xùn)練 ResNet-50 模型,基于 JindoFS 的 JindoRuntime 在開(kāi)啟本地緩存的情況下性能大幅度優(yōu)于開(kāi)源 OSSFS,訓(xùn)練耗時(shí)縮短了 76%,該測(cè)試場(chǎng)景會(huì)在后續(xù)文章中進(jìn)行詳細(xì)介紹。
使用 JindoRuntime 流程簡(jiǎn)單,在準(zhǔn)備好基本 K8s 和 OSS 環(huán)境的條件下,您只需要耗費(fèi) 10 分鐘左右時(shí)間即可部署好需要的 JindoRuntime 環(huán)境,您可以按照下面的流程進(jìn)行部署。
kubectl create ns fluid-system
helm install --set runtime.jindo.enabled=true fluid fluid-0.5.0.tgz
$ kubectl get pod -n fluid-system
NAME READY STATUS RESTARTS AGE
csi-nodeplugin-fluid-2mfcr 2/2 Running 0 108s
csi-nodeplugin-fluid-l7lv6 2/2 Running 0 108s
dataset-controller-5465c4bbf9-5ds5p 1/1 Running 0 108s
jindoruntime-controller-654fb74447-cldsv 1/1 Running 0 108s
其中 csi-nodeplugin-fluid-xx 的數(shù)量應(yīng)該與 K8s 集群中節(jié)點(diǎn) node 的數(shù)量相同。
在創(chuàng)建 dataset 之前,我們可以創(chuàng)建一個(gè) secret 來(lái)保存 OSS 的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 信息,避免明文暴露出來(lái),K8s 會(huì)對(duì)已創(chuàng)建的 secret 使用加密編碼,將 key 和 secret 信息填入 mySecret.yaml 文件中。
apiVersion: v1
kind: Secret
metadata:
name: mysecret
stringData:
fs.oss.accessKeyId: xxx
fs.oss.accessKeySecret: xxx
生成 secret:
kubectl create -f mySecret.yaml
創(chuàng)建一個(gè) resource.yaml 文件里面包含兩部分:
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
name: hadoop
spec:
mounts:
- mountPoint: oss://<oss_bucket>/<bucket_dir>
options:
fs.oss.endpoint: <oss_endpoint>
name: hadoop
encryptOptions:
- name: fs.oss.accessKeyId
valueFrom:
secretKeyRef:
name: mysecret
key: fs.oss.accessKeyId
- name: fs.oss.accessKeySecret
valueFrom:
secretKeyRef:
name: mysecret
key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
name: hadoop
spec:
replicas: 2
tieredstore:
levels:
- mediumtype: HDD
path: /mnt/disk1
quota: 100Gi
high: "0.99"
low: "0.8"
kubectl create -f resource.yaml
查看 dataset 的情況:
$ kubectl get dataset hadoop
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE
hadoop 210MiB 0.00B 180.00GiB 0.0% Bound 1h
您可以通過(guò)創(chuàng)建應(yīng)用容器來(lái)使用 JindoFS 加速服務(wù),或者進(jìn)行提交機(jī)器學(xué)習(xí)作業(yè)來(lái)進(jìn)行體驗(yàn)相關(guān)功能。
接下來(lái),我們創(chuàng)建一個(gè)應(yīng)用容器 app.yaml 來(lái)使用該數(shù)據(jù)集,我們將多次訪問(wèn)同一數(shù)據(jù),并比較訪問(wèn)時(shí)間來(lái)展示 JindoRuntime 的加速效果。
apiVersion: v1
kind: Pod
metadata:
name: demo-app
spec:
containers:
- name: demo
image: nginx
volumeMounts:
- mountPath: /data
name: hadoop
volumes:
- name: hadoop
persistentVolumeClaim:
claimName: hadoop
使用 kubectl 完成創(chuàng)建:
kubectl create -f app.yaml
查看文件大?。?/p>
$ kubectl exec -it demo-app -- bash
$ du -sh /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz
210M /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz
進(jìn)行文件的 cp 觀察時(shí)間消耗了 18s:
$ time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
real 0m18.386s
user 0m0.002s
sys 0m0.105s
查看此時(shí) dataset 的緩存情況,發(fā)現(xiàn) 210MB 的數(shù)據(jù)已經(jīng)都緩存到了本地。
$ kubectl get dataset hadoop
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE
hadoop 210.00MiB 210.00MiB 180.00GiB 100.0% Bound 1h
為了避免其他因素(比如 page cache)對(duì)結(jié)果造成影響,我們將刪除之前的容器,新建相同的應(yīng)用,嘗試訪問(wèn)同樣的文件。由于此時(shí)文件已經(jīng)被 JindoFS 緩存,可以看到第二次訪問(wèn)所需時(shí)間遠(yuǎn)小于第一次。
kubectl delete -f app.yaml && kubectl create -f app.yaml
進(jìn)行文件的拷貝觀察時(shí)間,發(fā)現(xiàn)消耗 48ms,整個(gè)拷貝的時(shí)間縮短了 300 倍。
$ time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
real 0m0.048s
user 0m0.001s
sys 0m0.046s
kubectl delete jindoruntime hadoop
kubectl delete dataset hadoop
以上通過(guò)一個(gè)簡(jiǎn)單的例子完成 JindoFS on Fluid 的入門(mén)體驗(yàn)和理解,并最后進(jìn)行環(huán)境的清理,更多 Fluid JindoRuntime 的功能使用后續(xù)文章會(huì)進(jìn)行詳細(xì)介紹。
https://github.com/fluid-cloudnative/fluid
http://pasa-bigdata.nju.edu.cn/fluid/index.html
王濤,花名揚(yáng)禮,阿里巴巴計(jì)算平臺(tái)事業(yè)部 EMR 開(kāi)發(fā)工程師,目前從事開(kāi)源大數(shù)據(jù)存儲(chǔ)計(jì)算方面的開(kāi)發(fā)和優(yōu)化工作。
車(chē)漾,花名必嘫,阿里巴巴云原生應(yīng)用平臺(tái)高級(jí)技術(shù)專(zhuān)家,從事 Kubernetes 和容器相關(guān)產(chǎn)品的開(kāi)發(fā)。尤其關(guān)注利用云原生技術(shù)構(gòu)建機(jī)器學(xué)習(xí)平臺(tái)系統(tǒng),是 GPU 共享調(diào)度的主要作者和維護(hù)者。
阿里云對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,簡(jiǎn)稱(chēng)OSS)為您提供基于網(wǎng)絡(luò)的數(shù)據(jù)存取服務(wù)。使用OSS,您可以通過(guò)網(wǎng)絡(luò)隨時(shí)存儲(chǔ)和調(diào)用包括文本、圖片、音頻和視頻等在內(nèi)的各種非結(jié)構(gòu)化數(shù)據(jù)文件。
阿里云OSS將數(shù)據(jù)文件以對(duì)象(object)的形式上傳到存儲(chǔ)空間(bucket)中。您可以進(jìn)行以下操作:
A.創(chuàng)建一個(gè)或者多個(gè)存儲(chǔ)空間,向每個(gè)存儲(chǔ)空間中添加一個(gè)或多個(gè)文件。
B.通過(guò)獲取已上傳文件的地址進(jìn)行文件的分享和下載。
C.通過(guò)修改存儲(chǔ)空間或文件的屬性或元信息來(lái)設(shè)置相應(yīng)的訪問(wèn)權(quán)限。
D.在阿里云管理控制臺(tái)執(zhí)行基本和高級(jí)OSS任務(wù)。
E.使用阿里云開(kāi)發(fā)工具包或直接在應(yīng)用程序中進(jìn)行RESTful API調(diào)用執(zhí)行基本和高級(jí)OSS任務(wù)。
注意:初次使用阿里云OSS,請(qǐng)您先了解阿里云OSS使用限制。本文檔向您介紹如何使用阿里云管理控制臺(tái)來(lái)完成以下基本任務(wù)。
1、開(kāi)通OSS服務(wù)
2、創(chuàng)建存儲(chǔ)空間
3、上傳文件
4、分享文件
5、刪除文件
6、刪除存儲(chǔ)空間
二、開(kāi)通OSS服務(wù)
前提條件
在使用阿里云OSS服務(wù)之前,請(qǐng)確保您已經(jīng)注冊(cè)了阿里云賬號(hào)并完成實(shí)名認(rèn)證。如果您還沒(méi)有創(chuàng)建阿里云賬號(hào),系統(tǒng)會(huì)在您開(kāi)通OSS時(shí)提示您注冊(cè)賬號(hào)。
操作步驟
1、登錄阿里云官網(wǎng)。
2、將鼠標(biāo)移至產(chǎn)品,單擊對(duì)象存儲(chǔ)OSS,打開(kāi)OSS產(chǎn)品詳情頁(yè)面。
3、在OSS產(chǎn)品詳情頁(yè)中,單擊立即開(kāi)通。
4、開(kāi)通服務(wù)后,在OSS產(chǎn)品詳情頁(yè)面單擊管理控制臺(tái)直接進(jìn)入OSS管理控制臺(tái)界面。您也可以單擊位于官網(wǎng)首頁(yè)右上方菜單欄的控制臺(tái),進(jìn)入阿里云管理控制臺(tái)首頁(yè),然后單擊左側(cè)的對(duì)象存儲(chǔ)OSS菜單進(jìn)入OSS管理控制臺(tái)界面。
三、購(gòu)買(mǎi)OSS服務(wù)
背景信息
開(kāi)通OSS服務(wù)后,默認(rèn)的計(jì)費(fèi)方式是按量付費(fèi)。如果想進(jìn)一步降低OSS費(fèi)用,建議使用包年包月(購(gòu)買(mǎi)資源包)的計(jì)費(fèi)方式。
資源包購(gòu)買(mǎi)流程如下:
操作步驟
1、開(kāi)通 OSS 服務(wù)后,在OSS產(chǎn)品詳情頁(yè)單擊折扣套餐,進(jìn)入資源包售賣(mài)頁(yè)。
2、選擇需要購(gòu)買(mǎi)的資源包類(lèi)型和規(guī)格。
3、選擇資源包購(gòu)買(mǎi)流程。
4、選擇開(kāi)通時(shí)間(支持支付后立即生效或指定時(shí)間生效)。
5、選擇資源包地域。
6、不同地域單價(jià)可能不一樣,如海外地區(qū)與中國(guó)大陸地區(qū)目前不一樣。
7、系統(tǒng)顯示您所選資源包配置的價(jià)格。單擊立即購(gòu)買(mǎi)。
四、創(chuàng)建存儲(chǔ)空間
開(kāi)通阿里云OSS服務(wù)后,您需要首先創(chuàng)建存儲(chǔ)空間來(lái)存儲(chǔ)文件。
操作步驟
1、登錄OSS 管理控制臺(tái)。
2、單擊左側(cè)存儲(chǔ)空間列表中的新增按鈕+,或者單擊頁(yè)面右上方的新建 Bucket按鈕,打開(kāi)新建 Bucket對(duì)話框。
3、在命名框中,輸入存儲(chǔ)空間名稱(chēng)。
存儲(chǔ)空間名稱(chēng)必須符合命名規(guī)范。
存儲(chǔ)空間名稱(chēng)在阿里云OSS的所有現(xiàn)有存儲(chǔ)空間名稱(chēng)中必須具有唯一性。
存儲(chǔ)空間創(chuàng)建后名稱(chēng)無(wú)法修改。
有關(guān)存儲(chǔ)空間命名的更多信息,請(qǐng)參見(jiàn)基本概念介紹。
4、在所屬地域框中,下拉選擇該存儲(chǔ)空間的數(shù)據(jù)中心。存儲(chǔ)空間創(chuàng)建后無(wú)法更換所屬地域。如需要通過(guò)ECS內(nèi)網(wǎng)訪問(wèn)OSS,需要選擇與您ECS相同的地域。
5、在存儲(chǔ)類(lèi)型框中,下拉選擇所需要的存儲(chǔ)類(lèi)型。
標(biāo)準(zhǔn)存儲(chǔ):高可靠、高可用、高性能,數(shù)據(jù)會(huì)經(jīng)常被訪問(wèn)到。
低頻訪問(wèn):數(shù)據(jù)長(zhǎng)期存儲(chǔ)、較少訪問(wèn),存儲(chǔ)單價(jià)低于標(biāo)準(zhǔn)類(lèi)型。
歸檔存儲(chǔ):適合需要長(zhǎng)期保存(建議半年以上)的歸檔數(shù)據(jù),在存儲(chǔ)周期內(nèi)極少被訪問(wèn),數(shù)據(jù)進(jìn)入到可讀取狀態(tài)需要等待1分鐘的解凍時(shí)間。適合需要長(zhǎng)期保存的檔案數(shù)據(jù)、醫(yī)療影像、科學(xué)資料、影視素材。
6、在讀寫(xiě)權(quán)限框中,下拉選擇對(duì)應(yīng)的權(quán)限。
私有:只有該存儲(chǔ)空間的擁有者可以對(duì)該存儲(chǔ)空間內(nèi)的文件進(jìn)行讀寫(xiě)操作,其他人無(wú)法訪問(wèn)該存儲(chǔ)空間內(nèi)的文件。
公共讀:只有該存儲(chǔ)空間的擁有者可以對(duì)該存儲(chǔ)空間內(nèi)的文件進(jìn)行寫(xiě)操作,任何人(包括匿名訪問(wèn)者)可以對(duì)該存儲(chǔ)空間中的文件進(jìn)行讀操作。
公共讀寫(xiě):任何人(包括匿名訪問(wèn)者)都可以對(duì)該存儲(chǔ)空間中的文件進(jìn)行讀寫(xiě)操作。
注意對(duì)存儲(chǔ)空間的所有操作產(chǎn)生的費(fèi)用由該存儲(chǔ)空間的所有者承擔(dān),因此請(qǐng)慎用公共讀和公共讀寫(xiě)權(quán)限。
7、單擊確定。
五、上傳文件
創(chuàng)建了存儲(chǔ)空間之后,您可以上傳任何類(lèi)型的文件到存儲(chǔ)空間中。
前提條件
已創(chuàng)建了存儲(chǔ)空間。詳情請(qǐng)參見(jiàn) 創(chuàng)建存儲(chǔ)空間。
背景信息
您可以通過(guò)以下途徑上傳文件:
通過(guò)OSS控制臺(tái)上傳小于5GB的文件。詳情請(qǐng)參見(jiàn)以下步驟。
通過(guò)SDK或API使用Multipart Upload方法上傳大于5GB的文件。
通過(guò)圖形化的管理工具ossbrowser上傳文件。
操作步驟
1、登錄OSS 管理控制臺(tái)。
2、在左側(cè)存儲(chǔ)空間列表中,單擊您要向其中上傳文件的存儲(chǔ)空間。
3、單擊文件管理頁(yè)簽。
4、單擊上傳文件,打開(kāi)上傳文件對(duì)話框。
5、在目錄地址框中,設(shè)置文件上傳到OSS中的存儲(chǔ)路徑。
當(dāng)前目錄:將文件上傳到當(dāng)前目錄。
指定目錄:將文件上傳到指定目錄。您需要輸入目錄名稱(chēng),OSS將自動(dòng)創(chuàng)建對(duì)應(yīng)的文件夾并將文件上傳到該文件夾中。
6、在文件ACL區(qū)域中,選擇文件的讀寫(xiě)權(quán)限。默認(rèn)為繼承所在存儲(chǔ)空間的讀寫(xiě)權(quán)限。
7、在上傳文件區(qū)域中,將要上傳的一個(gè)或多個(gè)文件拖拽到此區(qū)域;或者單擊直接上傳,選擇一個(gè)或多個(gè)要上傳的文件。
8、在手機(jī)驗(yàn)證對(duì)話框中,單擊點(diǎn)擊獲取,輸入收到的校驗(yàn)碼,然后單擊確定。彈出上傳任務(wù)對(duì)話框,顯示上傳進(jìn)度。您也可以單擊左側(cè)下方的上傳任務(wù)查看上傳進(jìn)度。
說(shuō)明:如果上傳的文件與存儲(chǔ)空間中已有的文件重名,則會(huì)覆蓋已有文件。
六、下載文件
您可以通過(guò)獲取已上傳文件的地址進(jìn)行文件的分享和下載。
前提條件
文件已上傳到存儲(chǔ)空間中。詳情請(qǐng)參見(jiàn)上傳文件。
操作步驟
1、登錄OSS 管理控制臺(tái)。
2、在左側(cè)存儲(chǔ)空間列表中,單擊您已創(chuàng)建的存儲(chǔ)空間名稱(chēng),打開(kāi)該存儲(chǔ)空間概覽頁(yè)面。
3、單擊文件管理頁(yè)簽。
4、單擊目標(biāo)文件的名稱(chēng)或者單擊目標(biāo)文件對(duì)應(yīng)的設(shè)置,打開(kāi)該文件的預(yù)覽頁(yè)面,可以看到以下選項(xiàng):
下載:將文件下載到本地。
打開(kāi)文件 URL:直接在瀏覽器中打開(kāi)文件。對(duì)于不支持直接瀏覽的文件,如 excel 文件,打開(kāi) URL 則直接下載。
復(fù)制文件 URL:獲取文件 URL 給訪問(wèn)者進(jìn)行瀏覽和下載。
復(fù)制文件路徑:用于搜索文件或者給圖片類(lèi)的文件加水印等功能。
說(shuō)明:您也可以通過(guò)以下方式下載文件:
下載一個(gè)或多個(gè)文件:在文件管理頁(yè)面,勾選一個(gè)或多個(gè)文件,選擇批量操作 > 下載。
下載單個(gè)文件:在文件管理頁(yè)面,選擇更多 > 下載。
5、如您的存儲(chǔ)空間的讀寫(xiě)權(quán)限為私有,則您獲取文件訪問(wèn)URL時(shí)還需要在簽名欄里設(shè)置鏈接有效時(shí)間,默認(rèn)的鏈接有效時(shí)間為3600秒,最大值為64800秒。
說(shuō)明URL簽名的鏈接有效時(shí)間是基于NTP計(jì)算的。您可以將此鏈接給與任何訪問(wèn)者,訪問(wèn)者可以在有效時(shí)間內(nèi),通過(guò)此鏈接訪問(wèn)該文件。存儲(chǔ)空間為私有權(quán)限時(shí)獲得的地址是通過(guò)在URL中包含簽名生成的。
七、刪除文件
如果您不再需要存儲(chǔ)所上傳的文件,請(qǐng)將其刪除以免進(jìn)一步產(chǎn)生費(fèi)用。
背景信息
您可以通過(guò)OSS控制臺(tái)刪除單個(gè)文件或批量刪除文件。通過(guò)控制臺(tái)批量刪除文件個(gè)數(shù)上限為1000。如果想更靈活的選擇刪除的文件,或?qū)崿F(xiàn)更大批量的刪除。
警告文件刪除后無(wú)法恢復(fù),請(qǐng)謹(jǐn)慎操作。
操作步驟
1、進(jìn)入OSS 管理控制臺(tái)界面。
2、在左側(cè)存儲(chǔ)空間列表中,單擊目標(biāo)存儲(chǔ)空間名稱(chēng),打開(kāi)該存儲(chǔ)空間概覽頁(yè)面。
3、單擊文件管理頁(yè)簽。
4、選擇一個(gè)或多個(gè)文件,選擇批量操作 > 刪除?;蛘哌x擇目標(biāo)文件對(duì)應(yīng)的更多 > 刪除。
5、在刪除文件對(duì)話框中,單擊確定。
(復(fù)制下面的鏈接到瀏覽器打開(kāi)或者戳網(wǎng)頁(yè)鏈接直達(dá))
阿里云官方最新活動(dòng)
一:全民云計(jì)算ECS云服務(wù)器2折起,優(yōu)惠配置多選1
https://promotion.aliyun.com/ntms/act/qwbk.html?spm=5176.8112568.738194.1.f0b69ed5Jibrqu&userCode=3ek1oxkw
二:企業(yè)級(jí)高性能ECS5折起,最低只要1451元。
https://promotion.aliyun.com/ntms/act/enterprise-discount.html?spm=5176.8112568.738194.3.f0b69ed5Jibrqu&userCode=3ek1oxkw
三:1T3年OSS存儲(chǔ)包只要99元。
https://promotion.aliyun.com/ntms/act/oss-discount.html?spm=5176.8112568.738194.1.f0b69ed5Jibrqu&userCode=3ek1oxkw
四:1000元新購(gòu),續(xù)費(fèi)代金券
https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=3ek1oxkw
五: 100%CPU性能,1核2G1M服務(wù)器,每月9.5元,1年只要118元啦!
https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=3ek1oxkw
驚喜:24歲以下自動(dòng)獲得學(xué)生身份。
*請(qǐng)認(rèn)真填寫(xiě)需求信息,我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。