Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 日本大片免a费观看在线,欧美日韩午夜,亚洲精品电影

          整合營(yíng)銷(xiāo)服務(wù)商

          電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理

          免費(fèi)咨詢(xún)熱線:

          如何將Elasticsearch的快照備份至OSS

          Elasticsearch 是一個(gè)開(kāi)源的分布式 RESTful 搜索和分析引擎。它可以在近實(shí)時(shí)條件下,存儲(chǔ),查詢(xún)和分析海量的數(shù)據(jù)。它還支持將快照備份至HDFS/S3上面,而阿里云OSS兼容S3的API,本文將介紹如何使用ES的Repository-S3插件將快照備份至OSS。

          部署與配置

          首先,我們需要安裝repository-s3,可以參考官方文檔:

          https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-s3.html

          啟動(dòng)ES,我們可以從log中看到,ES已經(jīng)load了這個(gè)plugin:

          [2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [aggs-matrix-stats]
          [2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [analysis-common]
          [2019-07-15T14:12:09,225][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-common]
          [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-geoip]
          [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [ingest-user-agent]
          [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-expression]
          [2019-07-15T14:12:09,226][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-mustache]
          [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [lang-painless]
          [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [mapper-extras]
          [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [parent-join]
          [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [percolator]
          [2019-07-15T14:12:09,227][INFO ][o.e.p.PluginsService ] [master] loaded module [rank-eval]
          [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [reindex]
          [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [repository-url]
          [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded module [transport-netty4]
          [2019-07-15T14:12:09,228][INFO ][o.e.p.PluginsService ] [master] loaded plugin [repository-s3]
          [2019-07-15T14:12:12,375][INFO ][o.e.d.DiscoveryModule ] [master] using discovery type [zen] and seed hosts providers [settings]
          [2019-07-15T14:12:12,801][INFO ][o.e.n.Node ] [master] initialized
          [2019-07-15T14:12:12,802][INFO ][o.e.n.Node ] [master] starting ...
          

          然后,我們需要將OSS使用的Access Key和Secret Key配置到ES去,分別執(zhí)行下面的命令:

          bin/elasticsearch-keystore add s3.client.default.access_key
          bin/elasticsearch-keystore add s3.client.default.secret_key
          

          運(yùn)行

          首先,我們創(chuàng)建一個(gè)備份:

          [root@master ~]# curl -XPUT 'http://localhost:9200/_snapshot/test' -H 'Content-Type: application/json' -d '{ "type": "s3", "settings": { "bucket": "hadoop-oss-test", "endpoint": "oss-cn-zhangjiakou-internal.aliyuncs.com"} }'
          {"acknowledged":true}
          

          NOTE: 上面的命令默認(rèn)使用https協(xié)議來(lái)傳輸數(shù)據(jù),如果想使用http協(xié)議,需要將"protocol": "http", "disable_chunked_encoding": true加到settings里面(這個(gè)特性將會(huì)在新版本發(fā)布后可用)。

          可以使用下面的命令來(lái)確實(shí)創(chuàng)建是否成功:

          [root@master ~]# curl -XGET localhost:9200/_snapshot/test?pretty
          {
           "test" : {
           "type" : "s3",
           "settings" : {
           "bucket" : "hadoop-oss-test",
           "endpoint" : "oss-cn-zhangjiakou-internal.aliyuncs.com"
           }
           }
          }
          

          我們可以寫(xiě)入一些測(cè)試數(shù)據(jù)到ES,然后看下目前集群的索引信息:

          [root@master ~]# curl -X GET "localhost:9200/_cat/indices?v"
          health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
          green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 271786 0 15mb 15mb
          green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
          

          假設(shè)我們只備份sales索引:

          [root@master ~]# curl -XPUT 'http://localhost:9200/_snapshot/test/sales' -H 'Content-Type: application/json' -d '{ "indices": "sales" }'
          {"accepted":true}
          

          然后我們可以從OSS控制臺(tái)看到備份的結(jié)果:

          現(xiàn)在我們?cè)偻鵶ales索引里面寫(xiě)一些數(shù)據(jù):

          [root@master ~]# curl -X GET "localhost:9200/_cat/indices?v"
          health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
          green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 281502 0 15.6mb 15.6mb
          green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
          

          我們利用剛才備份到OSS的快照來(lái)恢復(fù)sales索引,分別執(zhí)行下面的命令:

          [root@master ~]# curl -XPOST localhost:9200/sales/_close
          {"acknowledged":true,"shards_acknowledged":true,"indices":{"sales":{"closed":true}}}
          [root@master ~]# curl -XPOST 'http://localhost:9200/_snapshot/test/sales/_restore?pretty'
          {
           "accepted" : true
          }
          [root@master ~]# curl -X GET "localhost:9200/_cat/indices?v"
          health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
          green open sales 89ouBy6RQsuT34QRbn_jeQ 10 0 271786 0 15mb 15mb
          green open customer fQCMEvXsQOu0UgMm1SAJlA 5 0 10000 0 717kb 717kb
          

          我們可以看到,sales索引跟之前的一致。

          參考資料

          https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-s3.html

          https://www.elastic.co/cn/products/elasticsearch

          作者:冷月_wjh

          者| 王濤(揚(yáng)禮)、車(chē)漾(必嘫)
          來(lái)源|阿里巴巴云原生公眾號(hào)

          什么是 Fluid

          Fluid 是一個(gè)開(kāi)源的 Kubernetes 原生的分布式數(shù)據(jù)集編排和加速引擎,主要服務(wù)于云原生場(chǎng)景下的數(shù)據(jù)密集型應(yīng)用,例如大數(shù)據(jù)應(yīng)用、AI 應(yīng)用等。通過(guò) Kubernetes 服務(wù)提供的數(shù)據(jù)層抽象,可以讓數(shù)據(jù)像流體一樣在諸如 HDFS、OSS、Ceph 等存儲(chǔ)源和 Kubernetes 上層云原生應(yīng)用計(jì)算之間靈活高效地移動(dòng)、復(fù)制、驅(qū)逐、轉(zhuǎn)換和管理。而具體數(shù)據(jù)操作對(duì)用戶(hù)透明,用戶(hù)不必再擔(dān)心訪問(wèn)遠(yuǎn)端數(shù)據(jù)的效率、管理數(shù)據(jù)源的便捷性,以及如何幫助 Kuberntes 做出運(yùn)維調(diào)度決策等問(wèn)題。用戶(hù)只需以最自然的 Kubernetes 原生數(shù)據(jù)卷方式直接訪問(wèn)抽象出來(lái)的數(shù)據(jù),剩余任務(wù)和底層細(xì)節(jié)全部交給 Fluid 處理。

          Fluid 項(xiàng)目當(dāng)前主要關(guān)注數(shù)據(jù)集編排和應(yīng)用編排這兩個(gè)重要場(chǎng)景。數(shù)據(jù)集編排可以將指定數(shù)據(jù)集的數(shù)據(jù)緩存到指定特性的 Kubernetes 節(jié)點(diǎn),而應(yīng)用編排將指定該應(yīng)用調(diào)度到可以或已經(jīng)存儲(chǔ)了指定數(shù)據(jù)集的節(jié)點(diǎn)上。這兩者還可以組合形成協(xié)同編排場(chǎng)景,即協(xié)同考慮數(shù)據(jù)集和應(yīng)用需求進(jìn)行節(jié)點(diǎn)資源調(diào)度。

          然后介紹 Fluid 中 Dataset 的概念,數(shù)據(jù)集是邏輯上相關(guān)的一組數(shù)據(jù)的集合,會(huì)被運(yùn)算引擎使用,比如大數(shù)據(jù)的 Spark,AI 場(chǎng)景的 TensorFlow,而關(guān)于數(shù)據(jù)集智能的應(yīng)用和調(diào)度會(huì)創(chuàng)造工業(yè)界的核心價(jià)值。Dataset 的管理實(shí)際上也有多個(gè)維度,比如安全性,版本管理和數(shù)據(jù)加速。

          我們希望從數(shù)據(jù)加速出發(fā),對(duì)于數(shù)據(jù)集的管理提供支持。在 Dataset 上面,我們通過(guò)定義 Runtime 這樣一個(gè)執(zhí)行引擎來(lái)實(shí)現(xiàn)數(shù)據(jù)集安全性,版本管理和數(shù)據(jù)加速等能力,Runtime 定義了一系列生命周期的接口,可以通過(guò)實(shí)現(xiàn)這些接口來(lái)支持?jǐn)?shù)據(jù)集的管理和加速,目前 Fluid 中支持的 Runtime 有 AlluxioRuntime 和 JindoRuntime 兩種。Fluid 的目標(biāo)是為 AI 與大數(shù)據(jù)云原生應(yīng)用提供一層高效便捷的數(shù)據(jù)抽象,將數(shù)據(jù)從存儲(chǔ)抽象出來(lái)從而達(dá)到如下功能:

          • 通過(guò)數(shù)據(jù)親和性調(diào)度和分布式緩存引擎加速,實(shí)現(xiàn)數(shù)據(jù)和計(jì)算之間的融合,從而加速計(jì)算對(duì)數(shù)據(jù)的訪問(wèn)。
          • 將數(shù)據(jù)獨(dú)立于存儲(chǔ)進(jìn)行管理,并且通過(guò) Kubernetes 的命名空間進(jìn)行資源隔離,實(shí)現(xiàn)數(shù)據(jù)的安全隔離。
          • 將來(lái)自不同存儲(chǔ)的數(shù)據(jù)聯(lián)合起來(lái)進(jìn)行運(yùn)算,從而有機(jī)會(huì)打破不同存儲(chǔ)的差異性帶來(lái)的數(shù)據(jù)孤島效應(yīng)。

          什么是 JindoRuntime

          如果要了解 Fluid 的 JindoRuntime,先要介紹 JindoFS。它是 JindoRuntime 的引擎層。

          JindoFS 是阿里云針對(duì) OSS 開(kāi)發(fā)的自研大數(shù)據(jù)存儲(chǔ)優(yōu)化引擎,完全兼容 Hadoop 文件系統(tǒng)接口,給客戶(hù)帶來(lái)更加靈活、高效的計(jì)算存儲(chǔ)方案,目前已驗(yàn)證支持阿里云 EMR 中所有的計(jì)算服務(wù)和引擎:Spark、Flink、Hive、MapReduce、Presto、Impala 等。JindoFS 有兩種使用模式,塊存儲(chǔ)(Block)模式和緩存(Cache)模式。Block 模式將文件內(nèi)容以數(shù)據(jù)塊的形式存放在 OSS 上并在本地可選擇使用數(shù)據(jù)備份來(lái)進(jìn)行緩存加速,使用本地的 namespace 服務(wù)管理元數(shù)據(jù),從而通過(guò)本地元數(shù)據(jù)以及塊數(shù)據(jù)構(gòu)建出文件數(shù)據(jù)。Cache 模式將文件存儲(chǔ)在 OSS 上,該模式兼容現(xiàn)有的 OSS 文件系統(tǒng),用戶(hù)可以通過(guò) OSS 訪問(wèn)原有的目錄結(jié)構(gòu)以及文件,同時(shí)該模式提供數(shù)據(jù)以及元數(shù)據(jù)的緩存,加速用戶(hù)讀寫(xiě)數(shù)據(jù)的性能。使用該模式的用戶(hù)無(wú)需遷移數(shù)據(jù)到 OSS,可以無(wú)縫對(duì)接現(xiàn)有 OSS 上的數(shù)據(jù),在元數(shù)據(jù)同步方面用戶(hù)可以根據(jù)不同的需求選擇不同的元數(shù)據(jù)同步策略。

          在 Fluid 中,JindoRuntime 也是使用 JindoFS 的 Cache 模式進(jìn)行遠(yuǎn)端文件的訪問(wèn)和緩存,如您需要在其他環(huán)境單獨(dú)使用 JindoFS 獲得訪問(wèn) OSS 的能力,您也可以下載我們的 JindoFS SDK 按照使用文檔進(jìn)行部署使用。JindoRuntime 來(lái)源于阿里云 EMR 團(tuán)隊(duì)自研 JindoFS 分布式系統(tǒng),是支撐 Dataset 數(shù)據(jù)管理和緩存的執(zhí)行引擎實(shí)現(xiàn)。Fluid 通過(guò)管理和調(diào)度 Jindo Runtime 實(shí)現(xiàn)數(shù)據(jù)集的可見(jiàn)性、彈性伸縮、數(shù)據(jù)遷移、計(jì)算加速等。在 Fluid 上使用和部署 JindoRuntime 流程簡(jiǎn)單、兼容原生 K8s 環(huán)境、可以開(kāi)箱即用。深度結(jié)合對(duì)象存儲(chǔ)特性,使用 Navite 框架優(yōu)化性能,并支持免密、checksum 校驗(yàn)等云上數(shù)據(jù)安全功能。

          JindoRuntime 的優(yōu)勢(shì)

          JindoRuntime 提供對(duì) Aliyun OSS 對(duì)象存儲(chǔ)服務(wù)的訪問(wèn)和緩存加速能力,并且利用 FUSE 的 POSIX 文件系統(tǒng)接口實(shí)現(xiàn)可以像本地磁盤(pán)一樣輕松使用 OSS 上的海量文件,具有以下特點(diǎn):

          1. 性能卓越

          • OSS 的讀寫(xiě)性能突出:深度結(jié)合 OSS 進(jìn)行讀寫(xiě)效率和穩(wěn)定性的增強(qiáng),通過(guò) native 層優(yōu)化對(duì) OSS 訪問(wèn)接口,優(yōu)化冷數(shù)據(jù)訪問(wèn)性能,特別是小文件讀寫(xiě)。
          • 分布式緩存策略豐富:支持單 TB 級(jí)大文件緩存、元數(shù)據(jù)緩存策略等。在大規(guī)模 AI 訓(xùn)練和數(shù)據(jù)湖場(chǎng)景實(shí)測(cè)中有突出的性能優(yōu)勢(shì)。

          2. 安全可靠

          • 認(rèn)證安全:支持阿里云上 STS 免密訪問(wèn)和 K8s 原生的秘鑰加密。
          • 數(shù)據(jù)安全:checksum 校驗(yàn)、客戶(hù)端數(shù)據(jù)加密等安全策略,保護(hù)云上數(shù)據(jù)安全和用戶(hù)信息等。

          3. 簡(jiǎn)單易用

          支持原生 K8s 環(huán)境,利用自定義資源定義,對(duì)接數(shù)據(jù)卷概念。使用部署流程簡(jiǎn)單,可以開(kāi)箱即用。

          4. 輕量級(jí)

          底層基于 c++ 代碼,整體結(jié)構(gòu)輕量化,各種 OSS 訪問(wèn)接口額外開(kāi)銷(xiāo)較小。

          JindoRuntime 性能怎么樣

          我們使用 ImageNet 數(shù)據(jù)集基于 Kubernetes 集群并使用 Arena 在此數(shù)據(jù)集上訓(xùn)練 ResNet-50 模型,基于 JindoFS 的 JindoRuntime 在開(kāi)啟本地緩存的情況下性能大幅度優(yōu)于開(kāi)源 OSSFS,訓(xùn)練耗時(shí)縮短了 76%,該測(cè)試場(chǎng)景會(huì)在后續(xù)文章中進(jìn)行詳細(xì)介紹。

          如何快速上手使用 JindoRuntime

          使用 JindoRuntime 流程簡(jiǎn)單,在準(zhǔn)備好基本 K8s 和 OSS 環(huán)境的條件下,您只需要耗費(fèi) 10 分鐘左右時(shí)間即可部署好需要的 JindoRuntime 環(huán)境,您可以按照下面的流程進(jìn)行部署。

          • 創(chuàng)建命名空間
          kubectl create ns fluid-system
          • 下載 fluid-0.5.0.tgz

          **

          • 使用 Helm 安裝 Fluid
          helm install --set runtime.jindo.enabled=true fluid fluid-0.5.0.tgz
          • 查看 Fluid 的運(yùn)行狀態(tài)
          $ kubectl get pod -n fluid-system
          NAME                                         READY   STATUS    RESTARTS   AGE
          csi-nodeplugin-fluid-2mfcr                   2/2     Running   0          108s
          csi-nodeplugin-fluid-l7lv6                   2/2     Running   0          108s
          dataset-controller-5465c4bbf9-5ds5p          1/1     Running   0          108s
          jindoruntime-controller-654fb74447-cldsv     1/1     Running   0          108s

          其中 csi-nodeplugin-fluid-xx 的數(shù)量應(yīng)該與 K8s 集群中節(jié)點(diǎn) node 的數(shù)量相同。

          • 創(chuàng)建 dataset 和 JindoRuntime

          在創(chuàng)建 dataset 之前,我們可以創(chuàng)建一個(gè) secret 來(lái)保存 OSS 的 fs.oss.accessKeyId 和 fs.oss.accessKeySecret 信息,避免明文暴露出來(lái),K8s 會(huì)對(duì)已創(chuàng)建的 secret 使用加密編碼,將 key 和 secret 信息填入 mySecret.yaml 文件中。

          apiVersion: v1
          kind: Secret
          metadata:
            name: mysecret
          stringData:
            fs.oss.accessKeyId: xxx
            fs.oss.accessKeySecret: xxx

          生成 secret:

          kubectl create -f mySecret.yaml

          創(chuàng)建一個(gè) resource.yaml 文件里面包含兩部分:

          1. 首先包含數(shù)據(jù)集及 ufs 的 dataset 信息,創(chuàng)建一個(gè) Dataset CRD 對(duì)象,其中描述了數(shù)據(jù)集的來(lái)源。
          2. 接下來(lái)需要?jiǎng)?chuàng)建一個(gè) JindoRuntime,相當(dāng)于啟動(dòng)一個(gè) JindoFS 的集群來(lái)提供緩存服務(wù)。
          apiVersion: data.fluid.io/v1alpha1
          kind: Dataset
          metadata:
            name: hadoop
          spec:
            mounts:
              - mountPoint: oss://<oss_bucket>/<bucket_dir>
                options:
                  fs.oss.endpoint: <oss_endpoint>  
                name: hadoop
                encryptOptions:
                  - name: fs.oss.accessKeyId
                    valueFrom:
                      secretKeyRef:
                        name: mysecret
                        key: fs.oss.accessKeyId
                  - name: fs.oss.accessKeySecret
                    valueFrom:
                      secretKeyRef:
                        name: mysecret
                        key: fs.oss.accessKeySecret
          ---
          apiVersion: data.fluid.io/v1alpha1
          kind: JindoRuntime
          metadata:
            name: hadoop
          spec:
            replicas: 2
            tieredstore:
              levels:
                - mediumtype: HDD
                  path: /mnt/disk1
                  quota: 100Gi
                  high: "0.99"
                  low: "0.8"
          1. mountPoint:oss://<oss_bucket>/<bucket_dir> 表示掛載 UFS 的路徑,路徑中不需要包含 endpoint 信息。
          2. fs.oss.endpoint:oss bucket 的 endpoint 信息,公網(wǎng)或內(nèi)網(wǎng)地址皆可。
          3. replicas:表示創(chuàng)建 JindoFS 集群的 worker 的數(shù)量。
          4. mediumtype:JindoFS 暫只支持 HDD/SSD/MEM 中的一種。
          5. path:存儲(chǔ)路徑,暫只支持一塊盤(pán),當(dāng)選擇 MEM 做緩存也需要一塊盤(pán)來(lái)存儲(chǔ) log 等文件。
          6. quota:緩存最大容量,單位 Gi。
          7. high:水位上限大小 / low:水位下限大小。
          kubectl create -f resource.yaml

          查看 dataset 的情況:

          $ kubectl get dataset hadoop
          NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
          hadoop        210MiB       0.00B    180.00GiB              0.0%          Bound   1h
          • 創(chuàng)建應(yīng)用容器體驗(yàn)加速效果

          您可以通過(guò)創(chuàng)建應(yīng)用容器來(lái)使用 JindoFS 加速服務(wù),或者進(jìn)行提交機(jī)器學(xué)習(xí)作業(yè)來(lái)進(jìn)行體驗(yàn)相關(guān)功能。

          接下來(lái),我們創(chuàng)建一個(gè)應(yīng)用容器 app.yaml 來(lái)使用該數(shù)據(jù)集,我們將多次訪問(wèn)同一數(shù)據(jù),并比較訪問(wèn)時(shí)間來(lái)展示 JindoRuntime 的加速效果。

          apiVersion: v1
          kind: Pod
          metadata:
            name: demo-app
          spec:
            containers:
              - name: demo
                image: nginx
                volumeMounts:
                  - mountPath: /data
                    name: hadoop
            volumes:
              - name: hadoop
                persistentVolumeClaim:
                  claimName: hadoop

          使用 kubectl 完成創(chuàng)建:

          kubectl create -f app.yaml

          查看文件大?。?/p>

          $ kubectl exec -it demo-app -- bash
          $ du -sh /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz 
          210M  /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz

          進(jìn)行文件的 cp 觀察時(shí)間消耗了 18s:

          $ time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
          
          real  0m18.386s
          user  0m0.002s
          sys 0m0.105s

          查看此時(shí) dataset 的緩存情況,發(fā)現(xiàn) 210MB 的數(shù)據(jù)已經(jīng)都緩存到了本地。

          $ kubectl get dataset hadoop
          NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
          hadoop   210.00MiB       210.00MiB    180.00GiB        100.0%           Bound   1h

          為了避免其他因素(比如 page cache)對(duì)結(jié)果造成影響,我們將刪除之前的容器,新建相同的應(yīng)用,嘗試訪問(wèn)同樣的文件。由于此時(shí)文件已經(jīng)被 JindoFS 緩存,可以看到第二次訪問(wèn)所需時(shí)間遠(yuǎn)小于第一次。

          kubectl delete -f app.yaml && kubectl create -f app.yaml

          進(jìn)行文件的拷貝觀察時(shí)間,發(fā)現(xiàn)消耗 48ms,整個(gè)拷貝的時(shí)間縮短了 300 倍。

          $ time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
          
          real  0m0.048s
          user  0m0.001s
          sys 0m0.046s
          • 環(huán)境清理刪除應(yīng)用和應(yīng)用容器刪除 JindoRuntime
          kubectl delete jindoruntime hadoop
          • 刪除 dataset
          kubectl delete dataset hadoop

          以上通過(guò)一個(gè)簡(jiǎn)單的例子完成 JindoFS on Fluid 的入門(mén)體驗(yàn)和理解,并最后進(jìn)行環(huán)境的清理,更多 Fluid JindoRuntime 的功能使用后續(xù)文章會(huì)進(jìn)行詳細(xì)介紹。

          • Fluid 項(xiàng)目 GitHub 地址

          https://github.com/fluid-cloudnative/fluid

          • Fluid 項(xiàng)目主頁(yè)

          http://pasa-bigdata.nju.edu.cn/fluid/index.html

          作者簡(jiǎn)介

          王濤,花名揚(yáng)禮,阿里巴巴計(jì)算平臺(tái)事業(yè)部 EMR 開(kāi)發(fā)工程師,目前從事開(kāi)源大數(shù)據(jù)存儲(chǔ)計(jì)算方面的開(kāi)發(fā)和優(yōu)化工作。
          車(chē)漾,花名必嘫,阿里巴巴云原生應(yīng)用平臺(tái)高級(jí)技術(shù)專(zhuān)家,從事 Kubernetes 和容器相關(guān)產(chǎn)品的開(kāi)發(fā)。尤其關(guān)注利用云原生技術(shù)構(gòu)建機(jī)器學(xué)習(xí)平臺(tái)系統(tǒng),是 GPU 共享調(diào)度的主要作者和維護(hù)者。

          、開(kāi)始使用對(duì)象存儲(chǔ)OSS

          阿里云對(duì)象存儲(chǔ)服務(wù)(Object Storage Service,簡(jiǎn)稱(chēng)OSS)為您提供基于網(wǎng)絡(luò)的數(shù)據(jù)存取服務(wù)。使用OSS,您可以通過(guò)網(wǎng)絡(luò)隨時(shí)存儲(chǔ)和調(diào)用包括文本、圖片、音頻和視頻等在內(nèi)的各種非結(jié)構(gòu)化數(shù)據(jù)文件。

          阿里云OSS將數(shù)據(jù)文件以對(duì)象(object)的形式上傳到存儲(chǔ)空間(bucket)中。您可以進(jìn)行以下操作:

          A.創(chuàng)建一個(gè)或者多個(gè)存儲(chǔ)空間,向每個(gè)存儲(chǔ)空間中添加一個(gè)或多個(gè)文件。

          B.通過(guò)獲取已上傳文件的地址進(jìn)行文件的分享和下載。

          C.通過(guò)修改存儲(chǔ)空間或文件的屬性或元信息來(lái)設(shè)置相應(yīng)的訪問(wèn)權(quán)限。

          D.在阿里云管理控制臺(tái)執(zhí)行基本和高級(jí)OSS任務(wù)。

          E.使用阿里云開(kāi)發(fā)工具包或直接在應(yīng)用程序中進(jìn)行RESTful API調(diào)用執(zhí)行基本和高級(jí)OSS任務(wù)。

          注意:初次使用阿里云OSS,請(qǐng)您先了解阿里云OSS使用限制。本文檔向您介紹如何使用阿里云管理控制臺(tái)來(lái)完成以下基本任務(wù)。



          1、開(kāi)通OSS服務(wù)

          2、創(chuàng)建存儲(chǔ)空間

          3、上傳文件

          4、分享文件

          5、刪除文件

          6、刪除存儲(chǔ)空間

          二、開(kāi)通OSS服務(wù)

          前提條件

          在使用阿里云OSS服務(wù)之前,請(qǐng)確保您已經(jīng)注冊(cè)了阿里云賬號(hào)并完成實(shí)名認(rèn)證。如果您還沒(méi)有創(chuàng)建阿里云賬號(hào),系統(tǒng)會(huì)在您開(kāi)通OSS時(shí)提示您注冊(cè)賬號(hào)。

          操作步驟

          1、登錄阿里云官網(wǎng)。

          2、將鼠標(biāo)移至產(chǎn)品,單擊對(duì)象存儲(chǔ)OSS,打開(kāi)OSS產(chǎn)品詳情頁(yè)面。

          3、在OSS產(chǎn)品詳情頁(yè)中,單擊立即開(kāi)通。

          4、開(kāi)通服務(wù)后,在OSS產(chǎn)品詳情頁(yè)面單擊管理控制臺(tái)直接進(jìn)入OSS管理控制臺(tái)界面。您也可以單擊位于官網(wǎng)首頁(yè)右上方菜單欄的控制臺(tái),進(jìn)入阿里云管理控制臺(tái)首頁(yè),然后單擊左側(cè)的對(duì)象存儲(chǔ)OSS菜單進(jìn)入OSS管理控制臺(tái)界面。

          三、購(gòu)買(mǎi)OSS服務(wù)

          背景信息

          開(kāi)通OSS服務(wù)后,默認(rèn)的計(jì)費(fèi)方式是按量付費(fèi)。如果想進(jìn)一步降低OSS費(fèi)用,建議使用包年包月(購(gòu)買(mǎi)資源包)的計(jì)費(fèi)方式。

          資源包購(gòu)買(mǎi)流程如下:

          操作步驟

          1、開(kāi)通 OSS 服務(wù)后,在OSS產(chǎn)品詳情頁(yè)單擊折扣套餐,進(jìn)入資源包售賣(mài)頁(yè)。

          2、選擇需要購(gòu)買(mǎi)的資源包類(lèi)型和規(guī)格。

          3、選擇資源包購(gòu)買(mǎi)流程。

          4、選擇開(kāi)通時(shí)間(支持支付后立即生效或指定時(shí)間生效)。

          5、選擇資源包地域。

          6、不同地域單價(jià)可能不一樣,如海外地區(qū)與中國(guó)大陸地區(qū)目前不一樣。

          7、系統(tǒng)顯示您所選資源包配置的價(jià)格。單擊立即購(gòu)買(mǎi)。

          四、創(chuàng)建存儲(chǔ)空間

          開(kāi)通阿里云OSS服務(wù)后,您需要首先創(chuàng)建存儲(chǔ)空間來(lái)存儲(chǔ)文件。

          操作步驟

          1、登錄OSS 管理控制臺(tái)。

          2、單擊左側(cè)存儲(chǔ)空間列表中的新增按鈕+,或者單擊頁(yè)面右上方的新建 Bucket按鈕,打開(kāi)新建 Bucket對(duì)話框。



          3、在命名框中,輸入存儲(chǔ)空間名稱(chēng)。

          存儲(chǔ)空間名稱(chēng)必須符合命名規(guī)范。

          存儲(chǔ)空間名稱(chēng)在阿里云OSS的所有現(xiàn)有存儲(chǔ)空間名稱(chēng)中必須具有唯一性。

          存儲(chǔ)空間創(chuàng)建后名稱(chēng)無(wú)法修改。

          有關(guān)存儲(chǔ)空間命名的更多信息,請(qǐng)參見(jiàn)基本概念介紹。

          4、在所屬地域框中,下拉選擇該存儲(chǔ)空間的數(shù)據(jù)中心。存儲(chǔ)空間創(chuàng)建后無(wú)法更換所屬地域。如需要通過(guò)ECS內(nèi)網(wǎng)訪問(wèn)OSS,需要選擇與您ECS相同的地域。

          5、在存儲(chǔ)類(lèi)型框中,下拉選擇所需要的存儲(chǔ)類(lèi)型。

          標(biāo)準(zhǔn)存儲(chǔ):高可靠、高可用、高性能,數(shù)據(jù)會(huì)經(jīng)常被訪問(wèn)到。

          低頻訪問(wèn):數(shù)據(jù)長(zhǎng)期存儲(chǔ)、較少訪問(wèn),存儲(chǔ)單價(jià)低于標(biāo)準(zhǔn)類(lèi)型。

          歸檔存儲(chǔ):適合需要長(zhǎng)期保存(建議半年以上)的歸檔數(shù)據(jù),在存儲(chǔ)周期內(nèi)極少被訪問(wèn),數(shù)據(jù)進(jìn)入到可讀取狀態(tài)需要等待1分鐘的解凍時(shí)間。適合需要長(zhǎng)期保存的檔案數(shù)據(jù)、醫(yī)療影像、科學(xué)資料、影視素材。

          6、在讀寫(xiě)權(quán)限框中,下拉選擇對(duì)應(yīng)的權(quán)限。

          私有:只有該存儲(chǔ)空間的擁有者可以對(duì)該存儲(chǔ)空間內(nèi)的文件進(jìn)行讀寫(xiě)操作,其他人無(wú)法訪問(wèn)該存儲(chǔ)空間內(nèi)的文件。

          公共讀:只有該存儲(chǔ)空間的擁有者可以對(duì)該存儲(chǔ)空間內(nèi)的文件進(jìn)行寫(xiě)操作,任何人(包括匿名訪問(wèn)者)可以對(duì)該存儲(chǔ)空間中的文件進(jìn)行讀操作。

          公共讀寫(xiě):任何人(包括匿名訪問(wèn)者)都可以對(duì)該存儲(chǔ)空間中的文件進(jìn)行讀寫(xiě)操作。

          注意對(duì)存儲(chǔ)空間的所有操作產(chǎn)生的費(fèi)用由該存儲(chǔ)空間的所有者承擔(dān),因此請(qǐng)慎用公共讀和公共讀寫(xiě)權(quán)限。

          7、單擊確定。

          五、上傳文件

          創(chuàng)建了存儲(chǔ)空間之后,您可以上傳任何類(lèi)型的文件到存儲(chǔ)空間中。

          前提條件

          已創(chuàng)建了存儲(chǔ)空間。詳情請(qǐng)參見(jiàn) 創(chuàng)建存儲(chǔ)空間。

          背景信息

          您可以通過(guò)以下途徑上傳文件:

          通過(guò)OSS控制臺(tái)上傳小于5GB的文件。詳情請(qǐng)參見(jiàn)以下步驟。

          通過(guò)SDK或API使用Multipart Upload方法上傳大于5GB的文件。

          通過(guò)圖形化的管理工具ossbrowser上傳文件。

          操作步驟

          1、登錄OSS 管理控制臺(tái)。

          2、在左側(cè)存儲(chǔ)空間列表中,單擊您要向其中上傳文件的存儲(chǔ)空間。

          3、單擊文件管理頁(yè)簽。

          4、單擊上傳文件,打開(kāi)上傳文件對(duì)話框。

          5、在目錄地址框中,設(shè)置文件上傳到OSS中的存儲(chǔ)路徑。

          當(dāng)前目錄:將文件上傳到當(dāng)前目錄。

          指定目錄:將文件上傳到指定目錄。您需要輸入目錄名稱(chēng),OSS將自動(dòng)創(chuàng)建對(duì)應(yīng)的文件夾并將文件上傳到該文件夾中。

          6、在文件ACL區(qū)域中,選擇文件的讀寫(xiě)權(quán)限。默認(rèn)為繼承所在存儲(chǔ)空間的讀寫(xiě)權(quán)限。

          7、在上傳文件區(qū)域中,將要上傳的一個(gè)或多個(gè)文件拖拽到此區(qū)域;或者單擊直接上傳,選擇一個(gè)或多個(gè)要上傳的文件。

          8、在手機(jī)驗(yàn)證對(duì)話框中,單擊點(diǎn)擊獲取,輸入收到的校驗(yàn)碼,然后單擊確定。彈出上傳任務(wù)對(duì)話框,顯示上傳進(jìn)度。您也可以單擊左側(cè)下方的上傳任務(wù)查看上傳進(jìn)度。

          說(shuō)明:如果上傳的文件與存儲(chǔ)空間中已有的文件重名,則會(huì)覆蓋已有文件。

          六、下載文件

          您可以通過(guò)獲取已上傳文件的地址進(jìn)行文件的分享和下載。

          前提條件

          文件已上傳到存儲(chǔ)空間中。詳情請(qǐng)參見(jiàn)上傳文件。

          操作步驟

          1、登錄OSS 管理控制臺(tái)。

          2、在左側(cè)存儲(chǔ)空間列表中,單擊您已創(chuàng)建的存儲(chǔ)空間名稱(chēng),打開(kāi)該存儲(chǔ)空間概覽頁(yè)面。

          3、單擊文件管理頁(yè)簽。

          4、單擊目標(biāo)文件的名稱(chēng)或者單擊目標(biāo)文件對(duì)應(yīng)的設(shè)置,打開(kāi)該文件的預(yù)覽頁(yè)面,可以看到以下選項(xiàng):

          下載:將文件下載到本地。

          打開(kāi)文件 URL:直接在瀏覽器中打開(kāi)文件。對(duì)于不支持直接瀏覽的文件,如 excel 文件,打開(kāi) URL 則直接下載。

          復(fù)制文件 URL:獲取文件 URL 給訪問(wèn)者進(jìn)行瀏覽和下載。

          復(fù)制文件路徑:用于搜索文件或者給圖片類(lèi)的文件加水印等功能。

          說(shuō)明:您也可以通過(guò)以下方式下載文件:

          下載一個(gè)或多個(gè)文件:在文件管理頁(yè)面,勾選一個(gè)或多個(gè)文件,選擇批量操作 > 下載。

          下載單個(gè)文件:在文件管理頁(yè)面,選擇更多 > 下載。

          5、如您的存儲(chǔ)空間的讀寫(xiě)權(quán)限為私有,則您獲取文件訪問(wèn)URL時(shí)還需要在簽名欄里設(shè)置鏈接有效時(shí)間,默認(rèn)的鏈接有效時(shí)間為3600秒,最大值為64800秒。

          說(shuō)明URL簽名的鏈接有效時(shí)間是基于NTP計(jì)算的。您可以將此鏈接給與任何訪問(wèn)者,訪問(wèn)者可以在有效時(shí)間內(nèi),通過(guò)此鏈接訪問(wèn)該文件。存儲(chǔ)空間為私有權(quán)限時(shí)獲得的地址是通過(guò)在URL中包含簽名生成的。

          七、刪除文件

          如果您不再需要存儲(chǔ)所上傳的文件,請(qǐng)將其刪除以免進(jìn)一步產(chǎn)生費(fèi)用。

          背景信息

          您可以通過(guò)OSS控制臺(tái)刪除單個(gè)文件或批量刪除文件。通過(guò)控制臺(tái)批量刪除文件個(gè)數(shù)上限為1000。如果想更靈活的選擇刪除的文件,或?qū)崿F(xiàn)更大批量的刪除。

          警告文件刪除后無(wú)法恢復(fù),請(qǐng)謹(jǐn)慎操作。

          操作步驟

          1、進(jìn)入OSS 管理控制臺(tái)界面。

          2、在左側(cè)存儲(chǔ)空間列表中,單擊目標(biāo)存儲(chǔ)空間名稱(chēng),打開(kāi)該存儲(chǔ)空間概覽頁(yè)面。

          3、單擊文件管理頁(yè)簽。

          4、選擇一個(gè)或多個(gè)文件,選擇批量操作 > 刪除?;蛘哌x擇目標(biāo)文件對(duì)應(yīng)的更多 > 刪除。

          5、在刪除文件對(duì)話框中,單擊確定。

          覺(jué)得不盡興,搜索加入大牛QQ群:808026766

          阿里云官方最新活動(dòng)

          (復(fù)制下面的鏈接到瀏覽器打開(kāi)或者戳網(wǎng)頁(yè)鏈接直達(dá))

          阿里云官方最新活動(dòng)

          一:全民云計(jì)算ECS云服務(wù)器2折起,優(yōu)惠配置多選1

          https://promotion.aliyun.com/ntms/act/qwbk.html?spm=5176.8112568.738194.1.f0b69ed5Jibrqu&userCode=3ek1oxkw

          二:企業(yè)級(jí)高性能ECS5折起,最低只要1451元。

          https://promotion.aliyun.com/ntms/act/enterprise-discount.html?spm=5176.8112568.738194.3.f0b69ed5Jibrqu&userCode=3ek1oxkw

          三:1T3年OSS存儲(chǔ)包只要99元。

          https://promotion.aliyun.com/ntms/act/oss-discount.html?spm=5176.8112568.738194.1.f0b69ed5Jibrqu&userCode=3ek1oxkw

          四:1000元新購(gòu),續(xù)費(fèi)代金券

          https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=3ek1oxkw

          五: 100%CPU性能,1核2G1M服務(wù)器,每月9.5元,1年只要118元啦!

          https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=3ek1oxkw

          驚喜:24歲以下自動(dòng)獲得學(xué)生身份。


          主站蜘蛛池模板: 视频一区二区在线播放| 在线精品亚洲一区二区| 国产亚洲情侣一区二区无| 波多野结衣一区在线观看| 少妇无码一区二区二三区| 国产一区二区在线观看视频| 日韩精品无码一区二区三区| 国产视频一区二区| 国产乱人伦精品一区二区| 手机看片一区二区| 日韩精品一区二区三区视频| 日韩一区二区在线播放| 中文字幕精品亚洲无线码一区 | 国产91精品一区二区麻豆网站 | 亚洲美女视频一区| 久久国产一区二区三区| 免费视频精品一区二区| 国产精品一区二区三区高清在线| 亚洲高清一区二区三区电影 | 国产精品毛片a∨一区二区三区| 丝袜美腿一区二区三区| 亚洲AV成人一区二区三区在线看| 久久无码人妻一区二区三区午夜 | 国产精品无码一区二区在线观一 | chinese国产一区二区| 国产精品盗摄一区二区在线| 日韩免费视频一区二区| 亚洲av无码不卡一区二区三区| 果冻传媒董小宛一区二区| 亚洲国产专区一区| 国产在线精品一区二区在线观看| 日本免费一区二区久久人人澡| 亚洲乱色熟女一区二区三区丝袜| 亚洲一区二区高清| 日韩人妻无码一区二区三区综合部| 中文字幕色AV一区二区三区| 国产精品熟女一区二区| 69久久精品无码一区二区| 精品无码国产AV一区二区三区 | 国产福利酱国产一区二区| 国产精品久久久久久麻豆一区|