AWS S3至GCP GCS迁移方案

引言

为了更好的提升业务性能及减少高昂的费用成本，现将CDN源站资源数据从 Amazon S3 迁移到Google Cloud Storage ,S3存储位于新加坡(ap-southeast-1)，总存储数据大小20TB。

整体架构

技术简介

迁移工具使用Google Data Transfer，采取从云端或本地来源转移数据的服务，兼具安全和低成本的优势。迁移使用Google Cloud Storage存储数据，安全可靠的对象存储，提供多种冗余方案，多种存储类别，提供 99.999999999% 的年存储耐用性。

Google Data Transfer：

1.启用混合或多云端策略

可通过一个简单易用的界面，从世界各地的私有数据中心、AWS、Azure 和 Google Cloud 转移数据

2.优化基础架构管理，降低费用

通过将数据存储和应用基础架构迁移至 Google Cloud 来降低基础架构费用，同时最大程度地缩短停机时间

3.快速完成大规模数据转移

从本地资源或其他云通过在线网络转移 PB 级数据 — 数十亿个文件和数十个 Gbps 的速度。利用横向扩容性能优化网络带宽并加快转移速度。

Google Cloud Storage

1.轻松过渡到低费用的类别

使用对象生命周期管理 (OLM) 功能配置您的数据，以便在其符合您指定的条件时，自动转移到费用较低的存储类别，例如数据保留时长达到特定标准或您存储了新版本的数据时

2.多种冗余方案

Cloud Storage 的存储桶位置一直在不断增加，您可以利用多种自动冗余方案在这些位置存储您的数据。无论您是要将响应时间优化到瞬间级别，还是要创建可靠的灾难恢复方案，都可以自定义数据的存储位置和存储方式。

3.多种存储类别，适合任何工作负载

将数据存储在不同的存储类别中，节省费用而不牺牲性能。您可以先选择适合当前使用情况的类别，然后重新进行配置以节省费用。

Standard Storage：适合频繁访问的“热”数据，包括网站、流式视频和移动应用。

Nearline Storage：费用低。适合至少可存储 30 天的数据，包括数据备份和长尾多媒体内容。

Coldline Storage：费用很低。适合至少可存储 90 天的数据，包括用于灾难恢复的数据。

Archive Storage：费用最低。适合至少可存储 365 天的数据，包括法规归档数据

准备工作

1. Amazon IAM创建好迁移所需要的用户认证及策略

2.Google对应地区创建好GCS存储

3.确认Google是否拥有 Storage Transfer Service 访问权限

• roles/owner

• roles/editor
• roles/storagetransfer.admin
• roles/storagetransfer.user

• 至少包含 roles/storagetransfer.user 权限的自定义角色

目标

1.存储数据完整从S3迁移到GCS

2.迁移过程中增量数据的补充

实施步骤1. 配置 AWS 访问权限

1.1 在 AWS Management Console 中，转到 IAM 页面，点击添加用户。自定义一个用户名，访问类型选择访问秘钥，点击下一步

1.2在设置策略界面，点击直接附加现有策略，搜索s3相关策略，如果您的转移作业配置为删除源对象，请附加 AmazonS3FullAccess策略；否则，请附加 AmazonS3ReadyOnlyAccess策略。这里我们选择AmazonS3ReadyOnlyAccess策略

1.3 点击下一步，保存好访问秘钥ID和私有访问秘钥，迁移工具需要使用

2. 创建 Cloud Storage 存储分区

2.1 在 Cloud Console 中，转到 Cloud Storage ，点击创建存储分区

2.2 在名称字段中，输入一个名称，例如 s3-transfer-gcs

2.3 对于存储分区的默认存储类别。可以选择多区域或者单区域的，这里我们选择单区域新加坡

2.4 选择存储类别，对于经常访问的数据这里选择标准类型

2.5访问控制及数据保护可以按需求调整配置，点击创建

3.数据迁移

3.1 在 Cloud Console 中，转到 Storage Transfer Service，点击创建任务

3.2选择来源S3 bucket，输入S3名称，填写之前保存的访问秘钥ID和私有访问秘钥

3.3选择目标，选择创建的GCS，可以自定义路径或者默认根目录

3.4设置任务的名称，及传输设置，是否判断文件不同，是否删除文件等，迁移数据选择不判断是否重复，不删除源文件。

3.5 迁移计划，执行一次，立即开始或者设置指定时间点开始

3.6点击创建，查看任务执行情况

3.7 如果迁移过程中S3源文件新增，那么可以新创建一个任务，进行增量迁移

迁移测试

在新加坡region，上传了一个1.19G大小的文件，不同时间测试5次，平均传输速度6.8MiB/s

迁移费用GCS费用：（按官网价格）

迁移包含GCS数据存储（每月$0.020）、操作费用（put上传请求每 10000 次操作$0.05）、GCS入向流量（免费）

Amazon费用：（按官网价格）

GET、SELECT 和所有其他请求（每 1000 个请求）0.0004 USD、数据自 Amazon S3 传出至互联网 :

每月不超出 1GB 的部分

每 GB 0.00 USD

每月随后的 9.999TB

每 GB 0.12 USD

每月随后的 40TB

每 GB 0.085 USD

每月随后的 100TB

每 GB 0.082 USD

每月超出 150TB 的部分

每 GB 0.08 USD

常见问题

1.迁移工具支持哪些地区？

Storage Transfer Service 目前可用于转移来自以下 Amazon S3 区域的数据：

ap-east-1

亚太地区（香港）

ap-northeast-1

亚太区域（东京）

ap-northeast-2

亚太地区（首尔）

ap-south-1

亚太地区（孟买）

ap-southeast-1

亚太地区（新加坡）

ap-southeast-2

亚太地区（悉尼）

ca-central-1

加拿大（中部）

eu-central-1

欧洲(法兰克福)

eu-north-1

欧洲（斯德哥尔摩）

eu-west-1

欧洲（爱尔兰）

eu-west-2

欧洲（伦敦）

eu-west-3

欧洲(巴黎)

me-south-1

中东（巴林）

sa-east-1

南美洲（圣保罗）

us-east-1

美国东部（弗吉尼亚北部）

us-east-2

美东 (俄亥俄州)

us-west-1

美国西部（加利福尼亚北部）

us-west-2

美国西部（俄勒冈）