引言
为了更好的提升业务性能及减少高昂的费用成本，现将CDN源站资源数据从 Amazon S3 迁移到Google Cloud Storage ,S3存储位于新加坡(ap-southeast-1)，总存储数据大小20TB。
整体架构
技术简介
迁移工具使用Google Data Transfer，采取从云端或本地来源转移数据的服务，兼具安全和低成本的优势。迁移使用Google Cloud Storage存储数据，安全可靠的对象存储，提供多种冗余方案，多种存储类别，提供 99.999999999% 的年存储耐用性。
Google Data Transfer：
1.启用混合或多云端策略
可通过一个简单易用的界面，从世界各地的私有数据中心、AWS、Azure 和 Google Cloud 转移数据
2.优化基础架构管理，降低费用
通过将数据存储和应用基础架构迁移至 Google Cloud 来降低基础架构费用，同时最大程度地缩短停机时间
3.快速完成大规模数据转移
从本地资源或其他云通过在线网络转移 PB 级数据 — 数十亿个文件和数十个 Gbps 的速度。利用横向扩容性能优化网络带宽并加快转移速度。
Google Cloud Storage
1.轻松过渡到低费用的类别
使用对象生命周期管理 (OLM) 功能配置您的数据，以便在其符合您指定的条件时，自动转移到费用较低的存储类别，例如数据保留时长达到特定标准或您存储了新版本的数据时
2.多种冗余方案
Cloud Storage 的存储桶位置一直在不断增加，您可以利用多种自动冗余方案在这些位置存储您的数据。无论您是要将响应时间优化到瞬间级别，还是要创建可靠的灾难恢复方案，都可以自定义数据的存储位置和存储方式。
3.多种存储类别，适合任何工作负载
将数据存储在不同的存储类别中，节省费用而不牺牲性能。您可以先选择适合当前使用情况的类别，然后重新进行配置以节省费用。
Standard Storage：适合频繁访问的“热”数据，包括网站、流式视频和移动应用。
Nearline Storage：费用低。适合至少可存储 30 天的数据，包括数据备份和长尾多媒体内容。
Coldline Storage：费用很低。适合至少可存储 90 天的数据，包括用于灾难恢复的数据。
Archive Storage：费用最低。适合至少可存储 365 天的数据，包括法规归档数据
准备工作
1. Amazon IAM创建好迁移所需要的用户认证及策略
2.Google对应地区创建好GCS存储
3.确认Google是否拥有 Storage Transfer Service 访问权限
- roles/owner
- roles/editor
- roles/storagetransfer.admin
- roles/storagetransfer.user
- 至少包含 roles/storagetransfer.user 权限的自定义角色
目标
1.存储数据完整从S3迁移到GCS
2.迁移过程中增量数据的补充
实施步骤1. 配置 AWS 访问权限
1.1 在 AWS Management Console 中，转到 IAM 页面，点击添加用户。自定义一个用户名，访问类型选择访问秘钥，点击下一步
1.2在设置策略界面，点击直接附加现有策略，搜索s3相关策略，如果您的转移作业配置为删除源对象，请附加 AmazonS3FullAccess策略；否则，请附加 AmazonS3ReadyOnlyAccess策略。这里我们选择AmazonS3ReadyOnlyAccess策略
1.3 点击下一步，保存好访问秘钥ID和私有访问秘钥，迁移工具需要使用
2. 创建 Cloud Storage 存储分区
2.1 在 Cloud Console 中，转到 Cloud Storage ，点击创建存储分区
2.2 在名称字段中，输入一个名称，例如 s3-transfer-gcs
2.3 对于存储分区的默认存储类别。可以选择多区域或者单区域的，这里我们选择单区域新加坡
2.4 选择存储类别，对于经常访问的数据这里选择标准类型
2.5访问控制及数据保护可以按需求调整配置，点击创建
3.数据迁移
3.1 在 Cloud Console 中，转到 Storage Transfer Service，点击创建任务
3.2选择来源S3 bucket，输入S3名称，填写之前保存的访问秘钥ID和私有访问秘钥
3.3选择目标，选择创建的GCS，可以自定义路径或者默认根目录
3.4设置任务的名称，及传输设置，是否判断文件不同，是否删除文件等，迁移数据选择不判断是否重复，不删除源文件。
3.5 迁移计划，执行一次，立即开始或者设置指定时间点开始
3.6点击创建，查看任务执行情况
3.7 如果迁移过程中S3源文件新增，那么可以新创建一个任务，进行增量迁移
迁移测试
在新加坡region，上传了一个1.19G大小的文件，不同时间测试5次，平均传输速度6.8MiB/s
迁移费用GCS费用：（按官网价格）
迁移包含GCS数据存储（每月$0.020）、操作费用（put上传请求每 10000 次操作$0.05）、GCS入向流量（免费）
Amazon费用：（按官网价格）
GET、SELECT 和所有其他请求（每 1000 个请求）0.0004 USD、数据自 Amazon S3 传出至互联网 :
每月不超出 1GB 的部分
每 GB 0.00 USD
每月随后的 9.999TB
每 GB 0.12 USD
每月随后的 40TB
每 GB 0.085 USD
每月随后的 100TB
每 GB 0.082 USD
每月超出 150TB 的部分
每 GB 0.08 USD
常见问题
1.迁移工具支持哪些地区？
Storage Transfer Service 目前可用于转移来自以下 Amazon S3 区域的数据：
ap-east-1
亚太地区（香港）
ap-northeast-1
亚太区域（东京）
ap-northeast-2
亚太地区（首尔）
ap-south-1
亚太地区（孟买）
ap-southeast-1
亚太地区（新加坡）
ap-southeast-2
亚太地区（悉尼）
ca-central-1
加拿大（中部）
eu-central-1
欧洲(法兰克福)
eu-north-1
欧洲（斯德哥尔摩）
eu-west-1
欧洲（爱尔兰）
eu-west-2
欧洲（伦敦）
eu-west-3
欧洲(巴黎)
me-south-1
中东（巴林）
sa-east-1
南美洲（圣保罗）
us-east-1
美国东部（弗吉尼亚北部）
us-east-2
美东 (俄亥俄州)
us-west-1
美国西部（加利福尼亚北部）
us-west-2
美国西部（俄勒冈）