ソースへのアクセスを構成する: Amazon S3

Amazon S3 バケットへのアクセスは、次のいずれかの方法で設定できます。

• アクセス認証情報
• フェデレーション ID

サポートされるリージョン

必要な権限

Storage Transfer Service を使用して Amazon S3 バケットからデータを移動するには、ユーザー アカウントまたはフェデレーション ID のロールにバケットに対する適切な権限が必要です。

アクセス認証情報を使用して認証する

アクセスキー ID と秘密鍵を使用して AWS を認証するには:

1. AWS Identity and Access Management（AWS IAM）ユーザーを transfer-user などのわかりやすい名前で作成します。

2. AWS アクセスタイプで [Access key - Programmatic access] を選択します。

3. 次のいずれかのロールをユーザーに付与します。

   • AmazonS3ReadOnlyAccess。ソースに対する読み取り専用アクセス権を付与します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
   • AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。

   • 上の必要な権限の表にある適切な権限を持つカスタムロール。 最小権限の JSON は次の例のようになります。

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

4. ユーザーが正常に作成されたら、アクセスキー ID とシークレット アクセス キーをメモします。

アクセスキー ID とシークレット アクセスキーを Storage Transfer Service に渡す方法は、転送を開始するために使用するインターフェースによって異なります。

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

アクセス認証情報を Secret Manager に保存する

Secret Manager は、パスワードなどの機密データを保存して管理する安全なサービスです。強力な暗号化、ロールベース アクセス制御、監査ロギングによりシークレットを保護します。

Storage Transfer Service では、Secret Manager を利用して AWS のアクセス認証情報を保護できます。Secret Manager に認証情報を読み込み、シークレット リソース名を Storage Transfer Service に渡します。

API を有効にする

Enable the Secret Manager API.

Enable the API

追加の権限を構成する

ユーザー権限

シークレットを作成するユーザーには、次のロールが必要です。

• Secret Manager 管理者（roles/secretmanager.admin）

ロールを付与する方法を確認する。

サービス エージェントの権限

Storage Transfer Service のサービス エージェントには、次の IAM ロールが必要です。

• Secret Manager のシークレット アクセサー（roles/secretmanager.secretAccessor）

サービス エージェントにロールを付与するには:

シークレットを作成する

Secret Manager でシークレットを作成します。

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

gcloud secrets describe SECRET_NAME

シークレットの作成と管理の詳細については、Secret Manager のドキュメントをご覧ください。

シークレットをジョブ作成コマンドに渡す

Storage Transfer Service で Secret Manager を使用するには、REST API を使用して転送ジョブを作成する必要があります。

Secret Manager リソース名を transferSpec.awsS3DataSource.credentialsSecret フィールドの値として渡します。

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

フェデレーション ID を使用して認証する

フェデレーション ID を使用して AWS を認証するには:

1. AWS で新しい IAM ロールを作成します。

2. 信頼できるエンティティ タイプとして [Custom trust policy] を選択します。

3. 次の信頼ポリシーをコピーして貼り付けます。

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition": {
           "StringEquals": {
             "accounts.google.com:sub": "SUBJECT_ID"
           }
         }
       }
     ]
   }
   

4. SUBJECT_ID は、Storage Transfer Service の使用を開始するときに自動的に作成される、Google 管理のサービス アカウントの subjectID に置き換えます。subjectID を取得するには:

   1. googleServiceAccounts.get リファレンス ページに移動します。

      [Try this method] というインタラクティブ パネルが開きます。

   2. パネルの [Request parameters] にプロジェクト ID を入力します。ここで指定するプロジェクトは、Storage Transfer Service の管理に使用しているプロジェクトである必要があります。

   3. [実行] をクリックします。レスポンスに subjectId が含まれている。

5. 次のいずれかの権限ポリシーをロールに付与します。

   • AmazonS3ReadOnlyAccess。ソースへの読み取り専用アクセスを提供します。これにより転送は可能になりますが、転送完了後にソースでオブジェクトを削除することはできません。
   • AmazonS3FullAccess。転送時にオブジェクトを削除するように構成されている場合に使用します。

   • 上の必要な権限の表にある適切な権限を持つカスタムロール。 最小権限の JSON は次の例のようになります。

     {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::AWS_BUCKET_NAME/*",
                   "arn:aws:s3:::AWS_BUCKET_NAME"
               ]
           }
       ]
     }

6. ロールに名前を割り当てて、ロールを作成します。

7. 作成したら、ロールの詳細を表示して、Amazon リソース名（ARN）を取得します。この値をメモします。形式は arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME です。

ARN を Storage Transfer Service に渡す方法は、転送の開始に使用するインターフェースによって異なります。

{
  "roleArn": "ARN"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

IP の制限

AWS プロジェクトでストレージへのアクセスに IP 制限を使用する場合は、Storage Transfer Service ワーカーで使用される IP 範囲を許可 IP リストに追加する必要があります。

これらの IP 範囲は変更される可能性があるため、永続的なアドレスに現在の値を JSON ファイルとして公開します。

https://www.gstatic.com/storage-transfer-service/ipranges.json

ファイルに新しい範囲が追加された場合、Storage Transfer Service からのリクエストに対してその範囲が使用されるまでに少なくとも 7 日間はかかります。

セキュリティ構成を最新の状態に保つため、少なくとも週に 1 回、このドキュメントからデータを pull することをおすすめします。JSON ファイルから IP 範囲を取得する Python スクリプトの例については、Virtual Private Cloud のドキュメントをご覧ください。

これらの範囲を許可された IP として追加するには、AWS S3 のドキュメントの特定の IP アドレスに基づいてアクセスを管理するで説明されているように、バケット ポリシーで Condition フィールドを使用します。