データ書き込み処理

オペレーション名

データ書き込み

機能概要

Amazon S3上にファイル/フォルダを書き込みます。

データモデル

本コンポーネントのデータモデルは入力データがテーブルモデル型、出力データがXML型です。

入出力のスキーマについては、「スキーマ」を参照してください。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。
入力データ	必須	使用不可	スクリプトキャンバス上にあるコンポーネントを選択します。

必須設定

項目名	必須/省略可	変数の使用	説明
接続先	必須	使用不可	グローバルリソースを選択します。 [追加]: 新規にグローバルリソースを追加します。 [一覧の編集]: 「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
Bucketが存在しない場合は作成する	省略可	使用不可	指定したBucketが存在しない場合に作成するかどうかを選択します。 [チェックあり]: 指定したBucketが存在しない場合にBucketを作成します。 [チェックなし]:(デフォルト) 指定したBucketが存在しない場合にBucketを作成せずエラーとします。
アクセス権の情報を結果に含める	省略可	使用不可	ファイルのアクセス権の情報を結果に含めるかどうかを選択します。 [チェックあり]: ファイルのアクセス権の情報を結果に含めます。 [チェックなし]:(デフォルト) ファイルのアクセス権の情報を結果に含めません。

暗号化設定

項目名	必須/省略可	変数の使用	説明	備考
暗号化	必須	使用不可	ファイルを暗号化するかどうかを選択します。 [なし]:(デフォルト) 暗号化しません。 [サーバ側] アップロード後に、Amazon S3にて暗号化します。 [クライアント側] 暗号化した上でAmazon S3へ書き込みを行います。
公開鍵	必須	使用可	暗号化するための公開鍵のファイルパスを入力します。 [参照]ボタンを押下するとファイルチューザが起動し、ファイルの選択ができます。	[暗号化]に[クライアント側]を選択した場合、有効になります。 [公開鍵]は、暗号アルゴリズムのRSA方式で作成された鍵である必要があります。ファイルパスはDataSpider Cloudファイルシステムの絶対パスで指定してください。パス区切り文字「/」以外のDataSpider Cloudファイルシステムの使用禁止文字は使用できません。

データ処理方式

項目名	必須/省略可	変数の使用	説明	備考
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。	本設定は、結果データの出力処理方式に関する設定になります。そのため、書き込むファイル/フォルダには影響しません。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

<?xml version="1.0"?>
<table>
  <row>
    <column>bucketname</column>
    <column>public</column>
    <column>remotepath</column>
    <column>storageclass</column>
    <column>type</column>
    <column>data</column>
    <column>contenttype</column>
  </row>
  <row>
    :
  </row>
</table>

列名	説明	備考
bucketname	書き込むファイル/フォルダのBucketの名前を入力します。
public	書き込むファイル/フォルダのアクセス権を入力します。 true:公開 false:非公開	「公開」を設定した場合、「AllUsers Group」に「READ」権限が付与されます。省略した場合には「非公開」として扱います。
remotepath	書き込むファイル/フォルダのAmazon S3上のパスを入力します。	パス区切り文字は「/」(半角スラッシュ)です。パスは「/」から始まる文字列を指定します。フォルダであってもパスの末尾に「/」は指定しません。ルートフォルダ(「/」)の書き込みはできません。
storageclass	書き込むファイル/フォルダのStorage Classを入力します。 STANDARD:Standard REDUCED_REDUNDANCY:RRS(Reduced Redundancy Storage) STANDARD_IA:Standard_IA	省略した場合には「Standard」として扱います。
type	書き込むファイル/フォルダの種別を入力します。 File:ファイル Folder:フォルダ
data	書き込むファイルの内容をBase64形式またはバイナリ形式で入力します。	ファイルで省略した場合には空のファイルとして書き込みます。フォルダの場合には値を入力しても無視します。
contenttype	書き込むファイル/フォルダのAmazon S3上で設定するContent-Typeを入力します。	ファイルで省略した場合には書き込むファイル名から判断されたContent-Typeを設定します。フォルダで省略した場合には設定しません。通常はapplication/octet-streamになります。

ファイル/フォルダ単位で1つのrowを入力します。

出力スキーマ

<?xml version="1.0"?>
<server>
  <bucket name="" status="" >
    <file etag="" name="" public="" remotepath="" size="" status="" storageclass="" type="" updated="" />
  </bucket>
</server>

要素名	属性名	説明	備考
server	-
bucket	-	書き込んだファイル/フォルダのBucketごとに出現します。
	name	書き込んだファイル/フォルダのBucketの名前を出力します。	入力データで指定されたbucketnameの値です。
	status	取得したBucketの状態を出力します。 Exist:Bucketが存在している状態です。 ErrorBucketNotFound:入力データで指定されたbucketnameがAmazon S3上に存在しない状態です。 Error:エラーが発生したため、Bucketを作成できなかった状態です。
file	-	書き込みを行ったファイル/フォルダごとに出力します。
	etag	書き込みを行ったファイル/フォルダのETagを出力します。	ファイル/フォルダが正常に書き込まれなかった場合は値が空白になります。
	name	書き込みを行ったファイル/フォルダの名前を出力します。	入力データで指定されたremotepathの値から生成された値です。
	public	取得したファイル/フォルダのアクセス権を出力します。 true:公開 false:非公開	ファイル/フォルダが正常に書き込まれなかった場合は値が空白になります。「AllUsers Group」に「READ」権限が付与されている場合に、「公開」としています。 [アクセス権の情報を結果に含める]が[チェックなし]の場合は値が空白になります。
	remotepath	書き込みを行ったファイル/フォルダのAmazon S3上のファイルパスを出力します。	入力データで指定されたremotepathの値です。
	size	書き込みを行ったファイル/フォルダのサイズを出力します。単位はバイトです。	ファイル/フォルダが正常に書き込まれた場合に出力されます。フォルダの場合は常に「0」が出力されます。
	status	書き込みを行ったファイル/フォルダの状態を出力します。 Exist:ファイル/フォルダが存在している状態です。 ErrorClientEncryption:指定した[公開鍵]に誤りがあるため、書き込みができなかった状態です。 Error:エラーが発生したため、ファイル/フォルダの書き込みができなかった状態です。
	storageclass	取得したファイル/フォルダのStorage Classを出力します。 STANDARD:Standard REDUCED_REDUNDANCY:RRS(Reduced Redundancy Storage) STANDARD_IA:Standard_IA	ファイル/フォルダが正常に書き込まれなかった場合は値が空白になります。
	type	書き込みを行ったファイル/フォルダの種別を出力します。 File:ファイル Folder:フォルダ
	updated	書き込みを行ったファイル/フォルダの最終更新日時を出力します。	ファイル/フォルダが正常に書き込まれなかった場合は値が空白になります。形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。例:2007-10-16T13:15:22.738+0900 タイムゾーンはDataSpiderServerのタイムゾーンになります。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

トランザクション

トランザクションはサポートしていません。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	書き込んだフォルダおよびファイルの数が格納されます。	デフォルト値はnullです。「folder_count」と「file_count」の合計です。
folder_count	書き込んだフォルダの数が格納されます。	デフォルト値はnullです。
file_count	書き込んだファイルの数が格納されます。	デフォルト値はnullです。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

ありません。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
IllegalArgumentException 入力データが正しくありません: <メッセージ> <メッセージ>には以下のいずれかのメッセージが入ります。 Bucket名が指定されていません。リモートパス名が指定されていません。ファイル/フォルダの種別が指定されていません。ファイル/フォルダの種別<値>は不正です。 Storage Class<値>は不正です。	入力データの内容が正しくありません。	入力データの内容を確認してください。スキーマを参照ください。
InvalidPropertyConfigurationException 公開鍵が設定されていません。	[公開鍵]が指定されていません。	[公開鍵]を指定するか、[暗号化]に[クライアント側]の値を指定してください。
InvalidPropertyConfigurationException 指定された公開鍵は存在しません。	[公開鍵]で指定したファイルパスが存在しません。	[公開鍵]には、存在するファイルパスを指定してください。
InvalidPropertyConfigurationException 指定された公開鍵はディレクトリです。	[公開鍵]がディレクトリパスになっています。	[公開鍵]には、ファイルパスを指定してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: InvalidAccessKeyId, AWS Error Message: The AWS Access Key Id you provided does not exist in our records., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Access Key ID]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: SignatureDoesNotMatch, AWS Error Message: The request signature we calculated does not match the signature you provided. Check your key and signing method., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Secret Access Key]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
com.amazonaws.SdkClientException Unable to execute HTTP request: <endpoint>	[接続先]で指定したグローバルリソースの[Endpoint]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。

注意事項

Amazon S3と本アダプタとの通信は、HTTPSを使用します。

Bucketの存在するRegionとendpointの設定が異なる場合、Bucketおよびファイル/フォルダの状態の伝播に時間がかかることがあるため、最新のBucketおよびファイル/フォルダの状態を取得できず、オペレーションの実行に失敗する場合があります。

本オペレーションで新規作成したBucketのRegionは、endpointの設定によって以下のように変わります。

[Endpoint]の設定	BuchetのRegion	備考
未設定	US Standard
s3.amazonaws.com	US Standard
s3-us-west-1.amazonaws.com	US-West (Northern California)
s3-ap-southeast-1.amazonaws.com	Asia Pacific (Singapore)

実行時に、接続関連以外のエラー(「主な例外」項に記載のないエラー)が発生した場合、エラーが発生したファイル/フォルダのfile要素のstatus属性に「Error」を設定して結果データとして出力し、後続の処理を続行します。

Bucket名は、以下の規則にしたがう必要があります。
1. アルファベットまたは数字から始まり、アルファベット、数字、ピリオド(.)、ハイフン(-)のみを含むものとする。
2. IPアドレスの形式(例:192.168.5.4)であってはならない。
3. アンダースコア(_)を含んではならない。
4. アルファベットは小文字でなければならない。
5. 長さが3文字以上63文字以下でなければならない。
6. 末尾がハイフン(-)であってはならない。
7. 連続するピリオド(..)を含んではならない。
8. 隣り合ったピリオドとハイフン(「-.」または「.-」)を含んではならない。

Amazon S3の仕様により、書き込まれるファイルのファイルパス(file要素のremotepath属性)の長さ(日本語が含まれる場合はUTF-8に変換したあとのバイト数)が1025を超える場合には、ファイルの書き込みを行うことはできません。