ファイル/ディレクトリ読み取り処理

オペレーション名

ファイル/ディレクトリ読み取り

機能概要

Microsoft Azure BLOBストレージ上にあるファイルまたはディレクトリを指定して、DataSpider Cloudファイルシステム上の指定したディレクトリに書き込みます。

データモデル

本コンポーネントのデータモデルはXML型です。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
接続先	必須	使用不可	グローバルリソースを選択します。 [追加]: 新規にグローバルリソースを追加します。 [一覧の編集]: 「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
コンテナ名	必須	使用可	コンテナを指定します。	Microsoft Azureで規定しているコンテナ名の命名規則については、「注意事項」を参照してください。ルートコンテナを指定する場合、$rootという名前の新しいコンテナを作成し、選択してください。
仮想ディレクトリ	省略可	使用可	仮想ディレクトリを選択または入力します。	省略した場合はルートディレクトリ「/」となります。
ファイル/ディレクトリ名	必須	使用可	ファイル/ディレクトリ名を選択または入力します。	ワイルドカード(「*」および「?」)が使用できます。大文字小文字を区別します。
ディレクトリも対象にする	省略可	使用不可	[ファイル/ディレクトリ名]に一致したディレクトリも対象にするかどうかを選択します。 [チェックあり]: [ファイル/ディレクトリ名]に一致したファイルとディレクトリを対象にします。 [チェックなし]:(デフォルト) [ファイル/ディレクトリ名]に一致したファイルを対象にします。
ファイル情報のみ取得する	省略可	使用不可	ファイルをローカルにダウンロードせず、ファイル情報のみ取得するかどうかを選択します。 [チェックあり]: ファイルをローカルにダウンロードせず、ファイル情報のみ取得します。 [チェックなし]:(デフォルト) ファイルをローカルにダウンロードします。
ローカルディレクトリ	必須	使用可	DataSpider Cloudファイルシステムのディレクトリパスを入力します。 [参照]ボタンを押下するとディレクトリチューザが起動し、ディレクトリの選択ができます。	ディレクトリパスはDataSpider Cloudファイルシステムの絶対パスで指定してください。パス区切り文字「/」以外のDataSpider Cloudファイルシステムの使用禁止文字は使用できません。 [ファイル情報のみ取得する]にチェックを入れた場合、無効になります。大文字小文字を区別しません。
ファイルが存在する場合は上書きする	省略可	使用不可	指定したローカルディレクトリに同名のファイルが存在した場合に上書きするかどうかを選択します。 [チェックあり]:(デフォルト) 指定したローカルディレクトリに同名のファイルが存在した場合に上書きします。 [チェックなし]: 指定したローカルディレクトリに同名のファイルが存在した場合に上書きせずエラーとします。	[ファイル情報のみ取得する]にチェックを入れた場合、無効になります。

プロパティアクション

項目名	説明	備考
コンテナ名一覧の更新	指定した接続先にあるコンテナ名を取得して、[コンテナ名]に設定します。	[接続先]を変更した場合や、Microsoft Azure BLOBストレージ上でコンテナを変更した場合、本プロパティアクションを使用することでその変更を反映させることができます。 [接続先]が指定されていない場合は無効になります。
仮想ディレクトリ一覧の更新	指定したコンテナにある仮想ディレクトリを取得して、[仮想ディレクトリ]に設定します。	[コンテナ名]を変更した場合や、Microsoft Azure BLOBストレージ上で仮想ディレクトリを変更した場合、本プロパティアクションを使用することでその変更を反映させることができます。 [接続先]または[コンテナ名]が指定されていない場合は無効になります。
ファイル/ディレクトリ名一覧の更新	指定した仮想ディレクトリにあるファイル/ディレクトリ名を取得して、[ファイル/ディレクトリ名]に設定します。	[仮想ディレクトリ]を変更した場合や、Microsoft Azure BLOBストレージ上でファイルを変更した場合、本プロパティアクションを使用することでその変更を反映させることができます。 [ディレクトリも対象にする]にチェックを入れた場合、ディレクトリ名も取得します。 [接続先]、[コンテナ名]または[仮想ディレクトリ]が指定されていない場合は無効になります。

データ処理方式

項目名	必須/省略可	変数の使用	説明	備考
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0"?>
<server>
  <container name="" status="" >
    <file etag="" localpath="" name="" size="" status="" type="" updated="" uri="" />
  </container>
</server>

要素名	属性名	説明	備考
server	-
container	-
	name	取得したファイルのコンテナの名前を出力します。
	status	取得したファイルのコンテナの状態を出力します。 [Exist]:コンテナが存在している状態です。 [ErrorContainerNotFound]:コンテナが存在しない状態です。指定したコンテナ名が誤っている可能性があります。 [Error]:エラーが発生したため、コンテナの存在を確認できなかった状態です。
file	-	取得したファイルごとに出現します。
	etag	取得したファイルのETagを出力します。	指定したコンテナおよびファイルが正常に取得された場合に出力されます。
	localpath	取得したファイルのローカルパスを出力します。	[ファイル情報のみ取得する]にチェックを入れた場合は出力されません。
	name	取得したファイルのAzure BLOBストレージ上の名前を出力します。
	size	取得したファイルのサイズを出力します。単位はバイトです。	指定したコンテナおよびファイルが正常に取得された場合に出力されます。
	status	取得したファイルの状態を出力します。 [Exist]:ファイルが存在している状態です。 [ErrorRemoteFileNotFound]:Microsoft Azure BLOBストレージ上のファイルが存在しない状態です。 [ErrorLocalFileNotFound]:指定した[ローカルディレクトリ]が存在しない、またはファイルを指定した状態です。 [ErrorLocalFileExist]:[ファイルが存在する場合は上書きする]が[チェックなし]で、指定した[ローカルディレクトリ]内に同名ファイルが存在した状態です。 [Error]:エラーが発生したため、ファイルを読み取りできなかった状態です。
	type	取得したファイルの種別を出力します。	指定したコンテナおよびファイルが正常に取得された場合に出力されます。
	updated	取得したファイルの最終更新日時を出力します。	yyyyMMddHHmmss形式で出力されます。例:「20071016131522」は2007年10月16日午後1時15分22秒を示しています。タイムゾーンはDataSpiderServerのタイムゾーンになります。指定したファイルが正常に更新された場合に出力されます。
	uri	取得したファイルのURIを出力します。	指定したコンテナおよびファイルが正常に取得された場合に出力されます。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	取得したファイル数が格納されます。	デフォルト値はnullです。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

以下のファイル名のファイルはダウンロードできません。file要素のstatus属性は「Error」になります。
- パス区切り文字「/」以外のDataSpider Cloudファイルシステムの使用禁止文字を含む場合。
- ファイル名称末尾がパス区切り文字「/」である場合。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
InvalidPropertyConfigurationException ローカルディレクトリが存在しません。	[ローカルディレクトリ]に指定したディレクトリパスが存在しません。	[ローカルディレクトリ]に存在するディレクトリパスを指定してください。
InvalidPropertyConfigurationException ローカルディレクトリに指定されたパスはディレクトリではありません。	[ローカルディレクトリ]に指定したパスがディレクトリではありません。	[ローカルディレクトリ]にはディレクトリパスを指定してください。
InvalidPropertyConfigurationException ローカルディレクトリに書き込むことができません。	[ローカルディレクトリ]に指定したディレクトリへ書き込むことができません。	[ローカルディレクトリ]には書き込み可能なディレクトリパスを指定してください。
com.microsoft.azure.storage.StorageException	以下の原因により、接続できない状態です。 [接続先]で指定したグローバルリソースの[アカウント]または[アクセスキー]に誤りがある。 [接続先]で指定したグローバルリソースの[アカウント]に2バイト文字が含まれる。	[接続先]で指定したグローバルリソースの設定と接続の状況を確認してください。
java.security.InvalidKeyException Storage Key is not a valid base64 encoded string.	[接続先]で指定したグローバルリソースの[アクセスキー]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。

注意事項

Microsoft Azure BLOBストレージと本アダプタとの通信は、HTTPSを使用します。

Microsoft Azureで規定しているコンテナ名の命名規則について
- コンテナ名は、以下の4つの規則にしたがう必要があります。
  1. コンテナ名はアルファベットまたは数字から始まる。またコンテナ名は、アルファベット、数字またはハイフン(-)のみを含むものとする。
  2. ハイフン(-)は、アルファベットまたは数字の直後かつ直前でなければならない。
  3. アルファベットは小文字でなければならない。
  4. コンテナ名の長さは、3文字以上63文字以下でなければならない。
実行時に、接続関連以外のエラー(「主な例外」項に記載のないエラー)を除くエラーが発生した場合、結果データのエラーが発生したファイル/コンテナのfile要素のstatus属性に「Error」を設定して結果データとして出力し、後続の処理を続行します。

容量の大きいファイルの読み取りをマルチスレッドで実行すると、エラーが発生する(該当ファイルのfile要素のstatus属性が「Error」で終了する)ことがあります。
その場合には、スレッドの多重度を下げて実行してください。