可変長ファイル読み取り処理

オペレーション名

可変長ファイル読み取り

機能概要

可変長ファイルを読み取ります。

データモデル

本コンポーネントのデータモデルはテーブルモデル型です。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
ファイル	必須	使用可	読み取りを行う可変長ファイルパスを入力します。 [参照]ボタンを押下するとファイルチューザが起動し、ファイルの選択ができます。	ファイルパスはDataSpider Cloudファイルシステムの絶対パスで指定してください。パス区切り文字「/」以外のDataSpider Cloudファイルシステムの使用禁止文字は使用できません。
デリミタモード	必須	使用不可	デリミタの指定方法を選択します。 [一覧から選択]:(デフォルト) 一覧からデリミタ文字を選択します。 [直接入力]: フィールドに直接デリミタ文字を入力します。 [文字コード入力]: フィールドに文字コードでデリミタ文字を入力します。	選択した指定方法により、対応した入力フィールド([デリミタ文字リスト]/[デリミタ文字])に切り替わります。
デリミタ文字リスト	省略可	使用不可	デリミタ文字を選択します。 [半角スペース]:(デフォルト) [タブ]: [半角カンマ]: [半角セミコロン]: [半角スラッシュ]: [改行]:	[デリミタモード]に[一覧から選択]を選択した場合、有効になります。
デリミタ文字	省略可	使用可	デリミタ文字を入力します。 [直接入力]の場合キーボードから直接入力します。 [文字コード入力]の場合 [エンコード]で指定したエンコーディングによるバイト列を入力します。 8進(接頭辞「0」<数字のゼロ>)、10進(接頭辞なし)、16進(接頭辞「0x」<数字のゼロとアルファベットのエックス>もしくは「#」)による入力が可能です。パディングが複数のバイト列になる場合には、カンマで区切って入力します。例:0x10,0x13	[デリミタモード]に[直接入力]または[文字コード入力]を選択した場合、有効になります。
ダブルクォートエスケープ	必須	使用不可	ダブルクォートエスケープを行うかどうかを選択します。 [無効]:(デフォルト) ダブルクォートエスケープを行いません。単純なデリミタ区切りです。フィールドの値としてデリミタを持つことはできません。 [有効]: ダブルクォートエスケープを行います。フィールド値にデリミタ、もしくはダブルクォーテーションが含まれている場合、フィールド値をダブルクォーテーションで囲みます。フィールド値としてダブルクォーテーションが含まれる場合、ダブルクォーテーション1文字をダブルクォーテーション2文字で表現します。	フィールドの両端にダブルクォートがあり、そのフィールド内にエスケープしたいデリミタもしくはダブルクォーテーションがない場合はエラーになります。
フォーマット	必須	使用不可	グローバルリソースに登録されている可変長ファイルフォーマット定義を選択します。設定方法については、「可変長ウィザード」を参照してください。 [追加]: 新規にグローバルリソースを追加します。 [編集]: 「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。

プロパティアクション

項目名	説明	備考
プレビュー	プレビューアを起動して、[ファイル]で指定したファイルの内容を表示します。	指定したファイルが存在しない場合、または[ファイル]に変数が設定されている場合は無効になります。 [エンコード]で指定したエンコードで表示されます。ファイル内容の編集はできません。プレビューアで表示できるファイルのサイズは最大1MBです。ファイルサイズが1MBを超える場合、ファイルの先頭から1MB分が表示されます。

読み取り設定

項目名	必須/省略可	変数の使用	説明	備考
エンコード	必須	使用可	読み取るファイルのエンコードを選択または入力します。入力する場合は、Java SE Runtime Environment 8でサポートされているエンコードを指定します。詳細については、「Supported Encodings」(http://docs.oracle.com/javase/8/docs/technotes/guides/intl/encoding.doc.html)を参照してください。	デフォルト値については、「デフォルトで選択されるエンコード」を参照してください。
改行コード	必須	使用不可	改行コードを選択します。 [AUTO]:(デフォルト) 処理系依存 [CR]: 主にMac OS(バージョン9まで) [LF]: 主にUNIX/Linux [CR+LF]: 主にMicrosoft Windows
空文字のフィールドを空文字として取得	省略可	使用不可	フィールドのデータが空文字の場合、空文字とnullどちらを取得するかを選択します。 [チェックあり]: 空文字として取得します。 [チェックなし]:(デフォルト) nullとして取得します。

データ処理方式

項目名	必須/省略可	変数の使用	説明	備考
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

[フォーマット]の設定により、カラム数が異なります。

スキーマ構造については、「テーブルモデル型のスキーマ」を参照してください。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

PSPでの使用について

PSPで使用できます。

PSPについては、「パラレルストリーミング処理」を参照してください。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	読み取ったデータの件数が格納されます。	デフォルト値はnullです。 PSPでは値が格納されません。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

nullと空文字について

フィールドのデータが空文字の場合、取得したデータはnullもしくは空文字となります。
nullと空文字どちらを取得するかは、[空文字のフィールドを空文字として取得]での選択に依存します。

入力データに構造定義で定義されたレコードが存在しない場合、そのレコードに含まれる各フィールドのデータはnullとなります。

仕様制限

命名規則について
- 同じ親要素を持つ要素同士で同じ名前のもの存在する場合、正常に読み取ることはできません。
  具体的には以下の要素同士が該当します。
  - グループ
  - 構造定義アイコン直下のレコード
  - 同一グループ内のレコード
  - 同一レコード内のフィールド
- フィールド・レコード・グループの名前は省略できません。
グループ・レコードの出現回数について
- グループの[出現回数]が[無制限]の場合、そのグループに対応する入力データが出現した際、次のグループを使用した入力データの解析を最初に行い、適用可能かどうか調べます。適用可能であれば、次のグループが適用されます。適用不可能であれば、そのグループを使用した解析に移ります。
- レコードの[出現回数]が[無制限]の場合、そのレコードに対応する入力データが出現した際、そのレコードを使用した入力データの解析を最初に行い、適用可能かどうか調べます。適用可能であれば、そのレコードを使用した解析を行い続けます。適用不可能であれば、次のレコードを使用した解析に移ります。
- レコード・グループの[出現回数]を[無制限]に設定すると、実際にはJavaのInteger.MAX_VALUEの値(2147483647)が上限になっています。
- グループの[出現回数]が[省略可]の場合、実際のグループの出現回数が指定した出現回数に満たなくてもエラーにはなりません。
- レコードの[出現回数]が[省略可]の場合、実際のレコードの出現回数が指定した出現回数に満たなくてもエラーにはなりません。
日付型のフィールドについて
- 日付に現れる曜日などの文字列は、デフォルトのロケールに依存したものになります。デフォルトのロケールでは読み取れない日付を扱う場合は、文字列として読み取るようにしてください。
大容量データ処理について
- 読み込んだデータはグループ単位で出力されます。したがって、グループ内のレコードのデータが大容量の場合、OutOfMemoryErrorが発生する場合があります。
その他
- 外字は扱えません。
- [列一覧]にあるフィールドを[構造定義]で削除した場合、[列一覧]にはフィールドは残ったままになります。
- [構造定義]でグループを選択して[列一覧]にフィールドを追加した場合、フィールドの順序は保証されません。
- タグ、改行コードがない出現回数不特定なデータは、構造解析を切り替える基準が判定できないため正確な解析はできません。
- 実行ログに出力される「トランザクション」とは、グループの構造をまとめるために暗黙的に定義されたものであり、出現回数は無制限となります。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[フォーマット]が指定されていません。	[フォーマット]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[フォーマット]で選択されたリソース定義が見つかりません。	[フォーマット]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
FileIsDirectoryException	[ファイル]に入力されたパスがディレクトリです。	[ファイル]にはファイルパスを入力してください。
StructuredTextParseException 指定されたフォーマットでファイルを読めませんでした。	[ファイル]に指定されたファイルを[フォーマット]で読み取れません。	[ファイル]または[フォーマット]を確認してください。
java.io.FileNotFoundException	[ファイル]に指定されたファイルが存在しません。	[ファイル]を確認してください。
java.io.UnsupportedEncodingException	[エンコード]にサポートされていないエンコードが指定されています。	Java SE Runtime Environment 8でサポートされているエンコードを指定してください。詳細については、「Supported Encodings」(http://docs.oracle.com/javase/8/docs/technotes/guides/intl/encoding.doc.html)を参照してください。