CSVファイル読み取り処理

オペレーション名

CSVファイル読み取り

機能概要

CSV(Comma Separated Values)形式、TSV(Tab Separated Values)形式などの形式のファイルを読み取ります。

データモデル

本コンポーネントのデータモデルはテーブルモデル型です。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
ファイル	必須	使用可	CSV形式、またはTSV形式のファイルパスを入力します。 [参照]ボタンを押下するとファイルチューザが起動し、ファイルの選択ができます。	ファイルパスはDataSpider Cloudファイルシステムの絶対パスで指定してください。パス区切り文字「/」以外のDataSpider Cloudファイルシステムの使用禁止文字は使用できません。
デリミタモード	必須	使用不可	デリミタの指定方法を選択します。 [一覧から選択]:(デフォルト) 一覧からデリミタ文字を選択します。 [直接入力]: フィールドに直接デリミタ文字を入力します。 [文字コード入力]: フィールドに文字コードでデリミタ文字を入力します。	選択した指定方法により、対応した入力フィールドに切り替わります。
一覧から選択/デリミタ文字	省略可	使用不可	デリミタ文字を選択します。 [半角カンマ]:(デフォルト) 半角カンマ(,)を指定します。 [タブ]: タブを指定します。 [半角スペース]: 半角スペース( )を指定します。 [半角セミコロン]: 半角セミコロン(;)を指定します。 [半角スラッシュ]: 半角スラッシュ(/)を指定します。 [半角バーティカルバー]: 半角バーティカルバー(\|)を指定します。	[デリミタモード]に[一覧から選択]を選択した場合、有効になります。
直接入力/デリミタ文字	省略可	使用可	デリミタ文字を1文字入力します。	[デリミタモード]に[直接入力]を選択した場合、有効になります。ダブルクォーテーションをデリミタ文字に指定することはできません。
文字コード入力/デリミタ文字	省略可	使用可	文字コードを入力します。入力した文字コードは[エンコード]で指定したエンコードで変換されます。 8進(接頭辞「0」<数字のゼロ>)、10進(接頭辞なし)、16進(接頭辞「0x」<数字のゼロとアルファベットのエックス>もしくは「#」)による入力が可能です。パディングが複数のバイト列になる場合には、カンマで区切って入力します。例:0x10,0x13	[デリミタモード]に[文字コード入力]を選択した場合、有効になります。 1文字に変換される文字コードを入力できます。改行コード、ダブルクォーテーションに変換される文字コードを指定することはできません。
列一覧	省略可	-	列を指定します。各列は以下のボタンで操作することができます。 [追加]: 列を追加します。 [上へ]: 選択している列の順序を一つ上に上げます。 [下へ]: 選択している列の順序を一つ下に下げます。 [削除]: 列を削除します。	[列一覧]で設定した列数分だけデータを読み取ります。 [列一覧]で設定した列名がMapperのスキーマに表示されます。
列一覧/列名	必須	使用可	列名を入力します。 [列一覧の更新]プロパティアクションで[ファイル]で指定したファイルの1行目を列名として設定できます。

プロパティアクション

項目名	説明	備考
プレビュー	プレビューアを起動して、[ファイル]で指定したファイルの内容を表示します。	指定したファイルが存在しない場合、または[ファイル]に変数が設定されている場合は無効になります。 [エンコード]で指定したエンコードで表示されます。ファイル内容の編集はできません。プレビューアで表示できるファイルのサイズは最大1MBです。ファイルサイズが1MBを超える場合、ファイルの先頭から1MB分が表示されます。
列一覧の更新	[ファイル]で指定したファイルの[読み取り開始行]で指定した行を列名として設定します。	指定したファイルが存在しない場合、または以下のプロパティに変数が設定されている場合は無効になります。 [ファイル] [読み取り開始行]
ファイルの一行目から列名を読み取り	ファイルチューザでファイルを選択して、そのファイルの1行目を列名として設定します。
ファイルから列数を読み取り	ファイルチューザでファイルを選択して、そのファイルの列数を列名の列数として設定します。

読み取り設定

項目名	必須/省略可	変数の使用	説明	備考
エンコード	必須	使用可	読み取るファイルのエンコードを選択または入力します。入力する場合は、Java SE Runtime Environment 8でサポートされているエンコードを指定します。詳細については、「Supported Encodings」(http://docs.oracle.com/javase/8/docs/technotes/guides/intl/encoding.doc.html)を参照してください。	デフォルト値については、「デフォルトで選択されるエンコード」を参照してください。
読み取り開始行	省略可	使用可	読み取り開始行を入力します。	デフォルト値は「1」で、省略した場合は「1」が設定されます。 [最初の行は値として取得しない]にチェックを入れると、[読み取り開始行]の次の行から読み取ります。
最初の行は値として取得しない	省略可	使用不可	指定したファイルの読み取り開始行をデータとして扱うかどうかを選択します。 [チェックあり]: データとして扱いません。 [チェックなし]:(デフォルト) データとして扱います。

並列処理設定

項目名	必須/省略可	変数の使用	説明	備考
並列処理設定を有効にする	省略可	使用不可	結果データを受け取るコンポーネントが並列処理をサポートする場合、並列処理を行うかどうかを指定します。 [チェックあり]: 結果データを受け取るコンポーネントが並列処理をサポートする場合、並列処理を行います。 [チェックなし]:(デフォルト) 並列処理を行いません。	並列処理の詳細については、「並列処理」を参照してください。チェックを入れた際に、結果データを受け取るコンポーネントが並列処理をサポートしない場合、並列処理は行いません。チェックを入れた際に、大容量データ処理が有効で、結果データを受け取るコンポーネントが並列処理をサポートする場合、並列処理が優先され、大容量データ処理は行われません。

データ処理方式

項目名	必須/省略可	変数の使用	説明	備考
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

[列一覧]の設定により、カラム数が異なります。

スキーマ構造については、「テーブルモデル型のスキーマ」を参照してください。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

PSPでの使用について

PSPで使用できます。

PSPについては、「パラレルストリーミング処理」を参照してください。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	読み取ったデータの件数が格納されます。	デフォルト値はnullです。 PSPでは値が格納されません。
filePath	読み取り元のファイルのパスが格納されます。	デフォルト値はnullです。 PSPでは値が格納されません。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Cloudのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

nullと空文字について

読み取り対象のデータが空文字の場合、読み取ったデータはnullとなります。

仕様制限

CSVアダプタは以下の規則に基づいて処理します。
1. データとデータの間は指定したデリミタ文字で区切られます。
2. データにデリミタ文字、「"」(ダブルクォーテーション)、改行を含む場合はデータの最初と最後に「"」を記述する必要があります。
  「"」を含む場合は「""」のように2つ続けて記述します。
例:デリミタ文字が「,」(半角カンマ)の場合

データの値表記

1,000円 "1,000円"

AB(改行)CD "AB(改行)CD"

He says "I'm fine" "He says ""I'm fine"""

読み取るファイルの1カラムのデータサイズが大きい場合、OutOfMemoryErrorが発生する場合があります。
その場合、1カラムのデータサイズを小さくするようにするか、メモリ領域を大きくする必要があります。サーバのヒープサイズを変更する場合、メモリ容量の拡大が必要になるため別途お問い合わせください。

データの値	表記
1,000円	"1,000円"
AB(改行)CD	"AB(改行)CD"
He says "I'm fine"	"He says ""I'm fine"""

主な例外

例外名	原因	対策
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
InvalidPropertyConfigurationException 不正なデリミタ文字が指定されています。	[デリミタ文字]に不正な文字が入力されています。	[デリミタ文字]に正しい文字を入力してください。
FileIsDirectoryException	[ファイル]に入力されたパスがディレクトリです。	[ファイル]にはファイルパスを入力してください。
java.io.FileNotFoundException	[ファイル]に指定されたファイルが存在しません。	[ファイル]を確認してください。
java.io.UnsupportedEncodingException	[エンコード]にサポートされていないエンコードが指定されています。	Java SE Runtime Environment 8でサポートされているエンコードを指定してください。詳細については、「Supported Encodings」(http://docs.oracle.com/javase/8/docs/technotes/guides/intl/encoding.doc.html)を参照してください。