ファイル/ディレクトリ一覧取得処理

オペレーション名

ファイル/ディレクトリ一覧取得

機能概要

HDFS(Hadoop Distributed File System)のディレクトリからファイル/ディレクトリの一覧を取得します。

データモデル

本コンポーネントのデータモデルはXML型です。

プロパティ

変数の使用については、「変数」を参照してください。
基本設定
項目名 必須/省略可 変数の使用 説明 備考
名前 必須 使用不可 スクリプトキャンバス上での名前を入力します。  
必須設定
項目名 必須/省略可 変数の使用 説明 備考
接続先 必須 使用不可 グローバルリソースを選択します。
グローバルリソースの設定方法については、「グローバルリソースのプロパティ」を参照してください。
  • [追加]:
    新規にグローバルリソースを追加します。
  • [一覧の編集]:
    「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
 
HDFSパス 必須 使用可 HDFSファイル/ディレクトリのパスを入力します。
  • 以下の文字を使用することはできません。
    • 「 」(半角スペース)「<」「>」「"」「^」「[」「]」「{」「}」「%」「|」「`」「:」「;」
  • マルチバイト文字を使用することはできません。
一覧取得処理設定
項目名 必須/省略可 変数の使用 説明 備考
取得オプション 省略不可 使用不可 結果にファイル/ディレクトリを含むかどうかを指定します。
  • [ファイル/ディレクトリ両方]:(デフォルト)
    ファイルとディレクトリの両方を取得します。
  • [ファイルのみ]:
    ファイルのみを取得します。
  • [ディレクトリのみ]:
    ディレクトリのみを取得します。
 
コメント
項目名 必須/省略可 変数の使用 説明 備考
コメント 省略可 使用不可 このアダプタの簡単な説明を記述することができます。
説明を記述すると、仕様書に反映させることができます。
 

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0" encoding="UTF-8"?>
<hdfs>
  <file name="" url="" owner="" size="" isDirectory="" updated="" />
</hdfs>
要素名 属性名 説明 補足
hdfs -    
file - ファイル/ディレクトリを表します。  
name ファイル/ディレクトリ名を表します。  
url ファイルを指すWebHDFSのURLを表します。  
owner ファイル/ディレクトリのオーナーを表します。  
size ファイルのサイズを表します  
isDirectory ファイルかディレクトリかを表します。
  • ディレクトリの場合「true」になります。
updated ファイル/ディレクトリの最終更新日時を表します。
  • システムプロパティ内の「xmlfw.daterenderingformat」で設定されたフォーマットで出力されます。設定されていない場合には、デフォルトの形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。
    例:2007-10-16T13:15:22.738+0900

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。
詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応していません。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名 説明 備考
count 読み取ったデータの件数が格納されます。
  • デフォルト値はnullです。
directoryPath 一覧を取得するHDFS上のディレクトリのパスが格納されます。
  • デフォルト値はnullです。
message_category エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。
  • デフォルト値はnullです。
message_code エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。
  • デフォルト値はnullです。
message_level エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。
  • デフォルト値はnullです。
error_type エラー発生時、発生したエラーの種類が格納されます。
  • デフォルト値はnullです。
  • エラーの種類は、以下のような形式となります。
    例:「java.io.FileNotFoundException」
  • DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_message エラー発生時、発生したエラーのメッセージが格納されます。
  • デフォルト値はnullです。
  • DataSpider Cloudのバージョンにより、格納される内容が変わる可能性があります。
error_trace エラー発生時、発生したエラーのトレース情報が格納されます。
  • デフォルト値はnullです。
  • DataSpider Cloudのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

主な例外

例外名 原因 対策
ResourceNotFoundException
リソース定義が見つかりませんでした。名前:[]
[接続先]が指定されていません。 [接続先]を指定してください。
ResourceNotFoundException
リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]
[接続先]で選択されたリソース定義が見つかりません。 [接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException
<プロパティ名>が指定されていません。
[<プロパティ名>]が指定されていません。 [<プロパティ名>]を指定してください。
java.io.FileNotFoundException [HDFSパス]に指定されたファイルが存在しません。 [HDFSパス]を確認してください。