DataSpider Cloudファイルシステム

DataSpider Cloudでは、独自のファイルシステム管理を行っています。

DataSpider Cloudファイルシステムのコンセプト

DataSpider Cloudファイルシステムのアーキテクチャ

DataSpider Cloudファイルシステムは以下のようなアーキテクチャになっています。

コンポーネントレイヤ

コンポーネントレイヤは、DataSpider CloudでDataSpider Cloudファイルシステムを使用するすべてのツール、モジュールが含まれます。DataSpider Cloudでシステムを構築する際には、必ずコンポーネントレイヤのツール/モジュールを使用します。
DataSpider Studio、ファイル系アダプタなどが主なコンポーネントとなります。
コンポーネントレイヤのコンポーネントは直接物理システムレイヤにアクセスすることはできず、必ずDataSpider Cloudファイルシステムとやり取りし、実際にデータを処理します。
DataSpider Cloudファイルシステムで使用しているのがどのようなファイルシステム(OSの物理ファイルシステムやデータベース)であれ、コンポーネントレイヤからはまったく意識することなく、透過的に扱うことが可能です。

DataSpider Cloudファイルシステムレイヤ

DataSpider Cloudファイルシステムレイヤでは、上位のコンポーネントレイヤとのアクセスと、下位の物理システムレイヤのコントロールを行います。
DataSpider Cloudファイルシステムには4つの種類があり、それぞれの方法で物理レイヤのアクセス先をコントロールします。

物理レイヤ

実際にデータを格納するレイヤです。
OSのファイルもしくはデータベースまたはその両方となります。どれになるかは上位のDataSpider Cloudファイルシステムの設定により変わります。

DataSpider Cloudファイルシステムの種類

DataSpider Cloudファイルシステムは以下の4つの種類があります。

ファイルシステムの種類 説明 エクスプローラでの[種類]の表記
ローカルファイルシステム ファイルの実データおよびメタデータはOSローカルファイルシステムにそのまま保存されます。 LOCAL
拡張ローカルファイルシステム ファイルのメタ情報がDBのテーブル内に保存され、データはOSローカルファイルシステムに保存されます。 LOCAL|EXTENDED
データベースファイルシステム DBのテーブル内に、ファイルの実データとメタデータを格納します。 なし
Thunderbusファイルシステム ファイルの実データはThunderbus Agentが共有するディレクトリに保存されます。
詳細については、「Thunderbusファイルシステム」を参照してください。		 なし

OSローカルファイルシステム

OSローカルファイルシステムとは、DataSpider Cloudが稼働するOSのファイルシステムを表します。

OSローカルファイルシステムには、以下の2種類があります。

Thunderbusファイルシステム

Thunderbusファイルシステムとは、各Thunderbus Agentが共有するディレクトリをマウントしたDataSpider Cloudファイルシステムを表します。

Thunderbusファイルシステムを使用するには、Thunderbusのグローバルリソースを作成してThunderbus Serverの接続設定を行う必要があります。
グローバルリソースはコントロールパネルの「グローバルリソースの設定」から「アプリケーション」カテゴリ内にある「Thunderbus」を選択して作成してください。
グローバルリソースの設定方法については、「グローバルリソースのプロパティ」を参照してください。

使用方法

DataSpider Cloudファイルシステムの以下パスに、Thunderbus Agentが共有するディレクトリがマウントされます。 例:グローバルリソースの[接続名]が「Server」、エージェントのIDが「Agent」、ファイルエージェント設定の設定名が「directory」の場合 エクスプローラやスクリプトからマウントされたディレクトリに対して読み取り・書き込みなどの操作が可能です。
Thunderbus Agentが共有するディレクトリのマウント方法については、「環境設定」を参照してください。
対象のエージェントの接続状態が接続中でない場合は、<ファイルエージェント設定の設定名>ディレクトリは表示されません。

DataSpider Cloudファイルシステムの文字制約

DataSpider Cloudファイルシステムでは、以下の文字を使用禁止文字としています。 「~」はユーザのホームディレクトリを示すため、制限に加えています。

大文字小文字の区別について

DataSpider Cloudファイルシステム上での大文字小文字の区別に関する現状の動作は以下の通りです。

項目 ファイルシステムの種類 動作 主な設定
/etc、/home、/share下に保存される設定名およびファイル名・ディレクトリ名 拡張ローカルファイルシステム 大文字小文字を区別します。
  • プロジェクト名
  • サービス名
  • グローバルリソース名
  • グローバルスキーマ名
  • トリガー名
  • 休日設定カレンダー名
  • アプリケーションログ出力先設定名
  • ユーザ名・グループ名
/etc、/home、/share以外に保存されるファイル名・ディレクトリ名 ローカルファイルシステム・拡張ローカルファイルシステム 大文字小文字を区別します。 -
設定ファイル内に保存される名前 - 大文字小文字を区別します。
  • スクリプト名
  • フォルダ名
  • スクリプト変数名
  • 環境変数名
  • 各種アイコン名
  • ログ検索条件名

プロジェクトのダウンロード・アップロードなどを行う場合、障害が発生する可能性があるため、大文字小文字を区別しないようにアプリケーションを開発されることを推奨します。
バージョンにより、動作が変わる可能性があります。

仕様制限

DataSpider Cloudファイルシステム全般

Thunderbusファイルシステム

セキュリティについて

「/thunderbus」より下にマウントされるすべてのファイル/ディレクトリのセキュリティは、以下の値が使用されます。 エクスプローラ上でファイル/ディレクトリのセキュリティを変更することはできません。
グローバルリソースを参照できる権限が無い場合、以下のディレクトリは表示されません。

ディレクトリに対する操作について

以下のディレクトリの名前変更、移動または削除はできません。

ファイルまたはディレクトリの作成について

以下のディレクトリにファイルまたはディレクトリを作成することはできません。

その他の仕様制限