DataSpider Cloud概要

本ページでは、DataSpider Cloudの概要について説明します。

DataSpider Cloudとは

DataSpider Cloudは、種類の異なるシステムやアプリケーション間でデータのやり取りを行う際に、通常はプログラム開発、もしくは手作業でデータの移行や入力作業を行う処理を、GUIベースで作成することができるデータ連携サービスです。
多種多様なデータソースとの連携をオペレーションという処理単位で表し、それらをフローでつなぐことにより全体の処理をグラフィカルに記述します。一連の処理の流れをサービスとして公開し、トリガーなどのツールから実行することができます。
また、データ連携だけではなく、ユーザやグループなどの開発支援機能や、ログ出力や各種トリガーなど、運用に関する機能も提供しています。

DataSpider Cloudの構成

DataSpider Cloudは、以下のアプリケーションから構成されています。

名前	説明
DataSpider Studio	GUIベースでサービスの設計・開発・運用を行う統合開発環境です。
DataSpiderServer	サービスの実行環境です。

DataSpider Studio

DataSpider Studio(以下、Studio)は、GUIベースでサービスの設計・開発・運用を行う統合開発環境です。「クライアント」と呼ばれることもあります。

Studioは、以下のツールで構成されています。

名前	説明
デザイナ	サービスを構成する一連の処理(「スクリプト」)をGUIで作成するツールです。一つ一つの処理はオペレーションとしてアイコンで表現され、アイコンをドラッグ&ドロップの操作で配置・移動し、アイコンとアイコンをフローでつなぎ合わせるというGUI操作でスクリプトを作成します。作成したスクリプトは、DataSpiderServerに登録することでトリガーや外部プログラムから実行可能なサービスとなります。
マイプロジェクト	プロジェクトを管理するツールです。 DataSpider Cloudでは、プロジェクトはユーザごとに管理されています。マイプロジェクトには自分が閲覧できるプロジェクトの一覧が表示されます。マイプロジェクトからプロジェクトの新規作成や複製も行うことができます。
マイトリガー	トリガーを管理するツールです。マイトリガーには自分が閲覧できるトリガーの一覧が表示されます。マイトリガーからトリガーの新規設定や設定変更を行うことができます。
マイログ	ログの検索条件の登録や、検索条件の実行、ログの参照を行うツールです。ログの検索条件はユーザごとに管理されています。マイログには自分が登録したログの検索条件が表示されます。マイログでは、運用時などに定期的に実行したい検索条件を登録します。たとえば毎朝昨日発生した異常終了をチェックするという運用を行っている場合には、「昨日発生した異常終了」という検索条件を登録しておき、毎朝マイログから登録した検索条件を実行するだけでチェックが簡単にできます。
エクスプローラ	DataSpider Cloudファイルシステムを操作するツールです。エクスプローラから、ファイルやディレクトリの作成、削除、設定変更などを行うことができます。また、ファイル内容の編集も行うことができます。
コントロールパネル	DataSpider Cloudの各種管理、状態表示を行うツール群です。コントロールパネルには、環境変数やユーザアカウントなどの管理を行うツールや、DataSpiderServerのリソース使用量などを参照できるツールがあります。

DataSpiderServer

DataSpiderServerは、デザイナで作成・登録したサービスを実行する環境です。DataSpiderServerは単に「サーバ」と呼ばれることもあります。
サービスは、トリガーによって起動・実行されます。
DataSpiderServerは、トリガーを実行する機構や、ファイルなどのリソースに対するアクセス制限を行うセキュリティ機構、仮想ファイルシステム機構(DataSpider Cloudファイルシステム)も持っています。

詳細については、「DataSpiderServerアーキテクチャ」を参照してください。

DataSpider Cloudファイルシステムのディレクトリの構成

エクスプローラで参照できるディレクトリの構成は、以下の通りです。

連携処理で使用するファイルやディレクトリは、dataディレクトリ以下に配置してください。他のディレクトリはシステム領域のため、予期せぬ動作となる可能性があります。

ディレクトリパス		ファイル操作	説明
data	-	推奨	ユーザが任意のファイルやディレクトリを配置するディレクトリです。
	pages	推奨	HTTPトリガーで使用するJSPファイルを配置するディレクトリです。
	webdav	推奨	WebDavサーバとして公開可能なディレクトリです。WebDavの設定はDataSpider Cloudのフロント画面より行います。
etc		非推奨	システムの各種設定ファイルが配置されています。
ftp		非推奨	システムの各種設定ファイルが配置されています。 DataSpider CloudはFTPサーバの機能は有していません。
home		非推奨	システムの各種設定ファイルが配置されています。
logs		非推奨	ログ出力用のディレクトリです。
samples		非推奨	使用していません。
schema		非推奨	使用していません。
share		非推奨	システムの各種設定ファイルが配置されています。
testreport		非推奨	使用していません。
thunderbus		推奨	Thunderbusファイルシステムのディレクトリです。詳細については、「Thunderbusファイルシステム」を参照してください。
tmp		非推奨	システムの各種設定ファイルが配置されています。

DataSpider Cloud使用禁止文字について

DataSpider Cloudでは、以下の文字制約があります。

DataSpider Cloud上の設定/入力可能な箇所にXMLとして不正な文字を使用することはできません。
XMLとして不正な文字の例は以下の通りです。(16進数値)
- 「0x00」から「0x08」
- 「0x0b」
- 「0x0c」
- 「0x0e」から「0x1f」
上記以外のXMLとして不正な文字については、「W3C XML 1.0仕様」(http://www.w3.org/TR/xml/#charsets)の「2.2 Characters」を参照してください。

DataSpider Cloud上の設定/入力可能な箇所にDataSpider Cloudファイルシステムの使用禁止文字を使用することはできません。
詳細については、「DataSpider Cloudファイルシステムの文字制約」を参照してください。

コンポーネントアイコン名、スクリプト変数名および環境変数名は、上記使用禁止文字に加え、以下の文字を使用禁止文字としています。
- 「{」「}」
- 「$」(コンポーネントアイコンおよびスクリプト変数)
- 「%」(環境変数のみ)

コンポーネントアイコン名に以下の文字を使用した場合、そのコンポーネントをMapperの入力データとして使用する、およびMapper内でそのコンポーネントのコンポーネント変数を使用することはできません。
- 「(」
- 「)」
- 「,」
半角括弧は対で含まれている場合のみ使用できます。

Mapperロジックの文字制約については、「Mapperロジックの仕様」を参照してください。

仕様制限

同一のファイルに対する書き込みや操作をマルチスレッドで行った場合の動作は保証していません。

スクリプトプロセスの最大同時実行数を超えるスクリプトが同時に実行された場合、実行待ち状態になっているスクリプトの実行順序は保証していません。
最大同時実行数の設定方法については、「スクリプトプロセス最大同時実行数の設定」を参照してください。

注意事項

JREについて

DataSpider Cloudには、Java Runtime Environment(JRE)がバンドルされています。
DataSpider Cloudの各アプリケーションは、DataSpider CloudにバンドルされたJREを参照して動作します。

システムが作成するファイルについて

システムは各種設定、プロジェクトなどをファイルに保存しています。そのため、それらのファイルを直接編集すると予期せぬ動作が発生することがあります。
ユーザ側で作成していないファイルについては直接編集を行わないでください。