HCL Link：ウェブベースの ETL ＆ インテグレーションツールの概要

2022/3/17 - 読み終える時間: 14 分

Overview of HCL Link: a web based ETL & Integration tool の翻訳版です。

---

HCL Link：ウェブベースの ETL ＆ インテグレーションツールの概要

2022年3月4日

著者: Ajay Kumar Mishra / Senior Software Engineer III

概要

今日、データはあらゆる組織にとって重要な役割を担っており、どの組織もさまざまな形式のデータを大量に処理しています。また、日々の業務に必要なデータを処理するために、必ずしも同じデータ形式をサポートしていないアプリケーションが多数存在する場合もあります。この問題を解決するために、彼らは内部/外部アプリケーション/システム内のデータを交換するためのトランスレータ/コネクタまたはミドルウェアが必要になり、ここで我々は強力なETL＆統合ツールHCL Linkを持っています。HCL Linkは、UNICA、Commerce、Voltなどの他のHCL Software製品にも使用され、相互または外部システムとの統合に使用されています。

HCL Linkの利用を促進するポイント

• GUIツール - 非常にシンプルな操作性

• HCL LINK Embedded Edition（組み込み版

• RESTベースのカスタムコネクタ

• 豊富なアダプターのサポート

• RESTベースのエンドポイントに対応したサービスビルダーのサポート

• GUIツール - 非常にシンプルな操作性

HCL Link - オンプレミス、クラウド、ハイブリッド環境において、組織内の多くのアプリケーションと多様なデータの統合を促進する堅牢なプラットフォームです。スキーマデザイナー、マップデザイナー、フローデザイナー、コア、ランタイム、アダプターが含まれています。強力なWebベースのETL・統合ツールであり、ユーザーフレンドリーなツールです。ファイルのアップロード、豊富なアダプター/コネクタを使用した接続/アクションの作成、アクションのデータ変換/転送のためのマップの作成、マップとフロー内の他のノードのオーケストレーションなどを簡単に行い、目的のゴールを達成できます。

ホームUIは次のようなものです。DesignとDeployの2つのバナーが表示されます。デザインは、プロジェクトのリスト、作成、インポートを表示し、デプロイは、サーバー、パッケージ、サーバーグループ、構成変数の作成、パッケージのデプロイのオプションを表示します。

デザインバナー

• [デザイン]で、[+]アイコンをクリックして新しいプロジェクトを作成し、プロジェクト名を入力して[OK]をクリックします。すると、以下のような画面が表示されます。

Quick Links

ファイル、接続/アクション、スキーマ、マップ、フローにすばやくアクセスするためのリンクを提供します。また、ページの下部にある個別のタブでこれらのオプションにアクセスすることもできます。

プロジェクトを作成/変更するためのリンクデザインオプション

ファイル - このオプションを使用して、マップ/フローで使用できるように入力ファイルをアップロードします。また、ローカルにファイルをダウンロードすることもできます。ローカルシステムで出力を見たい場合は特に必要です。

コネクション

接続は、ファイル、JDBC、FTP、RESTなど、どのシステム/技術に接続されているかを識別します。

アクション

アクションは、その接続を使用して具体的に何が行われているかを識別します - 例：データベーステーブルに行を挿入、サードパーティーシステム/アプリケーションのContactオブジェクトを更新、特定のREST APIを呼び出す、サードパーティーシステムにファイルを転送するなどです。

スキーマ

スキーマは、コネクタ/アダプターから返されるデータ、またはコネクタ/アダプターに送信されるデータの構造を記述するものです。スキーマインポーターを使用して、CSV、Copybook、XSD、JSONテンプレートなどからスキーマを作成できます。

マップ

マップは、希望する出力結果を生成するためのロジックを提供します。例えば、XMLデータをCSVにマッピングする必要がある場合、マップを使用してこれを行うことができます。

フロー

目標を達成するために、複数のノードを一緒にオーケストレーションする方法を提供すること。1つまたは複数のノードを含むことができます。

バナーのデプロイ

Link のプロイオプション

サーバーグループ - Prod、Dev、Testなどのサーバーグループを作成し、サーバーをサーバーグループと関連付けられます。

サーバー - WindowsやLinuxなどのプラットフォームの詳細、ユーザー認証情報、サーバーのURLまたはIP/FQDNなどの接続文字列、およびサーバーグループを含むサーバーを作成できます。

構成変数 - 構成変数は、実行時に配置環境（サーバーグループ）に固有の値に解決するエイリアスを定義する。構成変数の値を異なるサーバー グループに関連付けることで、マップやフローを変更せずに、同じマップやフローを異なる環境、サーバー、およびプラットフォームで実行できるようになる。

パッケージ - パッケージ化するプロジェクトを選択することで、パッケージを作成できます。そして、そのパッケージ内のマップ、フロー、ファイルを追加できます。

デプロイ - パッケージとサーバー名を選択して、選択したサーバーにパッケージをデプロイできます。

ビルド - サーバーにデプロイする前にパッケージをビルドして、コンパイル時のエラーがないかどうかを確認できます。

HCL Link コンポーネント（リンクがインストールされると、以下のコンポーネントを確認できます。）

HIP クライアント - ブラウザでUIページをレンダリングする役割を担います。

HIP サーバー（設計時） - スキーマ、マップ、フローを作成するのに便利です。

HIP Rest (Runtime) - 要件に応じたマップとフローの実行を容易にする。

Mongo - 設計時に作成した成果物を保存するために使用します（HIP-Server）。

Redis - HIP-Rest/runtimeはREDISを使用してリクエストを実行します。

• HCL LINK Embedded Edition

これは、私たちが他のHCL Softwareチームに提供しているもので、彼らのアプリケーション（Unica、Voltなど）の中に埋め込むために、HCL Link とEmbeddability Extensionsを含んでいます。

特に、Unica アプリケーション（Journey と Campaign）は、HCL Link EE とアプリケーション固有のコネクタ（例えば Unica Link の場合、メールコネクタ、アドテク、CRM、SMS、データベースコネクタ）を製品パッケージの一部として組み合わせています。

HCL Link Embeddability Extensions (EmbedX) - Unica、Volt、Commerceなど、他のHCL Software製品による組み込み利用を可能にするためにHCL Linkの上に構築された拡張機能です。パートナーや顧客が独自のコネクタを簡単に作成し、使用することを可能にします。

Unica Link インテグレーションで使用されるコネクターは以下の通りです。

HIP-REST(Runtime)でUnica-Linkのリクエストを実行するために必要なさまざまなホップは以下の通りです。

• RESTベースのカスタムコネクタ

HCL Linkは、お客様が必要なコネクタを簡単に作成できます。これがカスタムコネクタの正体です。例えば、Unicaの顧客は、独自のコネクタを作成するためにこれを活用できます。例えば、Unicaの顧客がデータ処理のために新しいサードパーティーシステムに接続する要件がある場合、例えば新しいマーケティングアプリケーションの場合、リンクを活用してそのようなコネクタを作成することが可能です。その場合、カスタムコネクタの要件と、その要件を満たすためにサードパーティーアプリケーションが提供する適切なREST APIを確認する必要があります。

要件の準備ができたら、コネクタ・プロジェクトを作成し、RESTエンドポイントおよびコネクタ記述子ファイルを定義して、接続とアクションのプロパティを定義できます。

サーバーにインストール可能なカスタム コネクタ パッケージを作成するために必要な成果物

• マップ/フローを含む接続プロジェクトファイルを作成します。
• RESTエンドポイントを定義するサービス定義ファイル/設定パッケージ
• 接続とアクションのプロパティを定義したコネクタディスクリプタファイル

packagerコマンドを使用して、上記の成果物をパッケージングしてコネクタパッケージを作成します。それはその後、リンクhip-restコンポーネントにデプロイできます。

コネクタを出力ディレクトリ「 \outputtest 」にパッケージするために、packager ツールに -p (package) と -ep (export package) オプションを付けて起動します。

C:\packager> packager \connectors\test \output\test -ep Test - p -h https://localhost:8443/ -u admin -pw ****

上記の手順でコネクターパッケージが作成され、サーバーにデプロイされ、インストールされると、お客様は新しいチャネルでのマーケティングのために、Unicaアプリケーションと新しいコネクターの統合を開始できます。

• 豊富なアダプターのサポート

HCL Linkは、様々なアプリケーション/システムに接続するための豊富なアダプターをサポートしています。これにより、異なる通信プロトコルを使用して多くのアプリケーションと統合することを意図している場合、様々な顧客の要件を満たすことができるように堅牢になっています。

• RESTベースのエンドポイントに対するサービスビルダーサポート

HCL Linkには、他のシステムやアプリケーションに接続するために使用されるRESTエンドポイントのサービス定義ファイルを作成するためのService Builderが含まれています。これは、UNICA-LinkのRESTベースのコネクタを作成するために重要です。

• リンクのホームページでサービスビルダーのリンクをクリックし、サーバー定義とエンドポイントを作成します。

• 'Create Service'をクリックして、新しいサービスを作成します。

• サービス名、認証タイプ、パラメータなどの詳細を入力します。

• 最後のステップで、サービスを保存できます。
• サービス内で、エンドポイントの作成をクリックします。

• エンドポイント名、メソッドタイプ、その他リクエスト/レスポンスペイロードに必要なパラメータを入力し、保存します。

• リクエストタブのAPI呼び出しボタンをクリックすると、エンドポイントが正常に動作しているかどうかを確認できます。

これらのエンドポイントは、マップやフローで使用できます。

リンクの基本的な考え方を、初めての方向けに例題で説明

シナリオは、CSV入力ファイルをJSONに変換することです。CSV入力ファイルの構造は、以下の通りだとします。

Employee Name,Designation

• リンク UI に移動し、デザインバナーの下にある + アイコンを選択して、新しいプロジェクトを作成します。ページ下部には、以下のようなタブが表示されます。

ファイルタブ

ステップ1では、入力ファイルをアップロードします。

• ファイルタブをクリックし、+アイコンをクリックして新しいファイルをアップロードします。

コネクションタブ

• Connections タブをクリックします。

• 新しい接続を作成するには、+アイコンをクリックします。外部または内部システムに接続可能なアダプターの一覧が表示されます。File adapter as my source/target を選択すると、file となります。次へ]をクリックして接続名を指定し、保存します。

スキーマタブ

スキーマは、インポーターを使用して、ファイルデータを格納するためのデータ構造をテンプレートから簡単に作成するのに役立ちます。

ここでは、CSVに続いてJSONを作成することにします。

• スキーマをクリックし、インポートをクリックしてファイルからインポートし、ドロップダウンボックスからCSVを選択します。

• 構造体を作成する入力ファイル名を選択し、Next をクリックしてスキーマ名を入力し、import を選択します。

次に、JSONスキーマをインポートします。

• XSD/JSON をクリックし、JSON ファイルを参照し、OK をクリックします。

アクションを作成するためのConnectionsタブ

ソースアクションの作成

• 接続名の上にマウスを置き、3つの点をクリックすると以下のように表示されます。

• 新しいアクションを作成するには、[New Action] オプションをクリックします。

• ソースを選択し、「次へ」をクリックして、入力ファイルを参照する グラフィカルユーザーインターフェイス、アプリケーション 説明が自動的に生成される

• 入力ファイルに合わせてスキーマとスキーマタイプを選択し、名前を付けて保存します。

ターゲットアクションの作成

• 接続名の上にもう一度マウスを置き、3つの点をクリックします。

• New Action をクリックしてターゲットアクションを作成し、Next をクリックします。

• JSON テンプレートファイルを参照し、[次へ] をクリックします。ターゲットアクション名を入力し、保存します。

これで、CSVファイルから読み込むソースアクションと、JSON形式に書き込むターゲットアクションの2つが作成されたことが確認できます。

Map タブ

• 地図タブをクリックし、+アイコンをクリックすると、新しい地図が作成されます。マップ名を入力し、OK をクリック

• 入力カードと出力カードという形で、マップにアクションを追加します。

• アクションを追加すると、以下のようなマップになります。

• CSVをJSONに変換する機能マップを作成する。

• ビルドアイコンをクリックし、マップをビルドします。ビルドに成功したら、実行ボタンをクリックしてマップを実行します。

• 入力と出力の結果データは以下のようになります。

フロータブ

• フロータブをクリックし、+アイコンをクリックすると、新しいフローが作成されます。名前を入力し、OK をクリック

• 決定ノードとマップノードを1つずつ持つフローを作成します。Flag_to_Run_the_Map フローバリューが True に設定されている場合、決定ノードは True ターミナルを実行し、それ以外の場合は False ターミナルを実行します。

• Flag_to_Run_the_Map が True の場合、mapノードが実行され、さらに JSON データが生成されます。Flag_to_Run_the_Map が True の場合、Map ノードが実行され、JSON データが生成されます。

• Flag_to_Run_the_Map を True に設定してフローを実行する。

• Flag_to_Run_the_Map をFalseに設定してフローを実行すると、マップノードに緑のチェックマークが表示されないことに気がつくでしょう。