HCL Link：ウェブベースの ETL ＆ インテグレーションツールの概要

2022/3/17 - 読み終える時間: 14 分

Overview of HCL Link: a web based ETL & Integration tool の翻訳版です。

---

HCL Link：ウェブベースの ETL ＆ インテグレーションツールの概要

2022年3月4日

著者: Ajay Kumar Mishra / Senior Software Engineer III

概要

今日、データはあらゆる組織にとって重要な役割を担っており、どの組織もさまざまな形式のデータを大量に処理しています。また、日々の業務に必要なデータを処理するために、必ずしも同じデータ形式をサポートしていないアプリケーションが多数存在する場合もあります。この問題を解決するために、彼らは内部/外部アプリケーション/システム内のデータを交換するためのトランスレータ/コネクタまたはミドルウェアが必要になり、ここで我々は強力なETL＆統合ツールHCL Linkを持っています。HCL Linkは、UNICA、Commerce、Voltなどの他のHCL Software製品にも使用され、相互または外部システムとの統合に使用されています。

HCL Linkの利用を促進するポイント

• GUIツール - 非常にシンプルな操作性

• HCL LINK Embedded Edition（組み込み版

• RESTベースのカスタムコネクタ

• 豊富なアダプターのサポート

• RESTベースのエンドポイントに対応したサービスビルダーのサポート

• GUIツール - 非常にシンプルな操作性

HCL Link - オンプレミス、クラウド、ハイブリッド環境において、組織内の多くのアプリケーションと多様なデータの統合を促進する堅牢なプラットフォームです。スキーマデザイナー、マップデザイナー、フローデザイナー、コア、ランタイム、アダプターが含まれています。強力なWebベースのETL・統合ツールであり、ユーザーフレンドリーなツールです。ファイルのアップロード、豊富なアダプター/コネクタを使用した接続/アクションの作成、アクションのデータ変換/転送のためのマップの作成、マップとフロー内の他のノードのオーケストレーションなどを簡単に行い、目的のゴールを達成できます。

ホームUIは次のようなものです。DesignとDeployの2つのバナーが表示されます。デザインは、プロジェクトのリスト、作成、インポートを表示し、デプロイは、サーバー、パッケージ、サーバーグループ、構成変数の作成、パッケージのデプロイのオプションを表示します。

デザインバナー

• [デザイン]で、[+]アイコンをクリックして新しいプロジェクトを作成し、プロジェクト名を入力して[OK]をクリックします。すると、以下のような画面が表示されます。

Quick Links

ファイル、接続/アクション、スキーマ、マップ、フローにすばやくアクセスするためのリンクを提供します。また、ページの下部にある個別のタブでこれらのオプションにアクセスすることもできます。

プロジェクトを作成/変更するためのリンクデザインオプション

ファイル - このオプションを使用して、マップ/フローで使用できるように入力ファイルをアップロードします。また、ローカルにファイルをダウンロードすることもできます。ローカルシステムで出力を見たい場合は特に必要です。

コネクション

接続は、ファイル、JDBC、FTP、RESTなど、どのシステム/技術に接続されているかを識別します。

アクション

アクションは、その接続を使用して具体的に何が行われているかを識別します - 例：データベーステーブルに行を挿入、サードパーティーシステム/アプリケーションのContactオブジェクトを更新、特定のREST APIを呼び出す、サードパーティーシステムにファイルを転送するなどです。

スキーマ

スキーマは、コネクタ/アダプターから返されるデータ、またはコネクタ/アダプターに送信されるデータの構造を記述するものです。スキーマインポーターを使用して、CSV、Copybook、XSD、JSONテンプレートなどからスキーマを作成できます。

マップ

マップは、希望する出力結果を生成するためのロジックを提供します。例えば、XMLデータをCSVにマッピングする必要がある場合、マップを使用してこれを行うことができます。

フロー

目標を達成するために、複数のノードを一緒にオーケストレーションする方法を提供すること。1つまたは複数のノードを含むことができます。

バナーのデプロイ

Link のプロイオプション

サーバーグループ - Prod、Dev、Testなどのサーバーグループを作成し、サーバーをサーバーグループと関連付けられます。

サーバー - WindowsやLinuxなどのプラットフォームの詳細、ユーザー認証情報、サーバーのURLまたはIP/FQDNなどの接続文字列、およびサーバーグループを含むサーバーを作成できます。

構成変数 - 構成変数は、実行時に配置環境（サーバーグループ）に固有の値に解決するエイリアスを定義する。構成変数の値を異なるサーバー グループに関連付けることで、マップやフローを変更せずに、同じマップやフローを異なる環境、サーバー、およびプラットフォームで実行できるようになる。

パッケージ - パッケージ化するプロジェクトを選択することで、パッケージを作成できます。そして、そのパッケージ内のマップ、フロー、ファイルを追加できます。

デプロイ - パッケージとサーバー名を選択して、選択したサーバーにパッケージをデプロイできます。

ビルド - サーバーにデプロイする前にパッケージをビルドして、コンパイル時のエラーがないかどうかを確認できます。

HCL Link コンポーネント（リンクがインストールされると、以下のコンポーネントを確認できます。）

HIP クライアント - ブラウザでUIページをレンダリングする役割を担います。

HIP サーバー（設計時） - スキーマ、マップ、フローを作成するのに便利です。

HIP Rest (Runtime) - 要件に応じたマップとフローの実行を容易にする。

Mongo - 設計時に作成した成果物を保存するために使用します（HIP-Server）。

Redis - HIP-Rest/runtimeはREDISを使用してリクエストを実行します。

• HCL LINK Embedded Edition

これは、私たちが他のHCL Softwareチームに提供しているもので、彼らのアプリケーション（Unica、Voltなど）の中に埋め込むために、HCL Link とEmbeddability Extensionsを含んでいます。

特に、Unica アプリケーション（Journey と Campaign）は、HCL Link EE とアプリケーション固有のコネクタ（例えば Unica Link の場合、メールコネクタ、アドテク、CRM、SMS、データベースコネクタ）を製品パッケージの一部として組み合わせています。

HCL Link Embeddability Extensions (EmbedX) - Unica、Volt、Commerceなど、他のHCL Software製品による組み込み利用を可能にするためにHCL Linkの上に構築された拡張機能です。パートナーや顧客が独自のコネクタを簡単に作成し、使用することを可能にします。

Unica Link インテグレーションで使用されるコネクターは以下の通りです。

HIP-REST(Runtime)でUnica-Linkのリクエストを実行するために必要なさまざまなホップは以下の通りです。

• RESTベースのカスタムコネクタ

HCL Linkは、お客様が必要なコネクタを簡単に作成できます。これがカスタムコネクタの正体です。例えば、Unicaの顧客は、独自のコネクタを作成するためにこれを活用できます。例えば、Unicaの顧客がデータ処理のために新しいサードパーティーシステムに接続する要件がある場合、例えば新しいマーケティングアプリケーションの場合、リンクを活用してそのようなコネクタを作成することが可能です。その場合、カスタムコネクタの要件と、その要件を満たすためにサードパーティーアプリケーションが提供する適切なREST APIを確認する必要があります。

要件の準備ができたら、コネクタ・プロジェクトを作成し、RESTエンドポイントおよびコネクタ記述子ファイルを定義して、接続とアクションのプロパティを定義できます。

サーバーにインストール可能なカスタム コネクタ パッケージを作成するために必要な成果物

• マップ/フローを含む接続プロジェクトファイルを作成します。
• RESTエンドポイントを定義するサービス定義ファイル/設定パッケージ
• 接続とアクションのプロパティを定義したコネクタディスクリプタファイル

packagerコマンドを使用して、上記の成果物をパッケージングしてコネクタパッケージを作成します。それはその後、リンクhip-restコンポーネントにデプロイできます。

コネクタを出力ディレクトリ「 \outputtest 」にパッケージするために、packager ツールに -p (package) と -ep (export package) オプションを付けて起動します。

C:\packager> packager \connectors\test \output\test -ep Test - p -h https://localhost:8443/ -u admin -pw ****

上記の手順でコネクターパッケージが作成され、サーバーにデプロイされ、インストールされると、お客様は新しいチャネルでのマーケティングのために、Unicaアプリケーションと新しいコネクターの統合を開始できます。

• 豊富なアダプターのサポート

HCL Linkは、様々なアプリケーション/システムに接続するための豊富なアダプターをサポートしています。これにより、異なる通信プロトコルを使用して多くのアプリケーションと統合することを意図している場合、様々な顧客の要件を満たすことができるように堅牢になっています。

• RESTベースのエンドポイントに対するサービスビルダーサポート

HCL Linkには、他のシステムやアプリケーションに接続するために使用されるRESTエンドポイントのサービス定義ファイルを作成するためのService Builderが含まれています。これは、UNICA-LinkのRESTベースのコネクタを作成するために重要です。

• リンクのホームページでサービスビルダーのリンクをクリックし、サーバー定義とエンドポイントを作成します。

• 'Create Service'をクリックして、新しいサービスを作成します。

• サービス名、認証タイプ、パラメータなどの詳細を入力します。

• 最後のステップで、サービスを保存できます。
• サービス内で、エンドポイントの作成をクリックします。

• エンドポイント名、メソッドタイプ、その他リクエスト/レスポンスペイロードに必要なパラメータを入力し、保存します。

• リクエストタブのAPI呼び出しボタンをクリックすると、エンドポイントが正常に動作しているかどうかを確認できます。

これらのエンドポイントは、マップやフローで使用できます。

リンクの基本的な考え方を、初めての方向けに例題で説明

シナリオは、CSV入力ファイルをJSONに変換することです。CSV入力ファイルの構造は、以下の通りだとします。

Employee Name,Designation

• リンク UI に移動し、デザインバナーの下にある + アイコンを選択して、新しいプロジェクトを作成します。ページ下部には、以下のようなタブが表示されます。

ファイルタブ

ステップ1では、入力ファイルをアップロードします。

• ファイルタブをクリックし、+アイコンをクリックして新しいファイルをアップロードします。

コネクションタブ

• Connections タブをクリックします。

• 新しい接続を作成するには、+アイコンをクリックします。外部または内部システムに接続可能なアダプターの一覧が表示されます。File adapter as my source/target を選択すると、file となります。次へ]をクリックして接続名を指定し、保存します。

スキーマタブ

スキーマは、インポーターを使用して、ファイルデータを格納するためのデータ構造をテンプレートから簡単に作成するのに役立ちます。

ここでは、CSVに続いてJSONを作成することにします。

• スキーマをクリックし、インポートをクリックしてファイルからインポートし、ドロップダウンボックスからCSVを選択します。

• 構造体を作成する入力ファイル名を選択し、Next をクリックしてスキーマ名を入力し、import を選択します。

次に、JSONスキーマをインポートします。

• XSD/JSON をクリックし、JSON ファイルを参照し、OK をクリックします。

アクションを作成するためのConnectionsタブ

ソースアクションの作成

• 接続名の上にマウスを置き、3つの点をクリックすると以下のように表示されます。

• 新しいアクションを作成するには、[New Action] オプションをクリックします。

• ソースを選択し、「次へ」をクリックして、入力ファイルを参照する グラフィカルユーザーインターフェイス、アプリケーション 説明が自動的に生成される

• 入力ファイルに合わせてスキーマとスキーマタイプを選択し、名前を付けて保存します。

ターゲットアクションの作成

• 接続名の上にもう一度マウスを置き、3つの点をクリックします。

• New Action をクリックしてターゲットアクションを作成し、Next をクリックします。

• JSON テンプレートファイルを参照し、[次へ] をクリックします。ターゲットアクション名を入力し、保存します。

これで、CSVファイルから読み込むソースアクションと、JSON形式に書き込むターゲットアクションの2つが作成されたことが確認できます。

Map タブ

• 地図タブをクリックし、+アイコンをクリックすると、新しい地図が作成されます。マップ名を入力し、OK をクリック

• 入力カードと出力カードという形で、マップにアクションを追加します。

• アクションを追加すると、以下のようなマップになります。

• CSVをJSONに変換する機能マップを作成する。

• ビルドアイコンをクリックし、マップをビルドします。ビルドに成功したら、実行ボタンをクリックしてマップを実行します。

• 入力と出力の結果データは以下のようになります。

フロータブ

• フロータブをクリックし、+アイコンをクリックすると、新しいフローが作成されます。名前を入力し、OK をクリック

• 決定ノードとマップノードを1つずつ持つフローを作成します。Flag_to_Run_the_Map フローバリューが True に設定されている場合、決定ノードは True ターミナルを実行し、それ以外の場合は False ターミナルを実行します。

• Flag_to_Run_the_Map が True の場合、mapノードが実行され、さらに JSON データが生成されます。Flag_to_Run_the_Map が True の場合、Map ノードが実行され、JSON データが生成されます。

• Flag_to_Run_the_Map を True に設定してフローを実行する。

• Flag_to_Run_the_Map をFalseに設定してフローを実行すると、マップノードに緑のチェックマークが表示されないことに気がつくでしょう。

HCL OneDB 2.0 の紹介

2021/8/20 - 読み終える時間: ~1 分

Introducing HCL OneDB 2.0 の翻訳版です。

---

HCL OneDB 2.0 の紹介

2021年8月21日

著者: Amanda Tevis / Marketing Product Manager

OneDB 2.0は、OneDBのエンタープライズクラスのデータベース機能をクラウドに拡張し、Kubernetesで管理されたクラウドのデプロイメントで使用するデータベース管理システムを選択する際に、多くのボックスをチェックするようになりました。これらの機能の一部を見てみましょう。

ハイアベイラビリティ（HA）とスケーラビリティは、あらゆる企業のデプロイメントにとって重要な2つの要素です。HAは、アプリケーションの要求を満たすために利用可能なデータベースサーバーが常に存在することを保証するもので、1つ以上のセカンダリサーバーを確立することで実現される。OneDBのKubernetesでオーケストレーションされたソリューションは、構成とクラスター内の利用可能なリソースに基づいて、OneDBのセカンダリサーバを自動的に追加し、プライマリサーバと1つ以上のセカンダリサーバを確実に利用できるようにします。さらに、OneDBのコネクション＆ロードバランサーは、アプリケーションとデータベースの間の抽象化を行うため、設定可能なサービスレベルアグリーメントに基づいて、アプリケーションのリクエストを利用可能なOneDBサーバーにルーティングします。常に利用可能なデータベースサーバーを持つことができるため、ファイブナイン（99.999％）以上という極めて高いレベルでアプリケーションの可用性を確保できます。

また、この同じOneDBのKubernetesによる自動化は、お客様の要求に応じて、高い拡張性を持つソリューションを提供します。 クラスター内のアプリケーションのワークロードに応じて、追加のOneDBサーバーが自動的に追加・削除されます。例えば、クラスターのCPU使用率が50％に達すると、別のOneDBノードが追加され、この新しいサーバーにワークロードが分散されます。 また、ノードの削除も同様に自動的に行われます。この仕組みにより、アプリケーションのワークロードのピークを管理し、使用率が中程度または平均の時には計算リソースを最小限に抑えられます。ピーク時の需要に応じてリソースを追加できることは、多くのエンタープライズアプリケーションでクラウドが採用されている主な理由であり、OneDBはこのソリューションの一部として非常に適しています。

データベースのアーカイブは、企業の展開においてもう一つの重要な側面です。データベースをバックアップし、そのバックアップから復元するという要件は基本中の基本です。OneDB 2.0のKubernetesマネージドバックアップ＆リストアサポートには、パーシステントボリューム、クラウドプロバイダーのネイティブストレージ、またはNFSマネージドストレージロケーションなど、設定可能な自動データベースバックアップのための多くのオプションが含まれています。これらのアーカイブの1つからデータベースを復元するのも簡単な操作です。OneDB バックアップアーカイブは、クラスター内のどのデータベースからでも作成できます。

OneDB 2.0は、HCLのCommerce製品とUnica製品の最新バージョンで徹底的にテストされ、現在では両方のクラウドデータベースとして選ばれています。エンタープライズクラスの両製品には、パフォーマンス、信頼性、機能面で厳しい要求がありますが、「OneDB 2.0」はそれを満たしています。さらに、OneDBは、HCL Nowが管理するクラウド版の中で両製品をサポートするために使用されるデータベースでもあります。

OneDBのKubernetes構成は、HCL Solution Factory（SoFy） のグラフィカルアプリケーションを使って作成できます。 SoFyでは、OneDBの要件を「サンドボックス」内でプロビジョニングおよびテストし、対応するHelmチャートをダウンロードできます。OneDBのHelmチャートは、SoFyで作成したものであれ、Google Kubernetes Engine（GKE）、MicrosoftのAzure Kubernetes Service（AKS）、Amazon Elastic Kubernetes Service（EKS）、Red Hat OpenShiftなど、汎用のKubernetes環境にインストールできます。

新しいエンタープライズクラスのアプリケーションを構築してデプロイしたり、既存のアプリケーションをクラウドに移行したりするためのオプションを検討する際に、OneDBがクラウドネイティブデータベースの目標に望む望ましい機能の多くを提供していることを考慮してください。OneDB 2.0は、Kubernetesを意識した高可用性とスケーラビリティの機能に加えて、主要なKubernetes環境に展開するバックアップ＆リストアのサポートを提供します。

HCL Link Supply Chain EDI (Electronic Data Interchange) Pack とは何か

2021/2/8 - 読み終える時間: ~1 分

What is the Supply Chain EDI Pack? の翻訳版です。

HCL Link Supply Chain EDI (Electronic Data Interchange) Pack とは何か

2021年2月4日

著者: Ryley Robinson / HCL Software Intern

HCL Link Supply Chain EDI (Electronic Data Interchange) Pack は、HCL Linkで使用するための規格のさまざまな形式を伝える組み立て済みの構造体を提供します。これらの構造体の一部を手動で構築するには、ガイドラインの複雑な性質上、時間と労力が必要となります。

EDI トランザクションのサポートとは何ですか？

"HCL Link Supply Chain EDI Pack は、HCL Link を拡張し、ANSI X12 文書、EDIFACT 文書、Tradacomsトランザクションなどの EDI 中心の要件に対応しています。これらの EDI 規格のスキーマは、2003年版から現在のバージョンまで提供されています。新しいバージョンが利用可能になると、サポートプロセスの一環として提供されます。あるバージョンの標準から別のバージョンの標準に移行する際に、そのインターフェースのメンテナンスにかかる貴重な時間を節約できます。HCL Link は、標準スキーマの変更を解釈し、既存の統合を更新する際にガイドしてくれます。"

HCL Link Supply Chain EDI Pack を利用することで、統合ソースまたは統合ターゲットの構造がお客様のために収容されます。クラウド、オンプレミス、またはハイブリッド・アプリケーション内で、統合ストリームや複雑な変換の変更を迅速に行えます。HCL Link Supply Chain EDI Pack は、EDI 標準を取得、特性化、維持するための面倒な作業を中心としたもので、データからより多くの知識、より多くの洞察、そしてより多くのインセンティブを得ることに専念できます。

HCL Link にアクセスするか、HCL Link Supply Chain EDI Pack の詳細情報をダウンロードしてください。