Apache Hop
Apache Hop は、Kettle 8.2.0.7からForkしたデータオーケストレーションツールです。
Apache Hopは、2021年12月にApacheのTLP(Top Level Project)になりましたので、incubatorの表記が無くなりました。 そのため、apache/incubator-hop-web は apache/hop-web に更新しました。
1.2.0 から 2.0.0 に書き直しました。(June 24, 2022)
2.0.1 に書き直しました。(July 29, 2022)
2.1.0 に書き直しました。(November 28, 2022)
準備
以下の材料を用意します。
なお、今回の作業はmacOS/Intelで行っています。
- PC
- ターミナル (Terminal)
- Docker Desktop
- 2GBの空き容量(ちょっと大きめです)
- インターネット回線
- ダウンロードするモジュールが大きいのでそれなりの回線
Apache Hop Web
参照する場合はこちらです。
https://hub.docker.com/r/apache/hop-web
docker pullは時間がかかります。
docker pull apache/hop-web:2.1.0
docker run します。
以前、hop-web:x.x.x で、my-hop-webを作成されていた場合はコンフリクトエラーになります。 ですので「名前を変更する」か「hop-webの古いのを削除する」処理が必要です。
docker run \
-p 8080:8080 \
--name my-hop-web \
apache/hop-web:2.1.0
ターミナルにはこのように表示されます。
(表示が多いので最後だけを書きました)
HOP_CONFIG_FOLDER: /usr/local/tomcat/webapps/ROOT/config
HOP_AUDIT_FOLDER: /usr/local/tomcat/webapps/ROOT/audit
27-Nov-2022 23:13:25.777 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/usr/local/tomcat/webapps/ROOT] has finished in [21,150] ms
27-Nov-2022 23:13:25.782 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["http-nio-8080"]
27-Nov-2022 23:13:25.813 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in [21337] milliseconds
Hop Webを使ってみましょう
Hop Webを使ってみましょう。
Menu bar: File, Edit, Run, Tools, Help
Main toolbar: New, Open ... Project, Environment
Perspectives toolbar: Metadata, Files, Search, Plugin, Neo4j
Pipelineを作りましょう
New (Fileの下にある+記号) をクリックします。
Select the item to create のウィンドウが表示されます。
上の左にPipelineという表示がありますのでこれを選択します。
手のアイコンがある画面が表示されます。
画面をクリックしてみましょう。
Generate rowsを選択します。画面にGenerate rowsが表示されます。
再度、画面をクリックして、Add Sequenceを選択します。
次に、線を引きます。
Generate rowsを選択する時に Shiftを押しながらAdd Sequenceまで引っ張りましょう。
では、試しに実行してみましょう。
左にある「▶︎(Start the execution of the pipeline)」をクリックすると保存が表示されます。 保存を行った後に実行されます。