Dive into Apache Hop

March 11, 2022

Apache Hop


Apache Hop は、Kettle 8.2.0.7からForkしたデータオーケストレーションツールです。

Apache Hopは、2021年12月にApacheのTLP(Top Level Project)になりましたので、incubatorの表記が無くなりました。 そのため、apache/incubator-hop-web は apache/hop-web に更新しました。

準備


以下の材料を用意します。

なお、今回の作業はmacOS/Intelで行っています。

  1. PC
    • ターミナル (Terminal)
    • Docker Desktop
      • 2GBの空き容量(ちょっと大きめです)
  2. インターネット回線
    • ダウンロードするモジュールが大きいのでそれなりの回線

Apache Hop Web


docker pullは時間がかかります

docker pull apache/hop-web:1.2.0
docker run  \
 -p 8080:8080  \
 --name my-hop-web \
 apache/hop-web:1.2.0

ターミナルにはこのように表示されます

(表示が多いので最後だけを書きました)
HOP_CONFIG_FOLDER: /usr/local/tomcat/webapps/ROOT/config
HOP_AUDIT_FOLDER: /usr/local/tomcat/webapps/ROOT/audit
11-Mar-2022 10:57:56.050 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/usr/local/tomcat/webapps/ROOT] has finished in [12,105] ms
11-Mar-2022 10:57:56.065 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["http-nio-8080"]
11-Mar-2022 10:57:56.095 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in [12249] milliseconds
2022/03/11 10:58:41 - Hop - Projects enabled
2022/03/11 10:58:41 - Hop - Enabling project : 'default'

Hop Webを使ってみましょう


Hop Webを使ってみましょう。

http://localhost:8080/ui

Menu bar: File, Edit, Run, Tools, Help

Main toolbar: New, Open … Project, Environment

Perspectives toolbar: Metadata, Files, Search, Plugin, Neo4j

Hop Web Start

Pipelineを作りましょう


New (Fileの下にある+記号) をクリックします。

Select the item to create のウィンドウが表示されます。

Hop Web New

上の左にPipelineという表示がありますのでこれを選択します。

手のアイコンがある画面が表示されます。

Hop Web New Pipeline

画面をクリックしてみましょう。

Hop Web New Action

Generate rowsを選択します。画面にGenerate rowsが表示されます。

再度、画面をクリックして、Add Sequenceを選択します。

Genetate rows, Add sequence

次に、線を引きます。

Generate rowsを選択する時に Shiftを押しながらAdd Sequenceまで引っ張りましょう。

Genetate rows to Add sequence

組み合わせるとこんなのも可能です


Hop Beam

Source: https://hop.apache.org/blog/2022/03/hop-1.2.0/


Profile picture

Written by Koji Annoura who lives and works in Fukuoka Japan. Please follow me on Twitter

© 2022, Koji Annoura, Built with Gatsby