HGrid247 DE WEB

User Manual

Release 3.4.0

Nomor Dokumen

Juli 2026,

---

Daftar Isi

[Daftar Isi i](#_Toc234243338)

[Daftar Gambar i](#daftar-gambar)

[Daftar Tabel i](#daftar-tabel)

[1 Pendahuluan 1](#pendahuluan)

[1.1 Tujuan Dokumentasi 1](#tujuan-dokumentasi)

[1.2 Ruang Lingkup 1](#ruang-lingkup)

[1.3 Target Pengguna 1](#target-pengguna)

[2 Pengenalan Hgrid247 DE WEB2](#pengenalan-hgrid247-de-web)

[2.1 Tentang Hgrid247 DE Web 2](#tentang-hgrid247-de-web)

[2.2 Fitur Utama 2](#fitur-utama)

[3 Login 3](#login)

[3.1 Tujuan 3](#tujuan)

[3.2 Langkah - Langkah Login 3](#langkah---langkah-login)

[3.3 Gagal Login 3](#gagal-login)

[4 Tampilan Default 5](#tampilan-default)

[4.1 Menu Bar 5](#toolbar)

[4.2 Toolbar 6](#toolbar)

[4.3 Sidebar 7](#sidebar)

[4.4 Panel Project 7](#section-1)

[4.5 Panel Operator 8](#panel-operator)

[4.6 Workspace 8](#section-2)

[4.7 Profil dan Notifikasi 9](#profil-dan-notifikasi)

[5 Modul HGrid247 DE Web10](#modul-hgrid247-de-web)

[5.1 Connection 10](#connection)

[5.1.1 Deskripsi 10](#deskripsi)

[5.1.2 Indikator Status 10](#indikator-status)

[5.1.3 Cara Memeriksa Status Koneksi 10](#cara-memeriksa-status-koneksi)

[5.1.4 Catatan 10](#catatan)

[5.2 Data Management 11](#data-management)

[5.3 Job Management 13](#job-management)

[5.4 HDFS Browser 14](#hdfs-browser)

[5.5 User Management 16](#user-management)

[5.6 Cluster Configuration 18](#cluster-configuration)

[6 Workflow Designer21](#workflow-designer)

[6.1 Tujuan 21](#tujuan-1)

[6.2 Workflow Designer 21](#komponen-workflow-designer)

[6.3 Deskripsi21](#section-4)

[6.4 Project Management 22](#project-management)

[6.5 Workspace (Canvas) 24](#section-9)

[6.6 Operator Panel 25](#section-11)

[6.7 Menambahkan Operator 27](#menambahkan-operator)

[6.8 Menghubungkan Operator 29](#section-17)

[6.9 Konfigurasi Operator 31](#section-19)

[6.10 Pengelolaan Workflow 32](#section-22)

[6.11 Engine 34](#section-27)

[6.12 Alur Penggunaan Workflow Designer 40](#generate-jar)

[6.13 Workflow Management 40](#section-30)

[7 Referensi Operator43](#referensi-operator)

[7.1 Tujuan 43](#tujuan-18)

[7.2 Kategori Operator 43](#kategori-operator-1)

[7.2.1 Source Operator 43](#source-operator)

[7.2.2 Assembly Operator 62](#assembly-operator)

[7.2.3 Sink Operator 63](#sink-operator)

Daftar Gambar

Daftar Tabel

Pendahuluan

Tujuan Dokumentasi

HGrid247 DE WEB merupakan platform development tools pemrosesan Big Data berbasis web yang dirancang untuk menyederhanakan alur kerja data terdistribusi. Dengan antarmuka visual yang intuitif serta cukup drag and drop saja, development tools ini memungkinkan pengguna untuk membangun, mengelola, dan memantau workflow data dari sumber (Source) ke tujuan (Sink) tanpa harus menulis kode yang rumit secara manual.

Ruang Lingkup

Dokumen ini mencakup panduan penggunaan seluruh modul dan fitur yang tersedia pada HGrid247 DE Web versi 3.4, mulai dari proses masuk ke sistem (Login), pengenalan antarmuka aplikasi, hingga penggunaan setiap modul.

Target Pengguna

Dokumen ini ditujukan untuk :

• Administrator

• Data Engineer

• Data Analyst

• Pengguna HGrid247 DE Web lainnya yang memiliki hak akses sesuai perannya.

Pengenalan Hgrid247 DE WEB

Tentang Hgrid247 DE Web

HGrid247 DE Web merupakan platform Development tools berbasis web yang dirancang untuk memudahkan pengguna dalam membangun, mengelola, dan menjalankan proses integrasi serta pemrosesan data melalui antarmuka grafis (Graphical User Interface/GUI). Aplikasi ini menyediakan berbagai modul dan operator yang mendukung perancangan workflow, pengelolaan proyek, hingga pemantauan proses eksekusi secara terintegrasi.

Fitur Utama

1. Workflow Builder Browser

2. Job Management

3. Data management

4. HDFS Browser

5. User management

6. Hadoop dan Spark

7. batch prosesing

Login

Tujuan

Halaman Login digunakan sebagai gerbang autentikasi pengguna sebelum mengakses HGrid247 DE Web.

Langkah - Langkah Login

1. Buka alamat HGrid247 DE Web melalui browser.

2. Pada Landing Page, pilih tombol Login.

3. Masukkan :

   • Username

   • Password

   • Klik checkbox term version

4. Klik tombol Login.

5. Jika autentikasi berhasil, pengguna akan diarahkan ke Halaman Utama (Main Page).

Gagal Login

Apabila proses login gagal, sistem akan menampilkan pesan kesalahan, misalnya :

• Username tidak ditemukan.

• Password salah.

• Checkbox tidak di centang

Pengguna dapat menghubungi Administrator apabila mengalami kendala akses.

Gambar 3.1 Contoh gambar Login sukses

Gambar 3.2 Contoh gambar Login gagal

Tampilan Default

Setelah berhasil melakukan login, pengguna akan diarahkan ke Halaman Utama (Main Page) HGrid247 DE Web. Halaman ini merupakan pusat aktivitas pengguna untuk membuat, mengelola, dan menjalankan workflow.

Secara umum, tampilan utama terdiri atas Menu Bar, Toolbar, Sidebar, Panel Project, Panel Operator, Workspace, serta Profil dan Notifikasi.

Gambar 4.1 Halaman Utama HGrid247 DE Web 3.4

Toolbar

Toolbar berada tepat di bawah Menu Bar dan menyediakan tombol pintas (shortcut) untuk menjalankan fungsi yang sering digunakan.

Tombol yang tersedia antara lain :

Tombol	Deskripsi
Import	Mengimpor workflow atau konfigurasi ke dalam aplikasi.
Export	Mengekspor workflow atau konfigurasi ke dalam file.
New Workflow	Membuat workflow baru.
Save	Menyimpan workflow yang sedang dikerjakan.
Screenshot	Mengambil gambar workflow yang sedang dibuka.
Apply	Menerapkan perubahan konfigurasi pada workflow.
Engine	Membuka modul Engine untuk proses pengelolaan Engine.
Generate	Melakukan proses generate workflow.
Run Workflow	Menjalankan workflow yang telah dibuat.

Sidebar

Sidebar berada di sebelah kiri halaman dan berfungsi sebagai menu navigasi menuju modul-modul utama HGrid247 DE Web. Modul yang tersedia meliputi :

Modul	Deskripsi
Connection	Digunakan untuk mengelola koneksi ke berbagai sumber data yang akan digunakan dalam workflow.
Job Management	Digunakan untuk mengelola dan memantau proses eksekusi job.
Data Management	Digunakan untuk mengelola data yang digunakan dalam proses integrasi dan pemrosesan data.
HDFS Browser	Digunakan untuk menelusuri direktori dan file pada Hadoop Distributed File System (HDFS).
User Management	Digunakan untuk mengelola pengguna, peran (role), dan hak akses.
Cluster Configuration	Digunakan untuk mengelola konfigurasi cluster yang digunakan oleh sistem.

Panel Project

Panel Project digunakan untuk mengelola proyek dan workflow yang dimiliki pengguna. Pada panel ini, proyek ditampilkan dalam bentuk struktur folder (tree view) sehingga memudahkan pengguna dalam mengelompokkan workflow sesuai kebutuhan.

Komponen yang tersedia pada panel Project meliputi:

• Search, untuk mencari proyek atau workflow berdasarkan nama.

• Project Tree, untuk menampilkan struktur folder proyek.

• Workflow List, untuk menampilkan daftar workflow yang terdapat pada setiap proyek.

Panel Operator

Panel Operator digunakan untuk menampilkan seluruh operator yang dapat digunakan dalam penyusunan workflow.

Operator dikelompokkan ke dalam tiga kategori utama, yaitu:

Kategori	Deskripsi
Source	Berisi operator yang digunakan untuk mengambil atau membaca data dari berbagai sumber data.
Assembly	Berisi operator yang digunakan untuk melakukan transformasi, validasi, pengolahan, dan manipulasi data.
Sink	Berisi operator yang digunakan untuk menyimpan atau mengirimkan hasil pemrosesan data ke tujuan akhir.

Selain itu, panel Operator juga menyediakan fitur Search untuk memudahkan pengguna dalam menemukan operator berdasarkan nama.

Workspace

Workspace merupakan area kerja utama yang digunakan untuk menyusun workflow.

Pada area ini, pengguna dapat melakukan berbagai aktivitas, antara lain:

• Membuat workflow baru.

• Menambahkan operator ke dalam workflow.

• Menghubungkan operator.

• Mengonfigurasi setiap operator.

• Menyusun alur pemrosesan data.

• Menjalankan proses generate dan eksekusi workflow.

Profil dan Notifikasi

Pada bagian kanan atas halaman terdapat menu Notifikasi dan Profil Pengguna.

Komponen ini digunakan untuk:

• Melihat notifikasi sistem.

• Mengakses informasi akun pengguna.

• Mengelola pengaturan akun.

• Melakukan proses Logout dari aplikasi.

Modul HGrid247 DE Web

Connection

Deskripsi

Menu Connection digunakan untuk menampilkan status koneksi antara HGrid247 DE Web dengan layanan atau komponen pendukung yang diperlukan oleh sistem. Status koneksi ditampilkan dalam bentuk indikator warna sehingga pengguna dapat mengetahui kondisi koneksi secara cepat.

Indikator Status

Status koneksi ditampilkan melalui perubahan warna pada ikon Connection di Sidebar.

Indikator	Deskripsi
🟢 Hijau	Menunjukkan bahwa koneksi ke layanan berjalan normal dan seluruh layanan yang diperlukan dapat diakses.
🔴 Merah	Menunjukkan adanya gangguan pada satu atau lebih layanan sehingga memerlukan pemeriksaan lebih lanjut.

Catatan: Warna indikator akan berubah secara otomatis sesuai dengan kondisi koneksi sistem.

Cara Memeriksa Status Koneksi

1. Perhatikan ikon Connection pada Sidebar.

2. Pastikan indikator berwarna hijau sebagai tanda bahwa koneksi sistem berjalan normal.

3. Apabila indikator berwarna merah, lakukan pemeriksaan terhadap layanan yang mengalami gangguan atau hubungi Administrator.

Catatan

• Status koneksi diperbarui secara otomatis oleh sistem.

• Indikator merah tidak selalu menunjukkan aplikasi tidak dapat digunakan, tetapi menandakan terdapat layanan yang perlu diperiksa.

Data Management

5.2.1 Tujuan

Modul Data Management bertujuan untuk memudahkan pengguna dalam mengelola data melalui eksekusi perintah SQL. Modul ini menyediakan fasilitas untuk menjalankan query, mengimpor dan mengekspor data, serta menampilkan hasil eksekusi secara langsung dalam satu antarmuka sehingga proses pengelolaan data dapat dilakukan dengan lebih efisien.

5.2.2 Deskripsi

Data Management merupakan modul yang menyediakan lingkungan kerja (workspace) untuk melakukan pengelolaan data berbasis SQL. Melalui modul ini, pengguna dapat menulis dan menjalankan query, mengakses daftar tabel yang tersedia, mengimpor data dari file, mengekspor hasil pengolahan data, serta memantau hasil eksekusi melalui panel hasil (Result).

Gambar 5.2 Halaman Data Management

5.2.3 Komponen Halaman

Halaman Data Management terdiri atas beberapa komponen utama sebagai berikut.

No	Komponen	Deskripsi
1	Table	Menampilkan daftar tabel yang tersedia dalam basis data. Struktur tabel ditampilkan dalam bentuk hierarki sehingga memudahkan pengguna dalam memilih tabel yang akan digunakan.
2	Filter Search	Digunakan untuk mencari tabel berdasarkan nama sehingga mempermudah pencarian pada daftar tabel yang tersedia.
3	Query Editor	Area kerja untuk menulis, mengubah, dan mengelola perintah SQL yang akan dijalankan.
4	Execute	Menjalankan seluruh perintah SQL yang terdapat pada Query Editor.
5	Execute Selected	Menjalankan hanya bagian query yang dipilih pada Query Editor.
6	Query File	Membuka file yang berisi kumpulan perintah SQL ke dalam Query Editor.
7	Import Data	Mengimpor data dari file ke dalam tabel yang dipilih.
8	Export	Mengekspor hasil query atau data ke dalam file.
9	Result	Menampilkan hasil eksekusi query, informasi proses, maupun pesan kesalahan apabila terjadi kegagalan eksekusi.

5.2.4 Menjalankan Query

Untuk menjalankan query pada Data Management, lakukan langkah-langkah berikut.

1. Buka modul Data Management.

2. Pilih tabel yang akan digunakan apabila diperlukan.

3. Masukkan perintah SQL pada Query Editor.

4. Klik tombol Execute.

5. Tunggu hingga proses selesai.

6. Hasil eksekusi akan ditampilkan pada panel Result.

5.2.5 Menjalankan Query Tertentu

Apabila Query Editor berisi lebih dari satu perintah SQL, pengguna dapat menjalankan query tertentu tanpa mengeksekusi seluruh isi Query Editor.

Langkah-langkahnya sebagai berikut.

1. Blok atau pilih perintah SQL yang akan dijalankan.

2. Klik tombol Execute Selected.

3. Sistem akan menjalankan query yang dipilih.

4. Hasil eksekusi akan ditampilkan pada panel Result.

5.2.6 Membuka File Query

Data Management mendukung penggunaan file SQL sehingga pengguna tidak perlu mengetik ulang query yang telah disimpan sebelumnya.

Langkah-langkahnya sebagai berikut.

1. Klik tombol Query File.

2. Pilih file query yang akan dibuka.

3. Sistem akan memuat isi file ke dalam Query Editor.

4. Lakukan perubahan apabila diperlukan.

5. Klik Execute untuk menjalankan query.

5.2.7 Mengimpor Data

Fitur Import Data digunakan untuk memasukkan data dari file ke dalam basis data.

Langkah-langkahnya sebagai berikut.

1. Klik tombol Import Data.

2. Pilih file data yang akan diimpor.

3. Tentukan tabel tujuan apabila diperlukan.

4. Klik tombol Import.

5. Tunggu hingga proses impor selesai.

6. Status proses akan ditampilkan pada panel Result.

5.2.8 Mengekspor Data

Fitur Export digunakan untuk menyimpan hasil query atau data ke dalam file.

Langkah-langkahnya sebagai berikut.

1. Jalankan query atau pilih data yang akan diekspor.

2. Klik tombol Export.

3. Tentukan lokasi penyimpanan.

4. Pilih format file sesuai kebutuhan.

5. Klik Save untuk menyimpan hasil ekspor.

5.2.9 Catatan

• Pastikan sintaks SQL telah sesuai sebelum menjalankan proses eksekusi.

• Gunakan fitur Execute Selected apabila hanya ingin menjalankan sebagian query tanpa memengaruhi query lainnya.

• Periksa panel Result untuk memastikan proses berhasil dijalankan atau untuk mengetahui informasi apabila terjadi kesalahan.

• Pastikan pengguna memiliki hak akses yang sesuai untuk melakukan proses impor, ekspor, maupun modifikasi data.

Job Management

5.3.1 Tujuan

Modul Job Management bertujuan untuk memantau dan mengelola proses eksekusi workflow yang telah dijalankan. Melalui modul ini, pengguna dapat melihat informasi status eksekusi, waktu pelaksanaan, serta mengakses log untuk membantu proses pemantauan dan analisis apabila terjadi kegagalan.

5.3.2 Deskripsi

Job Management merupakan modul yang menampilkan daftar riwayat eksekusi (job history) dari workflow yang telah dijalankan. Informasi yang disajikan meliputi identitas workflow, waktu eksekusi, status proses, hingga log eksekusi. Modul ini membantu pengguna dalam memantau proses workflow dan melakukan analisis apabila ditemukan kendala selama proses berjalan.

Gambar 5.3 Halaman Job Management

5.3.3 Komponen Halaman

Halaman Job Management terdiri atas beberapa komponen utama sebagai berikut.

No	Komponen	Deskripsi
1	DAG ID	Menampilkan identitas atau nama workflow (Directed Acyclic Graph) yang dijalankan.
2	Run ID	Menampilkan identitas unik setiap proses eksekusi workflow.
3	Execution Date	Menampilkan tanggal dan waktu dimulainya proses eksekusi workflow.
4	End Date	Menampilkan tanggal dan waktu berakhirnya proses eksekusi workflow.
5	State	Menampilkan status hasil eksekusi workflow.
6	Logs	Menampilkan log atau informasi detail proses eksekusi workflow.

5.3.4 Status Eksekusi

Kolom State digunakan untuk menunjukkan status dari setiap proses eksekusi workflow.

Status	Deskripsi
Running	Workflow sedang dalam proses eksekusi.
Success	Workflow berhasil dijalankan tanpa kendala.
Failed	Workflow gagal dijalankan atau mengalami kesalahan selama proses eksekusi.

5.3.5 Melihat Riwayat Eksekusi Workflow

Untuk melihat riwayat eksekusi workflow, lakukan langkah-langkah berikut.

1. Buka modul Job Management.

2. Sistem akan menampilkan daftar seluruh workflow yang telah dijalankan.

3. Periksa informasi pada setiap kolom untuk mengetahui detail proses eksekusi.

5.3.6 Melihat Log Eksekusi

Apabila pengguna ingin melihat informasi detail dari suatu proses eksekusi, lakukan langkah-langkah berikut.

1. Buka modul Job Management.

2. Pilih workflow yang ingin diperiksa.

3. Klik tombol Logs pada baris workflow tersebut.

4. Sistem akan menampilkan informasi log yang berisi detail proses eksekusi serta pesan kesalahan (error message) apabila terjadi kegagalan.

5.3.7 Catatan

• Informasi pada Job Management diperbarui secara otomatis sesuai dengan proses eksekusi workflow.

• Gunakan informasi pada kolom State untuk mengetahui status proses secara cepat.

• Apabila status menunjukkan Failed, gunakan fitur Logs untuk membantu mengidentifikasi penyebab kegagalan.

• Setiap proses eksekusi memiliki Run ID yang berbeda sebagai identitas unik proses tersebut.

HDFS Browser

5.4.1 Tujuan

Modul HDFS Browser bertujuan untuk memudahkan pengguna dalam mengakses, menelusuri, dan mengelola file maupun folder yang tersimpan pada Hadoop Distributed File System (HDFS). Selain itu, modul ini juga menyediakan fasilitas untuk melihat isi file, mengelola struktur folder, serta melakukan proses unggah (upload) dan unduh (download) file.

5.4.2 Deskripsi

HDFS Browser merupakan modul yang digunakan untuk menjelajahi struktur direktori pada HDFS melalui antarmuka grafis. Pengguna dapat membuka folder berdasarkan lokasi penyimpanan, melihat isi file, membuat folder baru, mengubah nama folder, menghapus folder, serta melakukan proses upload dan download file.

Gambar 5.4 Halaman HDFS Browser

5.4.3 Komponen Halaman

No	Komponen	Deskripsi
1	Menu File	Berisi menu untuk membuat folder baru, menghapus folder, dan mengubah nama folder.
2	Menu Operation	Berisi menu untuk mengunggah (Upload) dan mengunduh (Download) file.
3	Tree	Menampilkan struktur folder dan file pada HDFS dalam bentuk hierarki (tree view).
4	HDFS Path	Menampilkan atau menerima input lokasi (path) folder atau file yang akan diakses.
5	Go	Membuka lokasi HDFS berdasarkan path yang dimasukkan.
6	Preview	Menampilkan isi file yang dipilih.

5.4.4 Menu File

Menu File digunakan untuk mengelola struktur folder pada HDFS.

Menu	Deskripsi
New Folder	Membuat folder baru pada lokasi HDFS yang dipilih.
Delete	Menghapus folder yang dipilih dari HDFS.
Rename	Mengubah nama folder yang dipilih.

5.4.5 Menu Operation

Menu Operation digunakan untuk melakukan perpindahan file antara komputer pengguna dan HDFS.

Menu	Deskripsi
Upload	Mengunggah file dari komputer lokal ke HDFS.
Download	Mengunduh file dari HDFS ke komputer lokal.

5.4.6 Membuat Folder Baru

Untuk membuat folder baru pada HDFS, lakukan langkah-langkah berikut.

1. Buka modul HDFS Browser.

2. Pilih lokasi atau folder tujuan pada panel Tree.

3. Klik File → New Folder.

4. Masukkan nama folder.

5. Klik OK atau Create untuk menyimpan folder baru.

5.4.7 Mengubah Nama Folder

1. Pilih folder yang akan diubah.

2. Klik File → Rename.

3. Masukkan nama folder yang baru.

4. Simpan perubahan.

5.4.8 Menghapus Folder

1. Pilih folder yang akan dihapus.

2. Klik File → Delete.

3. Konfirmasikan proses penghapusan.

4. Sistem akan menghapus folder dari HDFS.

Catatan: Pastikan folder yang akan dihapus tidak lagi digunakan karena proses ini dapat menghapus seluruh isi folder.

5.4.9 Mengunggah File

Untuk mengunggah file ke HDFS, lakukan langkah-langkah berikut.

1. Pilih folder tujuan pada panel Tree.

2. Klik Operation → Upload.

3. Pilih file dari komputer lokal.

4. Klik Open atau Upload.

5. Tunggu hingga proses unggah selesai.

5.4.10 Mengunduh File

Untuk mengunduh file dari HDFS, lakukan langkah-langkah berikut.

1. Pilih file yang akan diunduh.

2. Klik Operation → Download.

3. Tentukan lokasi penyimpanan pada komputer.

4. Tunggu hingga proses unduh selesai.

5.4.11 Menampilkan Isi File

1. Pilih file pada panel Tree.

2. Sistem akan menampilkan isi file pada panel Preview.

3. Gunakan panel Preview untuk memeriksa isi file tanpa perlu mengunduhnya terlebih dahulu.

5.4.12 Catatan

• Pastikan pengguna memiliki hak akses yang sesuai sebelum melakukan pengelolaan file atau folder pada HDFS.

• Penghapusan folder dapat menghilangkan seluruh isi folder secara permanen sesuai dengan kebijakan sistem.

• Gunakan fitur Preview untuk memverifikasi isi file sebelum melakukan proses pengunduhan atau pemrosesan lebih lanjut.

• Proses Upload dan Download bergantung pada ukuran file serta kondisi jaringan yang digunakan.

User Management

5.5.1 Tujuan

Modul User Management bertujuan untuk mengelola akun pengguna yang memiliki akses ke HGrid247 DE Web. Melalui modul ini, administrator dapat menambahkan pengguna baru, mengubah informasi pengguna, menghapus pengguna, serta melihat informasi detail setiap akun.

5.5.2 Deskripsi

User Management merupakan modul yang digunakan untuk melakukan administrasi pengguna pada HGrid247 DE Web. Modul ini menyediakan daftar seluruh pengguna yang terdaftar beserta informasi detail akun, seperti nama pengguna, alamat email, tanggal pembuatan akun, status akun, cluster, dan peran (role) pengguna.

Gambar 5.5 Halaman User Management

5.5.3 Komponen Halaman

No	Komponen	Deskripsi
1	Add	Digunakan untuk menambahkan akun pengguna baru.
2	Delete	Digunakan untuk menghapus akun pengguna yang dipilih.
3	Edit	Digunakan untuk mengubah informasi akun pengguna yang dipilih.
4	Search User	Digunakan untuk mencari pengguna berdasarkan nama pengguna.
5	Search	Menampilkan hasil pencarian sesuai kata kunci yang dimasukkan.
6	User List	Menampilkan daftar seluruh pengguna yang telah terdaftar pada sistem.
7	User Information	Menampilkan informasi detail pengguna yang dipilih.

5.5.4 Informasi Pengguna

Panel User Information menampilkan informasi detail dari pengguna yang dipilih.

Informasi	Deskripsi
User Name	Nama pengguna yang digunakan untuk masuk ke aplikasi.
Email	Alamat email yang terdaftar pada akun pengguna.
Create Date	Tanggal dan waktu pembuatan akun pengguna.
Update Date	Tanggal dan waktu terakhir perubahan data pengguna.
Cluster	Cluster yang digunakan atau menjadi tujuan pengguna.
Status	Status akun pengguna, seperti Enable atau Disable.
Role	Hak akses atau peran pengguna dalam sistem, misalnya Administrator atau User.

5.5.5 Menambahkan Pengguna

Untuk menambahkan pengguna baru, lakukan langkah-langkah berikut.

1. Buka modul User Management.

2. Klik tombol Add.

3. Masukkan informasi pengguna yang diperlukan.

4. Tentukan Role, Cluster, dan Status pengguna.

5. Klik Save untuk menyimpan data pengguna.

5.5.6 Mengubah Informasi Pengguna

Untuk mengubah informasi pengguna, lakukan langkah-langkah berikut.

1. Pilih pengguna pada User List.

2. Klik tombol Edit.

3. Lakukan perubahan pada informasi yang diperlukan.

4. Klik Save untuk menyimpan perubahan.

5.5.7 Menghapus Pengguna

Untuk menghapus pengguna, lakukan langkah-langkah berikut.

1. Pilih pengguna yang akan dihapus.

2. Klik tombol Delete.

3. Konfirmasikan proses penghapusan.

4. Sistem akan menghapus akun pengguna dari daftar pengguna.

Catatan: Penghapusan akun pengguna dapat menyebabkan pengguna tersebut tidak lagi dapat mengakses HGrid247 DE Web.

5.5.8 Mencari Pengguna

Untuk mencari pengguna tertentu, lakukan langkah-langkah berikut.

1. Masukkan nama pengguna pada kolom Search User.

2. Klik tombol Search.

3. Sistem akan menampilkan pengguna yang sesuai dengan kata kunci pencarian.

5.5.9 Catatan

• Hanya pengguna dengan hak akses yang sesuai, seperti Administrator, yang dapat menambah, mengubah, atau menghapus akun pengguna.

• Pastikan alamat email dan peran (role) pengguna telah sesuai sebelum menyimpan data.

• Gunakan fitur Search untuk mempermudah pencarian apabila jumlah pengguna cukup banyak.

• Perubahan data pengguna akan langsung diterapkan setelah proses penyimpanan berhasil.

Cluster Configuration

5.6.1 Tujuan

Modul Cluster Configuration bertujuan untuk mengelola konfigurasi yang digunakan oleh setiap cluster pada HGrid247 DE Web. Melalui modul ini, administrator dapat menambahkan, mengubah, menghapus, dan mencari parameter konfigurasi yang digunakan oleh sistem maupun layanan pendukung.

5.6.2 Deskripsi

Cluster Configuration merupakan modul yang digunakan untuk menyimpan dan mengelola parameter konfigurasi berdasarkan cluster yang tersedia. Setiap parameter konfigurasi terdiri atas Config Key dan Config Value yang digunakan oleh HGrid247 DE Web dalam menjalankan berbagai proses, seperti koneksi ke layanan eksternal, lokasi penyimpanan file, maupun konfigurasi sistem lainnya.

Gambar 5.6 Halaman Cluster Configuration

5.6.3 Komponen Halaman

No	Komponen	Deskripsi
1	Add	Digunakan untuk menambahkan konfigurasi baru pada cluster yang dipilih.
2	Delete	Digunakan untuk menghapus konfigurasi yang dipilih.
3	Edit	Digunakan untuk mengubah konfigurasi yang dipilih.
4	Keyword	Digunakan untuk memasukkan kata kunci pencarian konfigurasi.
5	Search	Menampilkan hasil pencarian berdasarkan kata kunci yang dimasukkan.
6	Configuration Tree	Menampilkan daftar konfigurasi yang dikelompokkan berdasarkan cluster dalam bentuk hierarki (tree view).
7	Configuration Detail	Menampilkan informasi detail konfigurasi yang dipilih.

5.6.4 Informasi Konfigurasi

Panel Configuration Detail menampilkan informasi dari konfigurasi yang dipilih.

Informasi	Deskripsi
Config Key	Nama atau identitas parameter konfigurasi.
Config Value	Nilai yang digunakan oleh parameter konfigurasi.
Create Date	Tanggal dan waktu konfigurasi dibuat.
Update Date	Tanggal dan waktu terakhir konfigurasi diperbarui.

5.6.5 Menambahkan Konfigurasi

Untuk menambahkan konfigurasi baru, lakukan langkah-langkah berikut.

1. Buka modul Cluster Configuration.

2. Pilih cluster tujuan pada Configuration Tree.

3. Klik tombol Add.

4. Masukkan Config Key dan Config Value sesuai kebutuhan.

5. Klik Save untuk menyimpan konfigurasi.

5.6.6 Mengubah Konfigurasi

Untuk mengubah konfigurasi yang telah tersedia, lakukan langkah-langkah berikut.

1. Pilih konfigurasi yang akan diubah.

2. Klik tombol Edit.

3. Lakukan perubahan pada Config Key atau Config Value sesuai kebutuhan.

4. Klik Save untuk menyimpan perubahan.

5.6.7 Menghapus Konfigurasi

Untuk menghapus konfigurasi, lakukan langkah-langkah berikut.

1. Pilih konfigurasi yang akan dihapus.

2. Klik tombol Delete.

3. Konfirmasikan proses penghapusan.

4. Sistem akan menghapus konfigurasi dari cluster yang dipilih.

Catatan: Pastikan konfigurasi yang dihapus tidak sedang digunakan oleh sistem atau workflow karena dapat memengaruhi proses operasional HGrid247 DE Web.

5.6.8 Mencari Konfigurasi

Untuk mencari konfigurasi tertentu, lakukan langkah-langkah berikut.

1. Masukkan kata kunci pada kolom Keyword.

2. Klik tombol Search.

3. Sistem akan menampilkan daftar konfigurasi yang sesuai dengan kata kunci pencarian.

5.6.9 Catatan

• Perubahan konfigurasi dapat memengaruhi proses operasional HGrid247 DE Web maupun layanan yang terintegrasi.

• Pastikan nilai Config Key dan Config Value telah sesuai sebelum menyimpan perubahan.

• Sebaiknya proses penambahan, perubahan, atau penghapusan konfigurasi hanya dilakukan oleh pengguna dengan hak akses Administrator.

• Lakukan pencadangan (backup) konfigurasi sebelum melakukan perubahan pada parameter yang digunakan oleh sistem.

Workflow Designer

Tujuan

Workflow Designer merupakan area kerja utama pada HGrid247 DE Web yang digunakan untuk merancang, mengelola, dan menjalankan workflow secara visual. Modul ini menyediakan berbagai fitur yang memungkinkan pengguna membuat alur pemrosesan data menggunakan operator, melakukan konfigurasi workflow, serta menjalankan proses integrasi data dari awal hingga akhir.

Komponen Workflow Designer

Bab ini akan menjadi daftar isi kecil agar pembaca mudah mencari fitur yang dibutuhkan.

No	Fitur
6.2	Project Management
6.3	Workflow Management
6.4	Operator Panel
6.5	Workspace (Canvas)
6.6	Toolbar
6.7	Import Workflow
6.8	Export Workflow
6.9	Save Workflow
6.10	Screenshot Workflow
6.11	Apply Workflow
6.12	Engine
6.13	Generate Workflow
6.14	Run Workflow

Deskripsi

Workflow Designer merupakan inti dari HGrid247 DE Web. Seluruh proses pembuatan workflow dilakukan pada halaman ini, mulai dari membuat project, membuat workflow, menambahkan operator, menghubungkan operator, mengatur konfigurasi, hingga menghasilkan workflow yang siap dijalankan.

Melalui antarmuka berbasis drag-and-drop, pengguna dapat menyusun alur pemrosesan data dengan lebih mudah tanpa harus menulis kode secara langsung.

Gambar 6.1 Halaman Workflow Designer

Project Management

Tujuan

Fitur Project Management bertujuan untuk mengelola project sebagai wadah penyimpanan workflow pada HGrid247 DE Web. Melalui fitur ini, pengguna dapat membuat, mengubah, menghapus, serta mengorganisasi project dan workflow sehingga proses pengelolaan workflow menjadi lebih terstruktur.

Deskripsi

Project Management merupakan fitur yang digunakan untuk mengelola project dan workflow pada HGrid247 DE Web. Setiap project berfungsi sebagai wadah yang dapat menyimpan satu atau lebih workflow. Seluruh project ditampilkan pada Project Panel dalam bentuk struktur hierarki (tree view) sehingga memudahkan pengguna dalam mengelola workflow berdasarkan kebutuhan.

Melalui Project Management, pengguna dapat melakukan berbagai aktivitas, seperti membuat project baru, membuat workflow baru di dalam project, mengubah nama project, menghapus project, serta mencari project yang telah tersedia.

Gambar 6.2 Project Management

Struktur Project

Hubungan antara Project dan Workflow pada HGrid247 DE Web ditunjukkan pada ilustrasi berikut :

Project
│
├── Workflow 1
├── Workflow 2
├── Workflow 3
└── Workflow n

Setiap Project dapat memiliki satu atau lebih Workflow yang digunakan untuk membangun proses integrasi data.

Komponen Project Management

No	Komponen	Deskripsi
1	Search Project	Digunakan untuk mencari project berdasarkan nama.
2	Project Panel	Menampilkan daftar project beserta workflow dalam bentuk struktur hierarki (tree view).
3	Project	Menampilkan nama project yang tersedia pada sistem.
4	Context Menu	Menampilkan daftar aksi yang dapat dilakukan terhadap project maupun workflow melalui klik kanan.

Menu Project

Untuk menampilkan menu pengelolaan project, klik kanan pada Project Panel atau pada nama Project. Menu yang tersedia meliputi :

Menu	Deskripsi
New Project	Membuat project baru.
New Workflow	Membuat workflow baru di dalam project yang dipilih.
Rename Project	Mengubah nama project.
Delete Project	Menghapus project beserta workflow di dalamnya.

📌Catatan

Ketersediaan menu dapat berbeda sesuai dengan hak akses pengguna.

Membuat Project

Untuk membuat project baru, lakukan langkah-langkah berikut :

1. Klik kanan pada Project Panel atau area kosong di dalam panel project.

2. Pilih menu New Project.

3. Masukkan nama project.

4. Klik OK atau Create.

5. Project akan ditambahkan ke dalam daftar project.

Membuat Workflow dari Project

Workflow baru juga dapat dibuat langsung melalui Project Management.

Langkah-langkahnya sebagai berikut :

1. Pilih project yang akan digunakan.

2. Klik kanan pada nama project.

3. Pilih menu New Workflow.

4. Masukkan nama workflow.

5. Klik OK atau Create.

6. Workflow akan ditambahkan ke dalam project yang dipilih.

📌Catatan

Penjelasan mengenai pengelolaan workflow secara lengkap terdapat pada Bab 6.6 Workflow Management.

Mengubah Nama Project

1. Pilih project yang akan diubah.

2. Klik kanan pada project.

3. Pilih menu Rename Project.

4. Masukkan nama project yang baru.

5. Klik OK untuk menyimpan perubahan.

Menghapus Project

1. Pilih project yang akan dihapus.

2. Klik kanan pada project.

3. Pilih menu Delete Project.

4. Konfirmasikan proses penghapusan.

5. Sistem akan menghapus project beserta seluruh workflow yang terdapat di dalamnya.

📌Peringatan

Penghapusan project bersifat permanen. Pastikan seluruh workflow telah dicadangkan atau tidak lagi digunakan sebelum melakukan penghapusan.

Mencari Project

1. Masukkan nama project pada kolom Search Project.

2. Sistem akan menampilkan daftar project yang sesuai dengan kata kunci pencarian.

3. Pilih project untuk melihat workflow yang terdapat di dalamnya.

📌Catatan

• Gunakan nama project yang mudah dipahami dan sesuai dengan proses bisnis yang dikelola.

• Satu project dapat berisi satu atau lebih workflow.

• Workflow hanya dapat dibuat di dalam project yang telah tersedia.

• Hak akses pengguna dapat memengaruhi kemampuan untuk membuat, mengubah, maupun menghapus project.

Workspace (Canvas)

Tujuan

Workspace (Canvas) merupakan area kerja utama yang digunakan untuk menyusun dan mengelola workflow pada HGrid247 DE Web. Seluruh proses perancangan workflow dilakukan pada area ini, mulai dari menambahkan operator, menghubungkan operator, hingga mengonfigurasi alur pemrosesan data.

Deskripsi

Canvas merupakan area visual tempat pengguna membangun workflow menggunakan metode drag-and-drop. Setiap operator yang ditambahkan akan ditampilkan pada Workspace dan dapat dihubungkan satu sama lain untuk membentuk alur pemrosesan data.

Workspace menjadi pusat aktivitas dalam Workflow Designer karena seluruh proses perancangan workflow dilakukan pada area ini.

Gambar 6.3 Workspace (Canvas)

Komponen Workspace

No	Komponen	Deskripsi
1	Canvas	Area utama untuk menyusun workflow.
2	Operator	Menampilkan operator yang telah ditambahkan ke dalam workflow.
3	Connection Line	Menunjukkan hubungan antaroperator dalam workflow.
4	Workspace Area	Area kosong yang digunakan untuk menyusun operator sesuai kebutuhan.

Fungsi Workspace

Workspace menyediakan beberapa fungsi utama, antara lain :

• Menampilkan workflow yang sedang dibuka.

• Menempatkan operator ke dalam workflow.

• Menghubungkan operator.

• Menyusun alur proses data.

• Mengatur posisi operator agar workflow mudah dipahami.

📌Catatan

• Workspace hanya dapat digunakan setelah pengguna membuka atau membuat workflow.

• Perubahan pada Workspace belum tersimpan hingga pengguna melakukan proses Save.

• Disarankan menyusun posisi operator secara rapi untuk memudahkan proses pengembangan dan pemeliharaan workflow.

Operator Panel

Tujuan

Operator Panel bertujuan untuk menyediakan daftar operator yang dapat digunakan dalam membangun workflow pada HGrid247 DE Web. Melalui panel ini, pengguna dapat mencari, memilih, dan menambahkan operator ke dalam Workspace sesuai dengan kebutuhan proses integrasi data.

Deskripsi

Operator Panel merupakan panel yang berisi kumpulan operator yang digunakan untuk membangun workflow. Seluruh operator telah dikelompokkan ke dalam beberapa kategori berdasarkan fungsinya sehingga memudahkan pengguna dalam menemukan operator yang dibutuhkan.

Operator dapat ditambahkan ke Workspace menggunakan metode drag-and-drop, kemudian dikonfigurasi sesuai dengan kebutuhan proses bisnis.

Gambar 6.4 Operator Panel

Komponen Operator Panel

No	Komponen	Deskripsi
1	Search Operator	Digunakan untuk mencari operator berdasarkan nama.
2	Source	Berisi operator yang digunakan untuk membaca atau mengambil data dari berbagai sumber data.
3	Assembly	Berisi operator yang digunakan untuk melakukan transformasi, validasi, maupun pemrosesan data.
4	Sink	Berisi operator yang digunakan untuk menyimpan atau mengirimkan hasil pemrosesan data ke tujuan akhir.
5	Operator List	Menampilkan daftar operator sesuai kategori yang dipilih.

Kategori Operator

Operator pada HGrid247 DE Web dikelompokkan menjadi tiga kategori utama.

Kategori	Deskripsi
Source	Digunakan untuk mengambil data dari berbagai sumber, seperti file, database, maupun sistem eksternal.
Assembly	Digunakan untuk melakukan transformasi, manipulasi, validasi, penggabungan, pemisahan, maupun pemrosesan data.
Sink	Digunakan untuk menyimpan hasil pemrosesan data ke media penyimpanan atau sistem tujuan.

Mencari Operator

Untuk mencari operator tertentu, lakukan langkah-langkah berikut :

1. Masukkan nama operator pada kolom Search Operator.

2. Sistem akan menampilkan operator yang sesuai dengan kata kunci pencarian.

3. Pilih operator yang diinginkan untuk digunakan pada workflow.

Menampilkan Daftar Operator

Untuk melihat daftar operator berdasarkan kategori, lakukan langkah-langkah berikut :

1. Pilih kategori Source, Assembly, atau Sink.

2. Sistem akan menampilkan seluruh operator yang tersedia pada kategori tersebut.

3. Pilih operator yang akan digunakan.

📌Catatan

• Operator dikelompokkan berdasarkan fungsi untuk mempermudah proses pencarian.

• Gunakan fitur Search Operator apabila jumlah operator cukup banyak.

• Operator baru dapat digunakan setelah ditambahkan ke Workspace.

• Konfigurasi setiap operator dilakukan setelah operator ditempatkan pada Workspace.

Menambahkan Operator

Tujuan

Fitur Menambahkan Operator bertujuan untuk menambahkan operator ke dalam Workspace sebagai komponen penyusun workflow. Operator yang ditambahkan akan digunakan untuk membangun alur proses integrasi data sesuai dengan kebutuhan pengguna.

Deskripsi

Operator merupakan komponen utama dalam workflow yang berfungsi untuk membaca data, melakukan transformasi, maupun menyimpan hasil pemrosesan data. Seluruh operator tersedia pada Operator Panel dan dapat ditambahkan ke Workspace menggunakan metode drag-and-drop.

Setelah operator ditempatkan pada Workspace, pengguna dapat menghubungkan operator dengan operator lainnya, melakukan konfigurasi, dan menyusun alur workflow sesuai kebutuhan.

Gambar 6.5 Menambahkan Operator ke Workspace

Prasyarat

Sebelum menambahkan operator, pastikan hal-hal berikut telah dilakukan :

1. Project telah dibuat.

2. Workflow telah dibuat atau dibuka.

3. Workspace dalam keadaan aktif.

Langkah-Langkah Menambahkan Operator

Untuk menambahkan operator ke dalam workflow, lakukan langkah-langkah berikut :

1. Buka workflow yang akan dikembangkan.

2. Pilih kategori operator pada Operator Panel, yaitu Source, Assembly, atau Sink.

3. Cari operator yang akan digunakan melalui daftar operator atau menggunakan fitur Search Operator.

4. Klik dan tahan (drag) operator yang dipilih.

5. Lepaskan (drop) operator pada area Workspace.

6. Operator akan ditampilkan pada Workspace dan siap untuk dikonfigurasi.

Mengatur Posisi Operator

Operator yang telah ditambahkan dapat dipindahkan ke posisi lain agar susunan workflow lebih mudah dipahami. Lakukan langkah-langkah sebagai berikut :

1. Pilih operator pada Workspace.

2. Klik dan tahan operator.

3. Geser operator ke posisi yang diinginkan.

4. Lepaskan mouse untuk menempatkan operator pada posisi baru.

Disarankan untuk menyusun operator dari kiri ke kanan atau dari atas ke bawah sesuai alur proses data agar workflow lebih mudah dibaca.

Menghapus Operator dari Workspace

Apabila operator tidak lagi diperlukan, operator dapat dihapus dari Workspace. Lakukan langkah-langkah sebagai berikut :

1. Pilih operator yang akan dihapus.

2. Klik kanan pada operator.

3. Pilih menu Delete, atau tekan tombol Delete pada keyboard (apabila didukung oleh aplikasi).

4. Operator akan dihapus dari Workspace.

📌Catatan

Penghapusan operator hanya menghapus operator dari workflow dan tidak menghapus operator dari daftar Operator Panel.

📌Catatan

• Operator hanya dapat digunakan setelah ditempatkan pada Workspace.

• Setiap operator memiliki konfigurasi (Properties) yang harus disesuaikan sebelum workflow dijalankan.

• Operator yang belum terhubung dengan operator lain belum membentuk alur workflow yang lengkap.

• Gunakan fitur Search Operator untuk mempercepat pencarian apabila jumlah operator yang tersedia cukup banyak.

Menghubungkan Operator

Tujuan

Fitur Menghubungkan Operator bertujuan untuk membentuk alur proses (workflow) dengan menghubungkan operator yang telah ditempatkan pada Workspace. Hubungan antaroperator menentukan aliran data dari proses awal hingga proses akhir.

Deskripsi

Setelah operator ditambahkan ke dalam Workspace, setiap operator harus dihubungkan sesuai dengan alur pemrosesan data yang diinginkan. Koneksi antaroperator membentuk jalur perpindahan data (data flow) dari Source menuju Assembly, kemudian diteruskan ke Sink atau operator lainnya.

Hubungan yang benar akan memastikan data dapat diproses sesuai urutan yang telah dirancang pada workflow.

Gambar 6.6 Menghubungkan Operator

Prasyarat

Sebelum menghubungkan operator, pastikan :

• Workflow telah dibuat atau dibuka.

• Operator telah ditambahkan ke Workspace.

• Operator yang akan dihubungkan telah memiliki titik koneksi (connection point).

Menghubungkan Operator

Untuk menghubungkan operator, lakukan langkah-langkah berikut :

1. Pilih operator sumber (source operator) yang akan dihubungkan.

2. Klik pada titik koneksi (output port) operator.

3. Tarik garis koneksi menuju titik koneksi (input port) pada operator tujuan.

4. Lepaskan mouse untuk membuat koneksi.

5. Sistem akan menampilkan garis penghubung sebagai tanda bahwa kedua operator telah berhasil dihubungkan.

Mengubah Koneksi Operator

Apabila koneksi perlu diubah, lakukan langkah-langkah berikut :

1. Pilih garis koneksi yang akan diubah.

2. Hapus koneksi sesuai mekanisme yang tersedia pada aplikasi.

3. Buat kembali koneksi ke operator tujuan yang baru.

Menghapus Koneksi Operator

Untuk menghapus koneksi antaroperator, lakukan langkah-langkah berikut.

1. Pilih garis koneksi yang akan dihapus.

2. Klik kanan pada garis koneksi atau gunakan tombol Delete (apabila didukung).

3. Sistem akan menghapus hubungan antar operator.

Contoh Alur Workflow

Contoh sederhana hubungan antaroperator adalah sebagai berikut :

HFS Source

↓
Filter
↓
Join
↓
HFS Sink

Pada contoh di atas :

• HFS Source membaca data dari database HFDS.

• Filter menyaring data sesuai kriteria tertentu.

• Join menggabungkan data dengan sumber lain (jika diperlukan).

• HFS Sink menyimpan hasil pemrosesan ke database HFDS.

📌Catatan

• Pastikan operator dihubungkan sesuai dengan alur proses bisnis yang dirancang.

• Operator yang tidak terhubung tidak akan menjadi bagian dari alur workflow.

• Periksa kembali setiap koneksi sebelum melakukan proses Generate atau Run Workflow.

• Apabila koneksi tidak valid, sistem dapat menampilkan pesan kesalahan atau mencegah proses eksekusi.

Konfigurasi Operator

Tujuan

Fitur Konfigurasi Operator bertujuan untuk mengatur parameter dan properti setiap operator agar dapat berfungsi sesuai dengan kebutuhan proses integrasi data. Setiap operator harus dikonfigurasi sebelum workflow dijalankan.

Deskripsi

Setelah operator ditambahkan ke Workspace dan dihubungkan dengan operator lainnya, pengguna perlu melakukan konfigurasi terhadap operator tersebut. Konfigurasi dilakukan melalui panel Properties yang menampilkan parameter sesuai dengan jenis operator yang dipilih.

Setiap operator memiliki properti yang berbeda-beda sesuai dengan fungsi dan karakteristiknya. Sebagai contoh, operator Source memerlukan konfigurasi sumber data, sedangkan operator Sink memerlukan konfigurasi tujuan penyimpanan data.

Gambar 6.7 Konfigurasi Operator

Komponen Panel Properties

No	Komponen	Deskripsi
1	Operator Name	Menampilkan nama operator yang sedang dipilih.
2	Properties	Menampilkan daftar parameter yang dapat dikonfigurasi.
3	Property Value	Menampilkan atau menerima nilai dari setiap parameter.
4	Apply	Menyimpan perubahan konfigurasi pada operator.
5	Validation	Menampilkan informasi apabila terdapat konfigurasi yang belum lengkap atau tidak valid.

📌Catatan

Komponen yang ditampilkan dapat berbeda tergantung pada jenis operator yang dipilih.

Langkah-Langkah Konfigurasi Operator

Untuk mengonfigurasi operator, lakukan langkah-langkah berikut :

1. Pilih operator pada Workspace.

2. Panel Properties akan menampilkan konfigurasi operator yang dipilih.

3. Lengkapi setiap parameter sesuai kebutuhan.

4. Periksa kembali nilai konfigurasi yang telah diisi.

5. Klik Apply untuk menyimpan perubahan.

Validasi Konfigurasi

Sebelum workflow dijalankan, pastikan seluruh operator telah dikonfigurasi dengan benar. Beberapa kondisi yang dapat menyebabkan konfigurasi tidak valid antara lain :

• Parameter wajib belum diisi.

• Connection belum dipilih.

• Format nilai tidak sesuai.

• Referensi file atau tabel tidak ditemukan.

• Konfigurasi antaroperator tidak sesuai.

Apabila terdapat konfigurasi yang belum lengkap, sistem akan menampilkan informasi kesalahan atau peringatan agar pengguna dapat melakukan perbaikan.

📌Catatan

• Setiap operator memiliki properti yang berbeda sesuai dengan fungsinya.

• Pastikan seluruh parameter wajib telah diisi sebelum melakukan proses Generate Workflow.

• Perubahan konfigurasi harus disimpan menggunakan tombol Apply sebelum berpindah ke operator lain.

• Detail konfigurasi masing-masing operator dijelaskan pada Bab 7 Operator Reference.

Pengelolaan Workflow

Tujuan

Fitur Pengelolaan Workflow bertujuan untuk membantu pengguna dalam mengelola workflow selama proses pengembangan. Melalui fitur ini, pengguna dapat menyimpan, mengimpor, mengekspor, mengambil tangkapan layar (screenshot), serta menerapkan perubahan pada workflow.

Deskripsi

Menu Pengelolaan Workflow terdiri atas beberapa fungsi yang digunakan untuk mendukung aktivitas pengembangan workflow. Fitur-fitur tersebut dapat diakses melalui Toolbar pada halaman Workflow Designer.

Gambar 6.8 Toolbar Workflow Designer

Komponen Workflow

No	Menu	Deskripsi
1	Save	Menyimpan perubahan workflow.
2	Import	Mengimpor workflow ke dalam HGrid247 DE Web.
3	Export	Mengekspor workflow ke file.
4	Screenshot	Mengambil gambar dari workflow yang sedang dibuka.
5	Apply	Menerapkan perubahan konfigurasi workflow sebelum proses berikutnya.

Save Workflow

Tujuan

Menyimpan perubahan yang dilakukan pada workflow.

Deskripsi

Fitur Save digunakan untuk menyimpan seluruh perubahan yang dilakukan pada workflow, termasuk penambahan operator, perubahan konfigurasi, maupun perubahan koneksi antaroperator.

Langkah-Langkah Menyimpan Workflow

1. Pastikan seluruh perubahan telah selesai dilakukan.

2. Klik tombol Save pada Toolbar.

3. Tunggu hingga proses penyimpanan selesai.

4. Sistem akan menampilkan informasi bahwa workflow berhasil disimpan.

📌Catatan

• Simpan workflow secara berkala untuk menghindari kehilangan perubahan.

• Workflow yang belum disimpan tidak akan memperbarui versi yang tersimpan pada sistem.

Import Workflow

Tujuan

Mengimpor workflow yang telah dibuat sebelumnya ke dalam HGrid247 DE Web.

Deskripsi

Fitur Import digunakan untuk memasukkan workflow dari file ke dalam project yang dipilih sehingga workflow dapat digunakan atau dikembangkan kembali.

Langkah-Langkah Import Workflow

1. Pilih project tujuan.

2. Klik Import pada Toolbar.

3. Pilih file workflow.

4. Klik Open.

5. Sistem akan melakukan proses import.

6. Workflow akan ditambahkan ke dalam project.

📌Catatan

• Pastikan file workflow menggunakan format yang didukung oleh sistem.

• Workflow yang diimpor akan menjadi bagian dari project yang dipilih.

Export Workflow

Tujuan

Mengekspor workflow ke dalam file untuk keperluan pencadangan (backup) atau distribusi.

Deskripsi

Fitur Export digunakan untuk menyimpan workflow ke dalam file sehingga dapat dipindahkan ke lingkungan lain atau digunakan sebagai cadangan.

Langkah-Langkah Export Workflow

1. Pilih workflow yang akan diekspor.

2. Klik Export.

3. Tentukan lokasi penyimpanan.

4. Klik Save.

5. Sistem akan menghasilkan file workflow.

📌Catatan

• Gunakan fitur Export sebelum melakukan perubahan besar sebagai cadangan workflow.

• File hasil export dapat digunakan kembali melalui fitur Import.

Screenshot Workflow

Tujuan

Menghasilkan gambar dari workflow yang sedang dibuka.

Deskripsi

Fitur Screenshot digunakan untuk mengambil gambar (capture) dari workflow pada Workspace. Hasil screenshot dapat digunakan sebagai dokumentasi, laporan, maupun kebutuhan presentasi.

Langkah-Langkah Screenshort Workflow

1. Buka workflow yang akan diambil gambarnya.

2. Klik Screenshot.

3. Tentukan lokasi penyimpanan.

4. Sistem akan menyimpan gambar workflow.

Apply Workflow

Tujuan

Menerapkan perubahan konfigurasi yang telah dilakukan pada workflow.

Deskripsi

Fitur Apply digunakan untuk menyimpan perubahan konfigurasi sementara pada workflow sehingga perubahan dapat diterapkan sebelum dilakukan proses Generate atau Run Workflow.

Langkah-Langkah Apply Workflow

1. Pastikan seluruh konfigurasi telah selesai dilakukan.

2. Klik Apply.

3. Tunggu hingga sistem selesai menerapkan perubahan.

📌Catatan

• Disarankan menggunakan Apply setelah melakukan perubahan konfigurasi yang signifikan.

• Lakukan Save setelah proses Apply apabila ingin menyimpan perubahan secara permanen.

Engine

Tujuan

Fitur Engine digunakan untuk menentukan target processing engine yang akan digunakan dalam proses eksekusi workflow. Pemilihan engine akan memengaruhi mekanisme pemrosesan data sesuai dengan platform komputasi yang digunakan.

Deskripsi

Menu Engine menampilkan dialog Processing Target Engine yang berisi daftar engine yang tersedia. Pengguna dapat memilih engine yang sesuai sebelum melakukan proses Generate atau Run Workflow

Gambar 6.9 Processing Target Engine

Komponen Processing Target Engine

No	Komponen	Deskripsi
1	Hadoop Map Reduce	Menggunakan framework Hadoop MapReduce sebagai target pemrosesan workflow.
2	Spark 2.x RDD	Menggunakan Apache Spark dengan pendekatan Resilient Distributed Dataset (RDD).
3	Spark 2.x Dataset	Menggunakan Apache Spark Dataset sebagai target pemrosesan workflow.
4	OK	Menyimpan pilihan engine dan menerapkannya pada workflow.
5	Cancel	Menutup dialog tanpa menyimpan perubahan.

Langkah-Langkah Memilih Engine

Untuk memilih processing engine, lakukan langkah-langkah berikut :

1. Buka workflow yang akan diproses.

2. Klik tombol Engine pada Toolbar.

3. Dialog Processing Target Engine akan ditampilkan.

4. Pilih salah satu engine yang tersedia.

5. Klik OK untuk menyimpan pilihan.

Daftar Engine

1. Hadoop Map Reduce

Engine yang menggunakan framework Hadoop MapReduce untuk menjalankan proses pemrosesan data secara terdistribusi pada lingkungan Hadoop.

2. Spark 2.x RDD

Engine yang menggunakan Apache Spark berbasis Resilient Distributed Dataset (RDD). Engine ini sesuai untuk workflow yang memanfaatkan model pemrosesan data berbasis RDD.

3. Spark 2.x Dataset

Engine yang menggunakan Apache Spark Dataset API sehingga mampu memanfaatkan optimasi pemrosesan data yang tersedia pada Spark.

📌Catatan

• Pilihan engine harus disesuaikan dengan lingkungan cluster yang digunakan.

• Pastikan engine yang dipilih telah tersedia dan dikonfigurasi pada sistem.

• Perubahan engine akan diterapkan setelah pengguna menekan tombol OK.

• Disarankan memilih engine sebelum melakukan proses GenerateWorkflow.

Generate jar

Tujuan

Fitur Generate Jar digunakan untuk menghasilkan (generate) workflow berdasarkan desain dan konfigurasi yang telah dibuat. Pada proses ini, pengguna dapat memilih Additional Library yang akan disertakan agar workflow dapat berjalan sesuai kebutuhan.

Deskripsi

Saat tombol Generate dipilih, sistem akan menampilkan dialog Config Additional Library. Dialog ini berisi daftar library yang tersedia dan dapat dipilih untuk mendukung proses eksekusi workflow.

Pengguna dapat memilih satu atau lebih library sesuai dengan kebutuhan operator atau teknologi yang digunakan pada workflow. Setelah proses generate berhasil, workflow siap untuk dijalankan menggunakan engine yang telah dipilih.

Gambar 6.10 Config Additional Library

Komponen Config Additional Library

No	Komponen	Deskripsi
1	Additional Library	Daftar library yang tersedia dan dapat dipilih untuk disertakan pada proses generate.
2	Library Folder	Menampilkan kelompok atau folder library yang tersedia pada sistem.
3	Checkbox	Digunakan untuk memilih library yang akan disertakan.
4	OK	Memulai proses generate menggunakan library yang dipilih.
5	Cancel	Menutup dialog tanpa melakukan proses generate.

Langkah-Langkah Generate Workflow

Untuk melakukan generate workflow, ikuti langkah-langkah berikut :

1. Pastikan seluruh operator telah dikonfigurasi dengan benar.

2. Pastikan seluruh koneksi antaroperator telah sesuai.

3. Klik tombol Generate pada Toolbar.

4. Dialog Config Additional Library akan ditampilkan.

5. Pilih library yang diperlukan dengan mencentang checkbox pada daftar library.

6. Klik OK.

7. Sistem akan memulai proses generate workflow.

8. Tunggu hingga proses generate selesai.

Memilih Additional Library

Additional Library digunakan untuk menambahkan dependensi atau pustaka yang diperlukan oleh workflow. Library yang dipilih akan disertakan pada proses generate sehingga operator atau fungsi tertentu dapat dijalankan dengan baik.

Pemilihan library sebaiknya disesuaikan dengan kebutuhan workflow. Apabila workflow tidak memerlukan library tambahan, pengguna dapat membiarkan seluruh opsi dalam keadaan tidak dipilih (sesuai dengan konfigurasi sistem).

Hasil Generate

Apabila proses generate berhasil, maka :

• Workflow berhasil dikompilasi sesuai konfigurasi.

• Library yang dipilih akan disertakan pada hasil generate.

• Workflow siap dijalankan menggunakan Run Workflow.

Apabila proses generate gagal, sistem akan menampilkan informasi kesalahan sehingga pengguna dapat melakukan perbaikan sebelum mencoba kembali.

📌Catatan

• Pastikan seluruh konfigurasi operator telah lengkap sebelum melakukan generate.

• Pilih hanya library yang benar-benar dibutuhkan oleh workflow.

• Kesalahan konfigurasi atau dependensi dapat menyebabkan proses generate gagal.

• Disarankan melakukan proses Save sebelum melakukan GenerateWorkflow.

Run Workflow

Tujuan

Fitur Run Workflow digunakan untuk menjalankan workflow yang telah selesai dikonfigurasi dan berhasil melalui proses Generate. Sebelum proses eksekusi dimulai, pengguna dapat menambahkan parameter (arguments) yang diperlukan.

Deskripsi

Menu Run Workflow menampilkan dialog yang digunakan untuk menjalankan workflow. Pada dialog ini, pengguna dapat memilih untuk menambahkan runtime arguments apabila workflow memerlukan parameter tambahan saat proses eksekusi.

Apabila workflow tidak memerlukan parameter tambahan, pengguna dapat langsung menjalankan workflow dengan menekan tombol Submit.

Gambar 6.11 Run Workflow

Komponen Run Workflow

No	Komponen	Deskripsi
1	Add Arguments	Digunakan untuk menambahkan parameter yang akan dikirim saat workflow dijalankan.
2	Arguments Area	Area untuk menampilkan atau mengisi daftar parameter tambahan.
3	Submit	Menjalankan workflow menggunakan konfigurasi yang telah ditentukan.
4	Cancel	Menutup dialog tanpa menjalankan workflow.

Langkah-Langkah Menjalankan Workflow

Untuk menjalankan workflow, lakukan langkah-langkah berikut :

1. Pastikan workflow telah berhasil di-generate.

2. Klik tombol Run Workflow pada Toolbar.

3. Dialog Run Workflow akan ditampilkan.

4. Apabila diperlukan, centang opsi Add Arguments dan masukkan parameter yang dibutuhkan.

5. Klik Submit untuk memulai proses eksekusi.

6. Sistem akan mengirim workflow ke processing engine yang telah dipilih.

7. Status eksekusi dapat dipantau melalui menu Job Management.

Menambahkan Runtime Arguments

Runtime arguments merupakan parameter tambahan yang dikirim saat workflow dijalankan. Parameter ini bersifat opsional dan hanya digunakan apabila workflow atau operator tertentu memerlukannya.

Apabila workflow tidak memerlukan parameter tambahan, pengguna dapat langsung menjalankan workflow tanpa mencentang opsi Add Arguments.

Hasil Eksekusi

Apabila proses berhasil dilakukan, workflow akan dikirim ke processing engine untuk dieksekusi. Informasi mengenai proses eksekusi, seperti status, waktu mulai, waktu selesai, dan log eksekusi, dapat dilihat pada modul Job Management.

Apabila terjadi kesalahan selama proses eksekusi, sistem akan mencatat informasi tersebut sehingga pengguna dapat melakukan analisis dan perbaikan.

📌Catatan

• Pastikan workflow telah berhasil melalui proses Generate sebelum dijalankan.

• Pastikan seluruh operator telah dikonfigurasi dengan benar.

• Gunakan runtime arguments hanya apabila diperlukan oleh workflow.

• Pantau hasil eksekusi melalui modul Job Management untuk mengetahui status dan log proses.

Alur Penggunaan Workflow Designer

Secara umum, penggunaan Workflow Designer mengikuti tahapan berikut :

1. Membuat Project.

2. Membuat Workflow.

3. Menambahkan Operator.

4. Menghubungkan Operator.

5. Mengatur Konfigurasi Operator.

6. Menyimpan Workflow.

7. Melakukan Generate Workflow.

8. Menjalankan Workflow.

9. Memantau hasil eksekusi melalui Job Management.

Diagram alur tersebut memberikan gambaran umum mengenai proses pembuatan workflow pada HGrid247 DE Web.

Workflow Management

Tujuan

Fitur Workflow Management bertujuan untuk mengelola workflow yang digunakan dalam proses integrasi data pada HGrid247 DE Web. Melalui fitur ini, pengguna dapat membuat, membuka, mengubah nama, menghapus, serta mengelola workflow sebelum dilakukan proses pengembangan dan eksekusi.

Deskripsi

Workflow Management merupakan fitur yang digunakan untuk mengelola workflow yang berada di dalam suatu project. Workflow merupakan representasi dari alur pemrosesan data yang dibangun menggunakan operator dan disusun pada area kerja (Workspace).

Setiap workflow disimpan di dalam project dan dapat dikembangkan secara independen tanpa memengaruhi workflow lainnya.

Gambar 6.12 Workflow Management

Struktur Workflow

Setiap workflow terdiri atas rangkaian operator yang saling terhubung membentuk suatu proses integrasi data.

Contoh struktur workflow ditunjukkan pada ilustrasi berikut :

Workflow
│
├── Source
│
├── Assembly
│
└── Sink

Keterangan :

• Source digunakan untuk membaca data dari sumber data.

• Assembly digunakan untuk melakukan transformasi atau pemrosesan data.

• Sink digunakan untuk menyimpan hasil pemrosesan data ke tujuan akhir.

Komponen Workflow Management

No	Komponen	Deskripsi
1	Workflow	Menampilkan daftar workflow yang terdapat pada project yang dipilih.
2	Context Menu	Menampilkan daftar aksi yang dapat dilakukan terhadap workflow melalui klik kanan.
3	Workspace	Area kerja yang digunakan untuk menyusun workflow.

Membuka Workflow

Untuk membuka workflow, lakukan langkah-langkah berikut.

1. Pilih project yang berisi workflow.

2. Klik dua kali (double-click) pada nama workflow atau pilih Open melalui Context Menu.

3. Workflow akan ditampilkan pada Workspace.

Membuat Workflow

Workflow baru dapat dibuat melalui Project Management maupun Context Menu pada project.

Langkah-langkahnya sebagai berikut :

1. Pilih project tujuan.

2. Klik kanan pada project.

3. Pilih New Workflow.

4. Masukkan nama workflow.

5. Klik OK atau Create.

6. Workflow akan ditambahkan ke dalam project.

Mengubah Nama Workflow

1. Pilih workflow yang akan diubah.

2. Klik kanan pada workflow.

3. Pilih Rename Workflow.

4. Masukkan nama workflow yang baru.

5. Klik OK untuk menyimpan perubahan.

Menghapus Workflow

1. Pilih workflow yang akan dihapus.

2. Klik kanan pada workflow.

3. Pilih Delete Workflow.

4. Konfirmasikan proses penghapusan.

5. Sistem akan menghapus workflow dari project.

📌Catatan

Workflow yang telah dihapus tidak dapat digunakan kembali. Pastikan workflow telah dicadangkan apabila masih diperlukan.

📌Catatan

• Setiap workflow harus berada di dalam sebuah project.

• Nama workflow sebaiknya mencerminkan proses bisnis atau fungsi yang dijalankan.

• Satu project dapat memiliki lebih dari satu workflow.

• Workflow yang telah dibuat dapat dikembangkan lebih lanjut dengan menambahkan operator pada Workspace.

Referensi Operator

Tujuan

Bab ini menjelaskan seluruh operator yang tersedia pada HGrid247 DE Web beserta fungsi, konfigurasi, dan cara penggunaannya. Referensi ini bertujuan membantu pengguna memahami setiap operator sehingga dapat digunakan sesuai dengan kebutuhan dalam membangun workflow.

Kategori Operator

Operator pada HGrid247 DE Web dikelompokkan menjadi tiga kategori sebagai berikut.

Kategori	Deskripsi
Source	Operator yang digunakan untuk membaca data dari berbagai sumber.
Assembly	Operator yang digunakan untuk memproses, mentransformasi, dan memvalidasi data.
Sink	Operator yang digunakan untuk menyimpan hasil pemrosesan data ke tujuan tertentu.

Source Operator

HFS Source

1. Tujuan

Operator HFS (HDFS) Source digunakan untuk membaca data yang tersimpan pada Hadoop Distributed File System (HDFS) sebagai sumber data (input) dalam suatu workflow.

3. Deskripsi

Operator HFS (HDFS) Source berfungsi mengambil data dari file atau direktori yang berada pada HDFS. Data yang berhasil dibaca akan diteruskan ke operator berikutnya untuk dilakukan proses transformasi, validasi, maupun penyimpanan sesuai dengan alur workflow yang telah dibuat.

Operator ini juga mendukung koneksi ke Hive Metastore untuk memperoleh metadata, sehingga memudahkan pengguna dalam mengakses dan mengelola data yang tersimpan pada lingkungan Hadoop.

Tampilan Operator

4. Properties

Property	Wajib	Deskripsi
JDBC Driver Class	Ya*	Menentukan kelas JDBC Driver yang digunakan untuk menghubungkan aplikasi ke Hive Server. Secara default menggunakan org.apache.hive.jdbc.HiveDriver.
Hive URL	Ya*	Menentukan alamat koneksi (URL) Hive Server yang digunakan untuk mengakses metadata Hive.
Hive User Name	Tidak	Nama pengguna (username) yang digunakan untuk melakukan autentikasi ke Hive Server apabila diperlukan.
Hive Password	Tidak	Kata sandi (password) yang digunakan untuk autentikasi ke Hive Server.
Meta Data	Tidak	Mengambil metadata dari Hive Server, seperti daftar database, tabel, dan struktur data yang tersedia.
Input Path	Ya	Menentukan lokasi file atau direktori pada HDFS yang akan dibaca sebagai sumber data.
Browse	Tidak	Membuka dialog untuk memilih lokasi file atau direktori pada HDFS.
Default File System	Ya	Menentukan file system HDFS yang digunakan sebagai lokasi penyimpanan data.
Combine Input	Tidak	Menggabungkan beberapa file input menjadi satu proses pembacaan sehingga dapat meningkatkan efisiensi pemrosesan.
Include Source Filename	Tidak	Menambahkan nama file sumber sebagai salah satu field pada hasil pembacaan data. Opsi ini tersedia ketika Combine Input diaktifkan.
Delimiter	Kondisional	Menentukan karakter pemisah (delimiter) saat membaca file teks. Properti ini digunakan apabila format file memerlukan delimiter tertentu.

Catatan
Properti yang diberi tanda Ya* wajib diisi apabila operator menggunakan koneksi ke Hive Metastore. Apabila data dibaca langsung melalui Input Path, konfigurasi tersebut dapat disesuaikan dengan kebutuhan lingkungan sistem.

5. Langkah Penggunaan

1. Tambahkan operator HFS (HDFS) Source ke area workflow.

2. Hubungkan operator dengan operator berikutnya sesuai alur proses.

3. Apabila menggunakan Hive Metastore, isi informasi koneksi seperti JDBC Driver Class, Hive URL, Hive User Name, dan Hive Password.

4. Klik tombol Meta Data untuk mengambil informasi metadata dari Hive (opsional).

5. Tentukan lokasi file atau direktori pada kolom Input Path atau gunakan tombol Browse.

6. Pilih Default File System yang akan digunakan.

7. Aktifkan Combine Input apabila ingin menggabungkan beberapa file input dalam satu proses pembacaan.

8. Atur Delimiter apabila membaca file teks yang menggunakan karakter pemisah tertentu.

9. Klik OK untuk menyimpan konfigurasi operator.

📌Catatan

• Pastikan Hive Server dapat diakses apabila menggunakan koneksi ke Hive Metastore.

• Pastikan lokasi Input Path mengarah ke file atau direktori yang valid pada HDFS.

• Gunakan Delimiter yang sesuai apabila membaca file teks seperti CSV atau TXT.

• Fitur Combine Input direkomendasikan ketika membaca banyak file berukuran kecil agar proses lebih efisien.

• Pastikan pengguna memiliki hak akses terhadap file atau direktori pada HDFS sebelum menjalankan workflow.

XML Source

1. Tujuan

Operator XML Source digunakan untuk membaca data yang tersimpan dalam format XML (eXtensible Markup Language) sebagai sumber data (input) dalam suatu workflow.

2. Deskripsi

Operator XML Source berfungsi mengambil data dari file XML yang tersimpan pada sistem penyimpanan, kemudian mengubah struktur data XML menjadi dataset yang dapat diproses oleh operator berikutnya pada workflow.

Operator ini mendukung pembacaan file XML berdasarkan Root Tag yang ditentukan sehingga proses parsing data menjadi lebih terstruktur dan sesuai dengan format dokumen XML yang digunakan.

Tampilan Operator

3. Properties

Property	Wajib	Deskripsi
Root Tag	Ya	Menentukan elemen utama (root element) pada file XML yang akan dibaca sebagai sumber data.
Input Path	Ya	Menentukan lokasi file XML yang akan dibaca.
Browse	Tidak	Membuka dialog untuk memilih lokasi file XML.
Default File System	Ya	Menentukan file system yang digunakan untuk mengakses file XML.
Argument Order	Tidak	Menentukan urutan argumen atau struktur pembacaan data XML apabila diperlukan oleh konfigurasi workflow.
Combine Input	Tidak	Menggabungkan beberapa file XML menjadi satu proses pembacaan untuk meningkatkan efisiensi pemrosesan.
Include Source Filename	Tidak	Menambahkan nama file sumber sebagai salah satu field pada hasil pembacaan data. Opsi ini tersedia apabila Combine Input diaktifkan.
Delimiter	Kondisional	Menentukan karakter pemisah (delimiter) apabila hasil pembacaan data memerlukan pemisahan berdasarkan karakter tertentu.

4. Langkah Penggunaan

1. Tambahkan operator XML Source ke area workflow.

2. Hubungkan operator dengan operator berikutnya sesuai kebutuhan.

3. Isi Root Tag sesuai dengan elemen utama pada file XML.

4. Tentukan lokasi file XML pada kolom Input Path atau gunakan tombol Browse.

5. Pilih Default File System yang digunakan.

6. Apabila diperlukan, atur Argument Order sesuai struktur data XML.

7. Aktifkan Combine Input apabila ingin membaca beberapa file XML dalam satu proses.

8. Klik OK untuk menyimpan konfigurasi operator.

Catatan

• Pastikan file XML memiliki struktur yang valid (well-formed XML).

• Nilai Root Tag harus sesuai dengan elemen utama pada dokumen XML.

• Pastikan lokasi Input Path dapat diakses oleh sistem.

• Gunakan Combine Input apabila terdapat banyak file XML yang akan diproses secara bersamaan.

• Pastikan pengguna memiliki hak akses terhadap file XML sebelum menjalankan workflow.

JDBC Source

1. Tujuan

Operator JDBC Source digunakan untuk membaca data dari database relasional melalui koneksi Java Database Connectivity (JDBC) sebagai sumber data (input) dalam suatu workflow.

2. Deskripsi

Operator JDBC Source berfungsi mengambil data dari berbagai jenis database yang mendukung JDBC, seperti MySQL, PostgreSQL, Oracle, SQL Server, dan database relasional lainnya. Data diambil berdasarkan query SQL yang dikonfigurasi oleh pengguna, kemudian diteruskan ke operator berikutnya untuk diproses lebih lanjut.

Selain mendukung pembacaan data secara penuh (full load), operator ini juga mendukung pembacaan data secara paralel (partitioning) dan incremental untuk meningkatkan performa pemrosesan data berukuran besar.

Gambar 7.1 Tampilan Operator

4. Properties

Property	Wajib	Deskripsi
Driver Class Name	Ya	Menentukan JDBC Driver yang digunakan untuk menghubungkan HGrid247 DE Web dengan database tujuan.
URL Connection	Ya	Menentukan URL koneksi menuju database yang akan diakses.
Username	Ya	Nama pengguna (username) yang digunakan untuk mengakses database.
Password	Ya	Kata sandi (password) pengguna database.
Meta Data	Tidak	Mengambil metadata database, seperti daftar tabel dan struktur kolom, untuk mempermudah konfigurasi query.
Query Statement	Ya	Perintah SQL yang digunakan untuk mengambil data dari database.
Fetch Size	Tidak	Menentukan jumlah data yang dibaca setiap kali proses pengambilan data (fetch). Pengaturan ini dapat membantu mengoptimalkan penggunaan memori.
Field Value Character Separator	Tidak	Menentukan karakter pemisah antar field pada hasil pembacaan data apabila diperlukan.
Show	Tidak	Menentukan jumlah data yang akan ditampilkan saat melakukan pratinjau (preview) hasil query.
Data	Tidak	Menampilkan hasil pratinjau data berdasarkan query yang telah dikonfigurasi.
Partition/Mapper Num	Tidak	Menentukan jumlah partisi atau mapper yang digunakan untuk membaca data secara paralel.
Partition & Last Updated Field	Tidak	Menentukan nama field yang digunakan sebagai dasar partisi atau proses incremental.
Incremental	Tidak	Mengaktifkan proses pembacaan data secara incremental berdasarkan field yang ditentukan.

5. Langkah Penggunaan

1. Tambahkan operator JDBC Source ke area workflow.

2. Hubungkan operator dengan operator berikutnya.

3. Pilih Driver Class Name sesuai jenis database yang digunakan.

4. Masukkan URL Connection, Username, dan Password.

5. Klik Meta Data apabila ingin mengambil informasi metadata dari database (opsional).

6. Masukkan Query Statement untuk mengambil data yang dibutuhkan.

7. Atur Fetch Size apabila diperlukan untuk mengoptimalkan performa pembacaan data.

8. Jika menggunakan pemrosesan paralel, isi Partition/Mapper Num dan Partition & Last Updated Field.

9. Aktifkan Incremental apabila hanya ingin memproses data baru atau data yang mengalami perubahan.

10. Klik OK untuk menyimpan konfigurasi operator.

Catatan

• Pastikan JDBC Driver telah tersedia pada sistem.

• Pastikan informasi koneksi database telah dikonfigurasi dengan benar.

• Query SQL harus valid dan dapat dijalankan pada database tujuan.

• Gunakan fitur Partition untuk meningkatkan performa pembacaan data dalam jumlah besar.

• Gunakan fitur Incremental apabila hanya ingin memproses data yang baru ditambahkan atau diperbarui sehingga waktu pemrosesan menjadi lebih efisien.

• Sesuaikan nilai Fetch Size dengan kapasitas memori dan jumlah data yang diproses agar performa tetap optimal.

RDBMS Source 1

1. Tujuan

Operator RDBMS Source 1 digunakan untuk membaca data dari Relational Database Management System (RDBMS) sebagai sumber data (input) dalam suatu workflow.

2. Deskripsi

Operator RDBMS Source 1 berfungsi mengambil data dari berbagai database relasional, seperti MySQL, PostgreSQL, Oracle, SQL Server, dan database lain yang didukung. Data diambil berdasarkan query SQL yang dikonfigurasi oleh pengguna dan diteruskan ke operator berikutnya untuk diproses.

Operator ini mendukung konfigurasi partitioning sehingga proses pembacaan data dapat dilakukan secara paralel untuk meningkatkan performa pada dataset berukuran besar.

Gambar 7.2 Tampilan Operator

3. Properties

Property	Wajib	Deskripsi
Driver Class Name	Ya	Menentukan JDBC Driver yang digunakan untuk menghubungkan HGrid247 DE Web dengan database.
URL Connection	Ya	Menentukan URL koneksi menuju database yang akan diakses.
Username	Ya	Nama pengguna (username) untuk mengakses database.
Password	Ya	Kata sandi (password) pengguna database.
Meta Data	Tidak	Mengambil metadata database, seperti daftar tabel dan struktur kolom, untuk mempermudah konfigurasi query.
Query Statement	Ya	Perintah SQL yang digunakan untuk mengambil data dari database.
Fetch Size	Tidak	Menentukan jumlah data yang dibaca setiap proses pengambilan data (fetch).
Field Value Character Separator	Tidak	Menentukan karakter pemisah (separator) antar field pada hasil pembacaan data. Secara default menggunakan karakter pipe ( | ).
Show	Tidak	Menentukan jumlah data yang ditampilkan saat melakukan pratinjau (preview).
Data	Tidak	Menampilkan hasil pratinjau data berdasarkan query yang telah dikonfigurasi.
Partition Field	Tidak	Menentukan field yang digunakan sebagai dasar pembagian data (partitioning).
Number of Partition	Tidak	Menentukan jumlah partisi yang digunakan untuk membaca data secara paralel.
Incremental	Tidak	Mengaktifkan pembacaan data secara incremental berdasarkan perubahan data pada database.

4. Langkah Penggunaan

1. Tambahkan operator RDBMS Source 1 ke area workflow.

2. Hubungkan operator dengan operator berikutnya.

3. Pilih Driver Class Name sesuai jenis database yang digunakan.

4. Masukkan URL Connection, Username, dan Password.

5. Klik Meta Data apabila ingin mengambil metadata dari database (opsional).

6. Masukkan Query Statement untuk mengambil data yang diperlukan.

7. Atur Fetch Size apabila diperlukan untuk mengoptimalkan performa pembacaan data.

8. Apabila menggunakan pemrosesan paralel, tentukan Partition Field dan Number of Partition.

9. Aktifkan Incremental apabila hanya ingin memproses data yang baru atau telah diperbarui.

10. Klik OK untuk menyimpan konfigurasi operator.

Catatan

• Pastikan koneksi database telah dikonfigurasi dengan benar.

• Query SQL harus valid dan dapat dijalankan pada database tujuan.

• Secara default, hasil pembacaan data menggunakan karakter pipe ( | ) sebagai pemisah antar field.

• Gunakan fitur Partition untuk meningkatkan performa pembacaan data dalam jumlah besar.

• Gunakan fitur Incremental apabila hanya ingin memproses data yang mengalami penambahan atau perubahan sehingga proses menjadi lebih efisien.

• Pastikan pengguna memiliki hak akses untuk membaca data dari database sebelum menjalankan workflow.

RDBMS Source 2

1. Deskripsi

RDBMS Source 2 adalah operator Source yang digunakan untuk mengambil data dari database relasional (RDBMS). Berbeda dengan RDBMS Source, operator ini mengharuskan pengguna mendefinisikan struktur output (OutputRecord) secara manual pada panel Fields Declaration. Jumlah field yang dibuat pada OutputRecord harus sama dengan jumlah kolom yang dihasilkan oleh query SQL.

2. Tujuan

Operator RDBMS Source 2 digunakan untuk:

• Mengambil data dari database relasional menggunakan query SQL.

• Mendefinisikan struktur output secara manual sebelum data diproses.

• Memberikan kontrol lebih terhadap tipe data dan nama field yang akan digunakan pada workflow.

• Memastikan hasil query sesuai dengan struktur data yang dibutuhkan oleh operator berikutnya.

3. Cara Menggunakan

1. Tambahkan RDBMS Source 2 ke area workflow.

2. Buka Properties dengan klik dua kali pada operator.

3. Isi informasi koneksi database.

4. Klik Meta Data apabila metadata koneksi tersedia.

5. Masukkan Query Statement yang akan dijalankan.

6. Atur parameter pembacaan data sesuai kebutuhan.

7. Pada panel Fields Declaration, tambahkan field pada OutputRecord.

8. Pastikan jumlah field pada OutputRecord sama dengan jumlah kolom yang dihasilkan oleh query SQL.

9. Klik OK untuk menyimpan konfigurasi.

4. Penjelasan Properti

Properti	Deskripsi
Driver Class Name	Driver JDBC yang digunakan untuk menghubungkan aplikasi ke database.
URL Connection	Alamat koneksi menuju database.
Username	Username database.
Password	Password database.
Meta Data	Mengambil metadata tabel atau struktur database yang tersedia.
Query Statement	Query SQL yang digunakan untuk mengambil data.
Fetch Size	Menentukan jumlah record yang dibaca dalam satu proses pengambilan data.
Show	Menampilkan preview hasil query sesuai jumlah record yang ditentukan.
Data	Menampilkan hasil query sebagai preview sebelum workflow dijalankan.
Partition Field	Field yang digunakan sebagai dasar pembagian proses pembacaan data secara paralel.
Number of Partition	Jumlah partisi yang akan digunakan saat membaca data.
Incremental	Mengaktifkan pembacaan data secara bertahap berdasarkan field tertentu.
Fields Declaration	Area untuk mendefinisikan struktur output (OutputRecord) secara manual.
OutputRecord	Berisi daftar field yang akan menjadi output dari operator. Jumlah field harus sesuai dengan jumlah kolom hasil query SQL.

Catatan

• OutputRecord wajib didefinisikan secara manual.

• Jumlah field pada OutputRecord harus sama dengan jumlah kolom yang dihasilkan oleh Query Statement.

• Nama field pada OutputRecord sebaiknya disesuaikan dengan nama kolom hasil query agar memudahkan proses transformasi berikutnya.

• Apabila jumlah field tidak sesuai, proses validasi atau eksekusi workflow dapat gagal.

• Gunakan tombol Data untuk memastikan query menghasilkan data yang sesuai sebelum workflow dijalankan.

Parquet Source

1. Deskripsi

Parquet Source adalah operator Source yang digunakan untuk membaca data dari file berformat Apache Parquet yang tersimpan pada HDFS atau file system lainnya. Operator ini mendukung pengambilan metadata Hive serta mendefinisikan struktur output secara manual melalui OutputRecord.

2. Tujuan

Operator Parquet Source digunakan untuk :

• Membaca data dari file berformat Parquet.

• Mengambil metadata Hive apabila file berasal dari Hive.

• Menentukan lokasi file Parquet yang akan diproses.

• Mendefinisikan struktur output yang akan digunakan pada workflow.

3. Cara Menggunakan

1. Tambahkan Parquet Source ke area workflow.

2. Buka Properties dengan klik dua kali pada operator.

3. Apabila menggunakan Hive, isi parameter koneksi Hive Server.

4. Klik Meta Data untuk mengambil metadata Hive (opsional).

5. Tentukan lokasi file pada Input Path.

6. Pilih Default File System yang digunakan.

7. Tambahkan field pada OutputRecord sesuai struktur file Parquet yang akan dibaca.

8. Klik OK untuk menyimpan konfigurasi.

4. Penjelasan Properti

Properti	Deskripsi
JDBC Driver Class	Driver JDBC yang digunakan untuk menghubungkan ke Hive Server.
Hive URL	Alamat koneksi menuju Hive Server.
Hive User Name	Username untuk mengakses Hive.
Hive Password	Password untuk mengakses Hive.
Meta Data	Mengambil metadata Hive untuk membantu konfigurasi dataset.
Input Path	Lokasi file Parquet yang akan dibaca.
Default File System	Menentukan file system yang digunakan, seperti HDFS atau Local File System.
Fields Declaration	Area untuk mendefinisikan struktur output data yang dihasilkan operator.
OutputRecord	Berisi daftar field hasil pembacaan file Parquet yang akan diteruskan ke operator berikutnya.

Catatan

• Pastikan Input Path mengarah ke file atau folder Parquet yang valid.

• Parameter Hive hanya diperlukan apabila metadata diambil melalui Hive Metastore.

• OutputRecord harus disesuaikan dengan struktur data pada file Parquet.

• Gunakan Default File System yang sesuai dengan lokasi penyimpanan file.

• Kesalahan konfigurasi struktur field dapat menyebabkan proses pembacaan data gagal atau menghasilkan data yang tidak sesuai.

ORC Source

1. Deskripsi

ORC Source adalah operator Source yang digunakan untuk membaca data dari file berformat Apache ORC (Optimized Row Columnar) yang tersimpan pada HDFS atau file system lainnya. Operator ini mendukung pengambilan metadata Hive serta memungkinkan pengguna mendefinisikan struktur output secara manual melalui OutputRecord.

2. Tujuan

Operator ORC Source digunakan untuk:

• Membaca data dari file berformat ORC.

• Mengambil metadata Hive apabila file berasal dari Hive.

• Menentukan lokasi file ORC yang akan diproses.

• Mendefinisikan struktur output yang akan digunakan pada workflow.

3. Cara Menggunakan

1. Tambahkan ORC Source ke area workflow.

2. Buka Properties dengan klik dua kali pada operator.

3. Apabila menggunakan Hive, isi parameter koneksi Hive Server.

4. Klik Meta Data untuk mengambil metadata Hive (opsional).

5. Tentukan lokasi file pada Input Path.

6. Pilih Default File System yang digunakan.

7. Tambahkan field pada OutputRecord sesuai struktur file ORC yang akan dibaca.

8. Klik OK untuk menyimpan konfigurasi.

4. Penjelasan Properti

Properti	Deskripsi
JDBC Driver Class	Driver JDBC yang digunakan untuk menghubungkan ke Hive Server.
Hive URL	Alamat koneksi menuju Hive Server.
Hive User Name	Username untuk mengakses Hive.
Hive Password	Password untuk mengakses Hive.
Meta Data	Mengambil metadata Hive untuk membantu konfigurasi dataset.
Input Path	Lokasi file ORC yang akan dibaca.
Default File System	Menentukan file system yang digunakan, seperti HDFS atau Local File System.
Fields Declaration	Area untuk mendefinisikan struktur output data yang dihasilkan operator.
OutputRecord	Berisi daftar field hasil pembacaan file ORC yang akan diteruskan ke operator berikutnya.

📌Catatan

• Pastikan Input Path mengarah ke file atau folder ORC yang valid.

• Parameter Hive hanya diperlukan apabila metadata diambil melalui Hive Metastore.

• OutputRecord harus disesuaikan dengan struktur data pada file ORC.

• Gunakan Default File System yang sesuai dengan lokasi penyimpanan file.

• Kesalahan konfigurasi struktur field dapat menyebabkan proses pembacaan data gagal atau menghasilkan data yang tidak sesuai.

📌Catatan

Secara fungsi, ORC Source dan Parquet Source memiliki alur konfigurasi yang hampir sama. Perbedaan utamanya hanya pada jenis format file yang dibaca, yaitu ORC untuk ORC Source dan Parquet untuk Parquet Source.

Assembly Operator

Transformator

Pipe

Split

Group By

Join

Aggregator

Filter

Split Filter

Combiner

Buffer

Buffer Transformation

UDF Function

Pre Join

Post Join

Merge

Duplicate Check

Bloom Filter Member Check

Hash Member Check

Top N

Pipe Splitter

Reference Join

Debug

Sink Operator

HFS (HDFS) Sink

XML Sink

JDBC Sink

RDBMS Sink 1

RDBMS Sink 2

Parquet Sink

ORC Sink