Release 1.0.0 Nomor Dokumen Februari 2026,

Daftar Isi

Daftar Isi i

Daftar Gambar ii

1. Pengenalan 1

2. Persyaratan 1

3. Contoh [Run Example Python Generator] 1

4. Contoh [Sentiment Analysus] 1

Daftar Gambar

Pengenalan

HGrid247 DE Web adalah development tools pemrosesan Big Data berbasis web yang dirancang untuk menyederhanakan alur kerja data terdistribusi (distributed data workflow).

Dengan antarmuka visual (UI/UX) yang intuitif serta metode drag-and-drop, development tools ini memungkinkan pengguna untuk membangun, mengelola, dan memantau workflow data dari sumber (Source) ke tujuan (Sink) tanpa harus menulis kode yang rumit secara manual.

Persyaratan

1. MIT Kerberos

Ikuti langkah-langkah berikut untuk instalasi klien MIT Kerberos:

1. Unduh file instalasi 'MIT Kerberos for Windows 4.1' untuk Windows 64-bit pada URL: kfw-4.1-amd64.msi

2. Untuk menjalankan instalasi, klik dua kali file .msi yang sudah diunduh tersebut.

3. Klik Next.

Gambar 2. 1. Install MIT Kerberos

4. Pada jendela End-User License Agreement, pilih "I accept..." lalu klik Next.

Gambar 2. 2. End-User License Agreement

5. Untuk jendela Choose Setup Type, pilih Typical.

Gambar 2. 3. Choose Setup Type

6. Selanjutnya klik tombo Install pada jendela Ready to Install.

Gambar 2. 4. Ready to Install

7. Pada jendela “Completing the MIT Kerberos for…”, klik tombol Finish.

Gambar 2. 5. Completing

8. Untuk memastikan apakah KfW 4.0.x telah berhasil di-install, lihat shortcut MIT Kerberos Ticket Manager di desktop atau di Start Menu (pengguna Windows 10 mungkin perlu memulai ulang Windows sebelum MIT Kerberos berfungsi dengan benar).

Gambar 2. 6. Berhasil Instalasi MIT Kerberos

Windows Environment Configuration

1. Buat file konfigurasi utama Kerberos 'krb5.conf' pada direktori tertentu, lalu isi dengan baris berikut:

2. Mengatur Environment Variables

Pada kotak dialog Environment Variables dua path yang dapat diatur yaitu User Variables dan System Variables. User Variables hanya berlaku untuk pengguna tertentu sedangkan, System Variables berlaku untuk semua pengguna. Untuk menggunakan dan mengatur Environment Variable, ikuti langkah-langkah di bawah ini:

1. Cari 'Edit environment variables for your account'.

2. Buka Start Menu dan ketikkan : 'Edit environment variables for your account' pada kotak pencarian.

Gambar 2. 7. Edit environment variables for your account

3. Klik tombol New untuk membuat Environment Variables baru.

Gambar 2. 8. New Edit Environment

4. Tambahkan variable KRB5_CONF dan KRB5CCNAME di User Variables.

5. Sesuaikan nama variabel dengan gambar di bawah ini dan sesuaikan tempat path file berada.

Gambar 2. 9. enyesuaikan Edit Environment

6. Pastikan path MIT Kerberos telah tersedia seperti pada gambar berikut:

Gambar 2. 10. path MIT Kerberos

3. Mengatur hostname pada laptop.

Untuk mengatur hostname, ikuti langkah-langkah di bawah ini:

1. Untuk windows 10, tekan tombol Windows.

2. Ketik Notepad di kolom pencarian.

3. Pada hasil pencarian, klik kanan Notepad tersebut dan pilih Run as administrator.

4. Dari Notepad, buka file berikut: c:\Windows\System32\Drivers\etc\hosts

5. Lakukan perubahan dengan menambahkan konfigurasi alamat IP dan domainnya seperti berikut pada baris terakhir:

172.16.10.11	yava02.labs247.id
172.16.10.12	yava03.labs247.id
172.16.10.13	yava01.labs247.id
172.16.10.15	yava04.labs247.id

6. Simpan file tersebut dengan cara klik File > Simpan.

7. Untuk versi Windos atau sistem operasi lainnya, dapat menyesuaikan dengan langkah konfigurasi di atas.

Firefox Configuration

Untuk konfigurasi broser (dalam hal ini hanya dapat menggunakan

broser Firefox), berikut langkah-langkahnya:

1. Buka broser Firefox, ketik about:config pada kolom pencarian (URL) dan tekan enter Search for, kemudian ganti parameter-parameter di bawah ini beserta *details-*nya:

   1. network.negotiate-auth.trusted-uris = .labs247.id

   2. network.negotiate-auth.using-native-gsslib = False

   3. network.negotiate-auth.gsslib = C:\Program Files\MIT\Kerberos\bin\gssapi32.dll atau gssapi64.dll (jika 64bit)

   4. network.auth.use-sspi = False

   5. network.negotiate-auth.allow-non-fqdn = True

2. Lalu buka RM (Resourceanager) Web UI pada URL:

http://yava01.labs247.id:8088/cluster atau http://172.16.10.13:8088/cluster

Gambar 2. 11. Konfigurasi Firefox

Referensi:

https://community.hortonworks.com/articles/28537/user-authentication-from-windows-workstation-to-hd.html

3. Untuk melakukan autentikasi Kerberos, ikuti langkah-langkah berikut:

   1. Donload Keytab dan letakkan pada direktori yang aman dari proses penghapusan.

Gambar 2. 12. Autentikasi Kerberos

2. Masuk ke CMD (Command Prompt), lalu masuk ke direktori bin MIT.

3. Lakukan Kinit menggunakan perintah seperti gambar di bawah ini:

Gambar 2. 13. Kinit

4. Untuk memastikan Kinit berjalan atau tidak yaitu dengan mengakses Ambari Web. Pilih salah satu service, kemudian pilih salah satu Quick Links. Pastikan link tersebut dapat di akses.

Gambar 2. 14. Quick Links

Contoh Sales Transaction Summary by City and Sales ID

Pada bab ini, Anda akan mempelajari alur kerja (workflow) implementasi HGrid247 DE Web dari tahap awal mengunggah file data mentah ke HDFS, membuat proyek, merangkai operator transformasi, hingga menghasilkan ringkasan statistik transaksi penjualan per Kota dan Sales ID.

Skenario Use Case:

Sebuah file mentah txt berisi catatan transaksi penjualan harian disimpan di HDFS. Struktur baris mentah belum memiliki skema kolom yang terpisah. Kita akan memecah baris tersebut, menghitung total harga per item, melakukan agregasi (jumlah transaksi, harga tertinggi, dan harga terendah) per Kota dan Sales ID, lalu menggabungkannya kembali menjadi format ringkasan untuk disimpan ke HDFS.

Persiapan Data Input ke HDFS

Langkah pertama adalah memastikan file data mentah data01.txt telah berada di dalam direktori HDFS.

1. Masuk ke aplikasi HGrid247 DE Web dengan kredensial Anda.

2. Pada Sidebar Menu, klik HDFS browser.

3. Navigasikan ke direktori tujuan, misalnya /user/userdev/akbar/data.

4. Klik tombol Upload, lalu pilih file data01.txt dari komputer Anda.

Create Project

Sebelum mengimport workflow, buat direktori proyek terlebih dahulu pada panel Project:

1. Klik kanan pada area kosong di panel Project (atau klik ikon folder baru) lalu Pilih Create New Project..
   

2. Masukkan nama proyek, misalnya usecase, lalu klik OK.

Import Workflow\

Setelah project berhasil dibuat, langkah selanjutnya yaitu melakukan import workflow ''Transaction_summary.csd” yang berada di dalam folder 'getting_started.zip'. Berikut langkah-langkahnya:

1. Klik 'Import' pada menu toolbar.
   

2. Pilih 'Transaction_summary.csd' dari desktop Anda, lalu klik 'Open'.
   

3. Workflow ''Transaction_summary.csd' akan tampil pada panel workflow. Sebelum digunakan, simpan terlebih dahulu workflow ke dalam project 'usecase' yang sudah dibuat dengan cara klik 'Save' pada toolbar.

4. Pilih tab Existing Project dan pilih usecase pada kolom Project Name.
   

5. Masukkan nama workflow dan klik tombol OK.
   

6. Kemudian workflow akan tersimpan ke dalam project my_project.

Generate Jar
Pastikan konfigurasi input-output workflow 'Transaction_summary' yang sudah diimpor dapat dijalankan. Berikut langkah-langkah yang perlu dilakukan untuk mengenerate jar workflow:

1. set engine yang ingin di gunakan terlebih dahulu, klik tombol ‘engine’ pada menu toolbar kemudian select engine yang ingin digunakan.
   

2. setelah set engine klik tombol ‘generate’ pada menu toolbar, kemudian pilih additional library apabila di perlukan, lalu klik ok untuk mengenerate jarnya.

3. apabila generate jar berhasil di jalankan maka akan tampil pemberitahuan status ganerate dan path/lokasi dimana file jar terinstall.

Run Workflow
Pastikan konfigurasi input-output workflow 'Transaction_summary' yang sudah diimpor dapat dijalankan dan jar dari workflow tersebut sudah ter generate. Berikut langkah-langkah yang perlu dilakukan untuk menjalankan workflow:

1. klik tombol ‘run workflow’ pada menu toolbar, kemudian akan muncul pop up untuk mengisi path sumber data dan path hasil output.

2. untuk menulis pathnya pada input area, klik check box add argument terlebih dahulu.

3. setalah itu isi input dengan rules seperti ini “/path/sumber/data /path/hasil/output”, yang di ambil dari hdfs browser.

4. lalu klik tombol submit untuk menjalankan workflow.

5. kemudian akan ada pop up message yang akan menginformasikan jika workflow berhasil dijalankan.

Log Job Management

Setelah memastikan workflow sudah berhasil di jalankan, langkah selanjutnya adalah memeriksa jalan nya workflow melalui menu job management, berikut cara memeriksanya:

1. klik tombol job management di bagian side bar sebelah kiri.

2. kemudian kita dapat melihat seluruh workflow yang sudah pernah kita jalankan.

3. untuk melihat log dan juga status dari workflow yang sudah kita jalankan, kita dapat melihat row paling atas.

4. kemudian untuk lihat log dari workflow yang sudah kita run kita bisa klik tombol “logs” yang ada di sebelah kanan.

Memeriksa Hasil Output

Setelah memastikan hasil run workflow sukses, maka langkah selanjutnya adalah melihat output dari workflow yang sudah kita jalankan dengan cara sebagai berikut:

1. klik tombol “hdfs browser” yang ada pada side bar sebelah kiri.

2. kemudian menuju path output yang sebelumnya kita define pada saat run workflow.

YouTube Video Statistics Aggregation by Category

Persiapan Data Input ke HDFS

Langkah pertama adalah memastikan file data mentah youtube_videos.csv telah berada di dalam direktori HDFS.

5. Masuk ke aplikasi HGrid247 DE Web dengan kredensial Anda.

6. Pada Sidebar Menu, klik HDFS browser.

7. Navigasikan ke direktori tujuan, misalnya /user/userdev/akbar/data.

8. Klik tombol Upload, lalu pilih file youtube_videos.csv dari komputer Anda.

Create Project

Sebelum mengimport workflow, buat direktori proyek terlebih dahulu pada panel Project:

3. Klik kanan pada area kosong di panel Project (atau klik ikon folder baru) lalu Pilih Create New Project..
   

4. Masukkan nama proyek, misalnya usecase, lalu klik OK.

Import Workflow\

Setelah project berhasil dibuat, langkah selanjutnya yaitu melakukan import workflow ''YTStatisticsAggregationbyCategory.csd” yang berada di dalam folder 'getting_started.zip'. Berikut langkah-langkahnya:

7. Klik 'Import' pada menu toolbar.
   

8. Pilih 'YTStatisticsAggregationbyCategory.csd' dari desktop Anda, lalu klik 'Open'.
   

9. Workflow ''YTStatisticsAggregationbyCategory.csd' akan tampil pada panel workflow. Sebelum digunakan, simpan terlebih dahulu workflow ke dalam project 'usecase' yang sudah dibuat dengan cara klik 'Save' pada toolbar.

10. Pilih tab Existing Project dan pilih usecase pada kolom Project Name.
    

11. Masukkan nama workflow dan klik tombol OK.
    

12. Kemudian workflow akan tersimpan ke dalam project usecase.

Generate Jar
Pastikan konfigurasi input-output workflow 'YTStatisticsAggregationbyCategory.csd' yang sudah diimpor dapat dijalankan. Berikut langkah-langkah yang perlu dilakukan untuk mengenerate jar workflow:

4. set engine yang ingin di gunakan terlebih dahulu, klik tombol ‘engine’ pada menu toolbar kemudian select engine yang ingin digunakan.
   

5. setelah set engine klik tombol ‘generate’ pada menu toolbar, kemudian pilih additional library apabila di perlukan, lalu klik ok untuk mengenerate jarnya.

6. apabila generate jar berhasil di jalankan maka akan tampil pemberitahuan status ganerate dan path/lokasi dimana file jar terinstall.

Run Workflow
Pastikan konfigurasi input-output workflow 'YTStatisticsAggregationbyCategory.csd' yang sudah diimpor dapat dijalankan dan jar dari workflow tersebut sudah ter generate. Berikut langkah-langkah yang perlu dilakukan untuk menjalankan workflow:

6. klik tombol ‘run workflow’ pada menu toolbar, kemudian akan muncul pop up untuk mengisi path sumber data dan path hasil output.

7. untuk menulis pathnya pada input area, klik check box add argument terlebih dahulu.

8. setalah itu isi input dengan rules seperti ini “/path/sumber/data /path/hasil/output”, yang di ambil dari hdfs browser.

9. lalu klik tombol submit untuk menjalankan workflow.

10. kemudian akan ada pop up message yang akan menginformasikan jika workflow berhasil dijalankan.

Log Job Management

Setelah memastikan workflow sudah berhasil di jalankan, langkah selanjutnya adalah memeriksa jalan nya workflow melalui menu job management, berikut cara memeriksanya:

5. klik tombol job management di bagian side bar sebelah kiri.

6. kemudian kita dapat melihat seluruh workflow yang sudah pernah kita jalankan.

7. untuk melihat log dan juga status dari workflow yang sudah kita jalankan, kita dapat melihat row paling atas.

8. kemudian untuk lihat log dari workflow yang sudah kita run kita bisa klik tombol “logs” yang ada di sebelah kanan.

Memeriksa Hasil Output

Setelah memastikan hasil run workflow sukses, maka langkah selanjutnya adalah melihat output dari workflow yang sudah kita jalankan dengan cara sebagai berikut:

3. klik tombol “hdfs browser” yang ada pada side bar sebelah kiri.

4. kemudian menuju path output yang sebelumnya kita define pada saat run workflow.