Logs.Kalamangga.Net

  • pdsh, paralel remote shell

    pdsh: efficient rsh-like utility, for using hosts in parallelDebian description

    Dari deskripsi paket dapat dilihat bahwa pdsh adalah perangkat rsh (remote shell) yang efisien karena secara paralel menjalankan perintah pada lebih dari 1 (satu) host.

    Perangkat ini sangat berguna bila mesin yang dikelola identik dan lebih dari 1 (satu). Dan pada dasarnya paket bertugas untuk meneruskan perintah yang diberikan kepada mesin-mesin yang dikelola.

    Pemasangan pdsh

    Paket ini telah tersedia di repository Debian dengan versi 2.31-3 untuk stretch. Sehingga dapat langsung dipasang melalui apt.

    # apt install pdsh

    Konfigurasi pdsh

    Salah satu hal yang paling sering ditanyakan adalah mengenai galat (error) yang muncul ketika menjalankan pdsh. Misalkan dengan output di bawah.

    user@localhost:~ $ pdsh -w 10.0.0.[2-3] uname -a
pdsh@localhost: 10.0.0.2: rcmd: socket: Permission denied.
pdsh@localhost: 10.0.0.3: rcmd: socket: Permission denied.
user@localhost:~

    Hal ini terjadi karena belum ditetapkannya perintah default yang digunakan dalam mendistribusikan perintah yang diterima. Tentu saja yang digunakan adalah ssh.

    root@localhost:~ # echo "ssh" > /etc/pdsh/rcmd_default

    Sehingga bila dijalankan kembali akan muncul.

    user@localhost:~ $ pdsh -w 10.0.0.[2-3] uname -a
10.0.0.2: Linux node2 3.16.0-4-amd64 #1 SMP Debian 3.16.51-3 (2017-12-13) x86_64 GNU/Linux
10.0.0.3: Linux node3 3.16.0-4-amd64 #1 SMP Debian 3.16.39-1+deb8u2 (2017-03-07) x86_64 GNU/Linux
user@localhost:~

    Catatan

    • Dalam tulisan ini pembentukan kunci dan distribusi kunci ssh tidak diceritakan.
    • Dijalankan menggunakan Debian GNU/Linux 8.11 (jessie)

  • Apache Hive

    Dokumen presentasi kami mengenai pengenalan Apache Hive yang kami bagikan melalui slideshare.

    Semoga membantu dalam mempelajari apa itu Apache Hive.

    • Kylo

      Memiliki fokus mengenai data dan arsitektur pendukungnya, memaksa kami untuk melakukan perbandingan dari segala macam perangkat lunak yang tersedia di pasaran yang bekerja pada level tata kelola data. Dari semua yang ada pada tulisan ini kami mencoba mengenali salah satunya, Kylo.

      Tentang Kylo

      Kylo berasal dari kata Yunani yang berarti “mengalir”.

      Apa Itu Kylo?

      Dari dokumentasi pengembang, Kylo adalah platform data lake yang kaya fitur dibangun diatas Apache Hadoop dan Spark. Kylo menyediakan fitur lengkap, ramah terhadap kebutuhan bisnis, solusi data lake dengan layanan mandiri terhadap akuisisi data, pengolahan, dan eksplorasi data.

      Kylo dikembangkan pada layer aplikasi web yang menawarkan fitur yang diorientasikan untuk pengguna level bisnis, termasuk analis data, pengelola data, ilmuwan data dan personil operasional IT. Kylo menggabungkan banyak fungsi dengan mengadopsi praktik terbaik dalam keamanan, kualitas data dan pengelolaan meta-data.

      Pengembangan Kylo

      Kylo dikembangkan oleh Think Big, grup Teradata. Think Big menyediakan konsultasi mengenai big data dan analisis yang mencakup entitas terbesar dunia dan berbagai macam industri. Dalam 7 (tujuh) tahun terakhir Think Big telah membangun 150 (seratus lima puluh) proyek Big Data.

      Sebagai pengadopsi ekosistem Hadoop yang open source, Think Big melepas salah satu proyeknya, Kylo, sebagai kontribusi kepada komunitas dan untuk meningkatkan nilai. Kylo dirilis menggunakan lisensi Apache 2.0.

      Peluang Adopsi

      Dengan melihat gambaran awal, mari kita teliti peluang adopsi Kylo dalam bisnis.

      Pengguna

      Thing Big menyatakan bahwa Kylo sudah digunakan baik dalam pengembangan maupun level produksi di berbagai proyek perusahaan multi-nasional yang mencakup berbagai jenis industri, diantaranya manufaktur, bank/keuangan, ritel dan asuransi. Namun rilis daftar nama belum bisa didapatkan karena perihal legal.

      Kebutuhan Dasar

      Banyak organisasi yang menyatakan bahwa implementasi solusi big data menggunakan Hadoop sangat kompleks. Penerapan big data sangat fokus pada rekayasa perangkat lunak dan administrasi sistem. Bahkan pada level perusahaan dengan kapabilitas teknis cukup tinggi pun memerlukan usaha lebih dalam penerapannya.

      Dan tentunya Think Big menjual jasa dukungan atas pengadopsian Kylo oleh organisasi dimana seringkali pengadopsian pengetahuan membutuhkan waktu yang tidak sebentar.

      Arsitektur

      Kylo dikembangkan sebagai aplikasi web modern pada sistem operasi GNU Linux dalam mode edge yang berisi kumpulan komputer terpasang Spark dan Hadoop. Banyak perintah rutin dalam pengembangan data-lake yang dikumpulkan sebagai pendukung Kylo utamanya berkaitan dengan Spark dan Apache Hive.

      Selain pada cluster Kylo juga bisa dipasang pada cloud.

      Komponen

      • Kylo UI;
      • Kylo Services;
      • Kylo Spark Shell;
      • Kylo Metadata Server;
      • Apache NiFi;
      • ActiveMQ;
      • Apache Spark;
      • ElasticSearch; dan
      • Apache Hadoop, termasuk: YARN, HDFS, Hive.

      Siklus Pengembangan

      Sangat disarankan menggunakan sandbox dalam hal pengembangan dan percobaan pengelolaan data. Ketika alur yang dicoba sudah melewati tahap UAT dapat dilakukan penerapan pada skala produksi. Pengelolaan template dalam Kylo memudahkan dalam skalabilitas dan penerapan, karena dapat diimpor atau ekspor kedalam lingkungan yang berbeda.

      Perangkat Sejenis

      Komersial

      Kylo memiliki kesamaan dengan Podium Data dan Zaloni Data Platform, dimana Kylo merupakan pilihan open-source-nya.

      Perangkat ETL

      Perangkat ETL (extract-transform-load) berfokus pada transformasi SQL pada teknologi masing-masing basis data. Pada pola pengelolaan data, perangkat basis Hadoop yang mengikuti ELT (extract-load raw data-transform). Dimana struktur data yang tidak berstruktur tidak membuat kebutuhan khusus dalam melakukan pemindahan data.

      Dukungan Keamanan Kylo

      Kylo sudah mendukung pendefinisian hak akses dan wewenang sesuai level pengguna. Dengan Spring Security, semua layanan otentikasi dapat diintegrasikan, misal AD, Kerberos, LDAP.