Menjalankan Cron Sebagai Pengguna Tertentu

)*foto dari: https://www.sebastien-han.fr/blog/2014/08/18/a-must-have-cron-job-on-your-openstack-cloud/

Ini PR yang nyita kepala sampe 4 harian. Dan baru nemu penyebab dan solusi barusan.

Jadi gini. Saya menjalankan cron untuk rsync file tiap 2 menit sekali. File yang diambil berada di mesin lain di seberang benua sana.
SSH yang diterima hanya untuk user dukun.

Kira-kira begini isi baris rsync nya:

rsync -avz -e "ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null" \
--progress dukun@192.168.2.2:/home/dukun/data_$(date --date="1 days ago" +"%d%m%Y").txt \
/home/dukun/data_$(date --date="1 days ago" +"%d%m%Y")/. 2>&1 >> /home/dukun/err.log

Trus isi cronjobnya begini:

*/2 * * * * sh /home/dukun/salin.sh 2>&1 >> /home/dukun/err.log

Hasil errornya:

Warning: Permanently added '192.168.2.2' (ECDSA) to the list of known hosts.
Permission denied (publickey).
rsync: connection unexpectedly closed (0 bytes received so far) [Receiver]
rsync error: error in rsync protocol data stream (code 12) at io.c(226) [Receiver=3.1.0]

Saya menambahkan Cronjob dengan perintah ini (ini salah):

$ sudo crontab -e

Harusnya seperti ini:

$ crontab -u dukun -e

Dah gitu aja.
*brb tutup tiket.

Estu
)*cuti adalah kata lain pindah tempat ngetik.

Taiwan Hari Ketiga

Jumat, 4/12/2015

Pagi hari, sedikit gerimis, 2 bapak berjalan dengan semangat, yak sekitar 4 km dari hostel menuju kantor SUSE Taiwan. Setelah beberapa kali nyasar. dan sampailah.

Taiwan Hari Kedua

Ah baru sempat nulis lagi, Wes hampir next summit. Hahaha
Hari kedua, Kamis pagi, 3 Desember 2015. Abis sarapan yg disediakan dari Hostel (roti selai, bikin sendiri), saya keknya belum kemana-mana, mau menyelesaikan materi presentasi. Kita nyoba colokan hasil beli kemaren.

Rencana bareng pak utian adalah nyari sentra electronik, niatnya nyari Nexus. Rute nya saya lupa, hanya jalan kaki, terus beberapa ruas jalan penuh grafiti.

Workshop openSUSE Asia Summit 2016

Di openSUSE. Asia Summit 2016 ini saya kebagian ngisi workshop bersama dua bapak keren. Pak Utian Ayuba dan Pak Ben Chou.

Materi saya sih tentang Elasticsearch, Logstash, Kibana(ELK) Stack. Saya akan dongeng bagaimana memanajemen logs dari puluhan server kemudian dipusatkan pada satu server untuk ditelaah semua lognya. Log yang sudah disatukan akan ditampilkan oleh dashboard Kibana. Dashboard Kibana ini diakses melalui peramban. Kemudian log yang udah ditampilkan tinggal dilakukan pencarian text untuk menemukan apa yang kita cari. Pencarian text ini akan sangat cepat sekali prosesnya akibat menggunakan Elasticsearch sebagae mesin pencariannya. Nah kira-kira gitulah.

Yuklah daftar.

Dah gitu aja.

Estu

Mengenal Elasticsearch, Sedikit Pengantar

(*tulisan ini saya sadur dan saya terjemahkan dari: https://qbox.io/blog/what-is-elasticsearch dengan penyesuain seperlunya)

Pertanyaan klasik. “Coba terangkan kepada saya dengan sederhana, apa itu Elasticsearch?”

Jujur, ini pertanyaan sulit. Bertanya ke tiap orang, mesti akan mendapat jawaban bermacam-macam. Malah bikin tambah frustrasi. Sehingga malah membuat malas untuk tahu lebih jauh mengenai Elasticsearch.

Dear All, gambarkan Elasticsearch?
Video penjelasan terbaru dari Elastic pun, masih sulit untuk bisa memahami bahkan dari komunitas utama Elasticsearch.

Penjelasan dari Tim Qbox:

Elasticsearch is an open-source, broadly-distributable, readily-scalable, enterprise-grade search engine. Accessible through an extensive and elaborate API, Elasticsearch can power extremely fast searches that support your data discovery applications.

Sangat mudah sebenarnya memulai dengan Elasticsearch.

Fast, Incisive Search against Large Volumes of Data

Database SQL konvensional benar-benar tidak dirancang untuk pencarian teks kompleks, dan jelas kinerjanya rendah pada sturktur data mentah yang berada di luar database. Pada hardware yang sama, prosese query menghabiskan waktu lebih dari 10 detik namun hanya memerlukan wakut di bawah 10 milidetik saat menggunakan Elasticsearch.

Pengguna bisa menggunakan query pada ES dengan bahasa yang sederhana (Query DSL). Query ini akan melakukan pemeriksaan tunggal atau jamak pada target pencarian dan kemudian memberikan skor pada tiap elemen hasil pencarian yang memiliki kecocokan dengan fokus query. Penambahan operator query akan membantu pengoptimalan query sederhana maupun komplek yang seringnya dihasillkan dari set data yang besar hanya dengan beberapa milidetik. Desain ES lebih sederhana dan ramping daripada database yg terdiri dari schema, tabeel, field, baris dan kolom.

Indexing Documents to the Repository

Selama operasi pengindeksan, Elasticsearch mengubah data mentah seperti file log atau file pesan ke dalam dokumen internal dan menyimpannya dalam struktur data dasar yang sama dengan objek JSON. Setiap dokumen adalah satu set sederhana menghubungkan kunci dan nilai: kunci adalah string, dan nilai adalah salah satu dari tipe string, angka, tanggal, atau daftar.

Menambahkan dokumen ke Elasticsearch cukup dengan melakukan POST HTTP, dokumen dikirim sebagai objek JSON sederhana. Pencarian juga dilakukan dengan JSON: cukup query GET HTTP dengan JSON. RESTful API membuatnya lebih mudah mengambil, mengirimkan, dan memverifikasi data secara langsung dari baris perintah seperti curl maupun dengan bahasa pemograman semisal Python atau Ruby.

Denormalized Document Storage: Fast, Direct access to your Data

Sangat penting untuk diingat bahwa Elasticsearch bukanlah database relasional, sehingga konsep DBMS tidak akan berlaku. Kita membutuhkan proses normalisasi ketika berhadapan dengan database konvensional karen Native Elasticsearch tidak mengizinkan joins or subqueries, sehingga proses denormalizing data adalah mutlak.

ES biasanya akan menyimpan dokumen satu kali untuk setiap lumbung(repositori) di mana ia berada. Meskipun ini berlawanan dengan perspektif DBMS konvensional, Hal ini merupakan hal wajar pada Elasticsearch. Pencarian teks penuh akan sangat cepat karena dokumen disimpan sangat dekat sesuai metadata dalam indeks. Desain ini akan sangat mengurangi jumlah data yang dibaca, dan ES selalu membatasi tingkat pertumbuhan indeks dengan menjaganya agar tetap dikompresi.

Broadly Distributable and Highly Scalable

Elasticsearch dapat ditingkatkan berskala hingga ribuan server dan mampu mengakomodasi hingga petabyte data. Kapasitas yang sangat besar merupakan hasil dari proses yg teliti dan rumit serta distribusi arsitektur. Namun pengguna ES malah tidak menyadari bahwa proses otomatisasi dan kompleksitas ini didukung secara langsng oleh disain terdistribusi ini.

Ya gitulah, tulisan ini buat pengantar materi nanti. ELK Stack

Estu~
yang lagi spaneng

Bagikan:

Hae https://ngonoo.com/2016/08/060214/apa-sih-opensuse-asia-summit-itu/

Menghapus Elasticsearch Indices dengan Curator

Elasticsearch Curator helps you curate, or manage, your Elasticsearch indices and snapshots by:

1. Obtaining the full list of indices (or snapshots) from the cluster, as the actionable list
2. Iterate through a list of user-defined filters to progressively remove indices (or snapshots) from this actionable list as needed.
3. Perform various actions on the items which remain in the actionable list.

Sore kemaren kerjaan ditutup dengan peringatan serius. Space hardisk untuk menjalankan ELK Stack hampir habis dikarenakan penuh oleh log dari filebeat. Kudu dibersihkan. Tool yang paling mudah adalah menggunakan Curator. Tool dari ES yang ditulis dengan python.

Eksekusi:

1. Login ke mesin remote
2. Install Curator lewat pip

   $ pip install elasticsearch-curator
   

3. Jalankan perintah untuk hapus indices sampai 30 hari terakhir

   $ curator -h
   $ curtor --host 127.0.0.1 delete indices --older-than 30 --time-unit days --timestring '%Y.%m.%d'
   

4. Atur agar berjalan teratur melalu cron agak eksekusi setiap Senin jam 10 pagi.

   $ sudo crontab -e

   Isi dengan:

   0 10 * * 2 /usr/local/bin/curator --host 127.0.0.1 delete indices --older-than 30 --time-unit days --timestring '%Y.%m.%d'
   

5. Lakukan restart cron biar yakin.

   $ sudo service cron restart
   

*Ps: sebelumnya saya agak bingung. Dari webnya ES perintahnya beda. Sebelumnya saya memasang Curator di laptop saya. Trus lakukan konfigurasi (./curator/curator.yml) dan membuat action file (./curator/delete_indices.yml) tapi malah ndak jalan. Eh ternyata pake cara lain.

Semoga ada manfaatnya.

Estu

Reparasi Helm di Jogja

Eksekusi Repair

Saya punya helm keramat tapi sudah buluk, busanya sudah remuk. Mau dipake g nyaman, dibuang sayang.
Ya wes, reparasi saja. Tapi dimana?

Setelah klik sana-sini dapat kabar, di Utara kantor Samsat Yogyakarta, daerah Pingit terdapat toko helm yang menerima reparasi. Mari eksekusi.

Saya datang jam 9 pagi pas hari kerja dan ternyata toko sudah buka. Langsung antri (kebetulan masih sepi) dan minta service segera biar bisa saya pake segera. Proses reparasi ndak lama, 15 menitan selesai. Cuma ganti sarung gabus, nambah busa, dan ganti busa kuping beserta talinya. Selesai dan bayar. Untuk service kali ini saya cukup ngeluarin Rp 60.000 saja. Lumayan timbang beli helm baru, 200an + resiko hilang.

Dah gitu aja.
Semoga bermafaat.

ps: Helm saya merek caberg. Soale beda merek, beda busa, beda harga.

Chef; Bootstrap Node Menggunakan Vagrant

Mari lanjut. Setelah Workstation dan Chef-Server sudah diatur. Mari kita coba.

1. Siapkan vagrant sebagai node yang akan kita atur
   $ cd ~/chef-repo
   $ vim Vagrantfile
   Isinya kira-kira begini, sesuaikan saja.
   Vagrant.configure(2) do |config|
   config.vm.box = “ubuntu/trusty64″

   config.vm.define :node1 do |node1|
   node1.vm.host_name=”node1”
   node1.vm.network “public_network”, ip: “10.0.0.40”
   end
   end

2. Jalankan vagrant
   $ vagrant up
3. Upload cookbook yang sudah kita buat pada panduan sebelumnya termasuk dependesinya
   $ knife cookbook site download apt
   $ tar zxvf apt-3.0.0.tar.gz
   $ rm -rf apt-3.0.0.tar.gz && mv apt cookbooks/.
   $ knife cookbook upload apt
   $ knife cookbook upload nginx
4. Lakukan list cookbook yg sudah diunggah
   $ knife cookbook list
5. Lakukan test ssh ke mesin vagrant
   $ ssh vagrant@10.0.0.40
   Jika ditanya password, masukkan ‘vagrant’
6. Jalankan knife bootstrap
   $ knife bootstrap 10.0.0.40 –ssh-user vagrant –ssh-password ‘vagrant’ –sudo –use-sudo-password –node-name node1 –run-list ‘recipe[nginx]’
7. Lakukan testing dengan bantuan curl
   $ curl 10.0.0.40

Jreng-jreng, kelar!!

Bacaan:
https://learn.chef.io/manage-a-node/rhel/bootstrap-your-node/

Estu~ *yang lagi balik utik2 cookbook lagi..

Chef; Mengatur Chef-Server

*diterjemahkan dari halaman https://learn.chef.io/manage-a-node/ubuntu/set-up-your-chef-server/ dengan penyesuaian seperlunya.

0. Tentukan Mesin Chef Server.

Dalam pengenalaman chef sebelumnya, telah digambarkan bahwa dalam praktiknya kita membutuhkan chef server. Untuk mendapatkan chef server ada dua opsi:

1. Buat mesin yang didedikasikan sebagai chef server, caranya bisa mengikuti panduan ini,
2. Mengunakan chef server ujicoba gratis bawaan dari chef dengan mendaftar di https://manage.chef.io/signup/

Untuk pengenalan awal saya menyarankan menggunakan opsi kedua. Yuk daftar-daftar….

Setelah mendaftar, kita akan menerima email untuk konfirmasi akun. Klik link dalam email tersebut untuk memverifikasi akun dan password. Setelah itu, arahkan ke https://manage.chef.io/ dan masuk. Kemudian ikuti langkah-langkah untuk membuat sebuah organisasi.

1. Klik Create New Organization. Masukkan nama lengkap dan nama pendek untuk organisasi, semisal nama projek.
2. Klik Create Organization.

1. Atur Komunikasi Chef Server dengan Workstation.

Knife adalah alat baris perintah yang menyediakan antarmuka antara workstation dan server Chef. Knife memungkinkan untuk mengunggah cookbook ke server Chef dan mengelola node server.

Knife membutuhkan dua file untuk berkomunikasi dengan server Chef, kunci RSA pribadi (RSA private key) dan file konfigurasi. Setiap permintaan ke server Chef dikonfirmasi melalui proses pencocokan kunci RSA. Chef Server menyimpan kunci publik; dan kita menyimpan kunci private.

File konfigurasi biasanya bernama knife.rb. Ini berisi informasi seperti URL Chef server, lokasi dan nama kunci private, serta lokasi default cookbook. Kedua file ini biasanya terletak di direktori bernama .chef. Setiap kali knife dijalankan, knife akan mengecek folder .chef direktori kerja saat ini. Jika direktori .chef tidak ditemukan, knife akan mencari di lokasi induk atau home direktori. Proses ini mirip dengan bagaimana Git bekerja.

• Buat direktori ~/chef-repo/.chef sebagai berikut

  $ mkdir ~/chef-repo/.chef

• Buat konfigurasi knife yang diunduh dari web manage.chef.io
  1. Lakukan Sign In ke https://manage.chef.io/.
  2.Pilih organsasi dari tab Administration.
  3. Pilih Generate Knife Config dari menu sebelah kiri dan simpan file tersebut.
  
  4. Salin file unduhan tadi ke direktory .chef

  $ mv ~/Unduhan/knife.rb ~/chef-repo/.chef/.

• Generate kunci RSA private dari chef-server
  1. Lakukan Sign In ke https://manage.chef.io/.
  2. Dari tab Administration, pilih Users dari menu sebelah kiri. Pilih username kita, dan pilih Reset key dari menu sebelah kiri, dan pilih Reset key dari jendela ditampilkan.
  
  3. Jendela selanjutnya akan menampilakan kunci private kita. Pada bagian bawah jendela klik tombol Download untuk mengunduh file tersebut.
  
  4. Salin kunci RSA private ke folder .chef

  $ mv ~/Unduhan/username.pem ~/chef-repo/.chef/.

• Lakukan verifikasi kunci

  $ ls ~/learn-chef/.chef

  knife.rb your_name.pem

  $ knife ssl check

  Connecting to host api.chef.io:443
  Successfully verified certificates from `api.chef.io’

Kelar, selamat mencoba. Selanjutnya adalah mengunggah cookbook dan melakukan bootstrap node.

Estu~ yg lagi mantengin log kitchen.