Menghapus Elasticsearch Indices dengan Curator Bag (2)

Dulu pernah menggunakan curator_cli untuk menghapus indices. Namun config yang lama tidak bisa digunakan untuk ES 5.2.x. Mari kita coba cara baru ini (ndak baru-baru amat sih).

1. Install curator (via pip)

   $ pip install elasticsearch-curator
   

2. Perintah dasar curator adalah:

   $ curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML
   

3. Atur configurasi dalam file config.yml

   $ cd ~
   $ vim config.yml
   

   Isinya kira-kira begini:

   ---
   # Remember, leave a key empty if there is no value.  None will be a string,
   # not a Python "NoneType"
   client:
     hosts:
       - 192.168.33.201 #ip publish es
     port: 9200
     url_prefix:
     use_ssl: False
     certificate:
     client_cert:
     client_key:
     ssl_no_validate: False
     http_auth:
     timeout: 30
     master_only: False
   
   logging:
     loglevel: INFO
     logfile:
     logformat: default
     blacklist: ['elasticsearch', 'urllib3']
   

4. Atur aksi yang akan dilakukan dalam file delete_indices.yml

   $ vim delete_indices.yml
   

   Isinya kira-kira begini:

   ---
   # Remember, leave a key empty if there is no value.  None will be a string,
   # not a Python "NoneType"
   #
   # Also remember that all examples have 'disable_action' set to True.  If you
   # want to use this action as a template, be sure to set this to False after
   # copying it.
   actions:
     1:
       action: delete_indices
       description: >-
         Delete indices older than 7 days (based on index name), #for filebeat-
         prefixed indices. Ignore the error if the filter does not result in an
         actionable list of indices (ignore_empty_list) and exit cleanly.
       options:
         ignore_empty_list: True
         disable_action: False
       filters:
       #- filtertype: pattern
       #  kind: prefix
       #  value: filebeat-
       - filtertype: age
         source: name
         direction: older
         timestring: '%Y.%m.%d'
         unit: days
         unit_count: 7
   

5. Testing konfigurasi curator.

   $ curator --config config.yml delete_indices.yml
   

6. Atur penjadwalan curator dalam crontab

   $ crontab -e
   

   Isi cron kira-kira begini:

   0 6 * * * /usr/local/bin/curator --config /home/user/config.yml /home/user/delete_indices.yml
   

Selesai.

Bacaan:
[0] https://www.elastic.co/guide/en/elasticsearch/client/curator/current/command-line.html

Estu~

Advertisements

RVM over SSH

Bukan materi baru, cuma baru nemu aja solusinya setelah mikir dua hari.

Kasus:

1. Delpoy Ruby on Rails via ssh
   laptop$ ssh estu@ip-mesin "cd ~ && deploy.sh"
2. Ruby dibantu rvm.

Kendala:

1. Log stdout:
   bundle not found

Mitigasi:

Di server via login langsung:
server$ echo $PATH

Ouput tidak sama dengan ‘echo PATH’ dari ssh:
laptop$ ssh estu@ip-mesin "echo $PATH"

Solusi:

1. Set env dari .bashrc ke /etc/environment. Samakan hasil “echo $PATH”. Kira-kira begini:
   PATH="/home/ubuntu/.rvm/gems/ruby-2.3.3/bin:/home/ubuntu/.rvm/gems/ruby-2.3.3@global/bin:/home/ubuntu/.rvm/rubies/ruby-2.3.3/bin:/home/ubuntu/bin:/home/ubuntu/.local/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/home/ubuntu/.rvm/bin"
export GEM_PATH=/home/ubuntu/.rvm/gems/ruby-2.3.3:/home/ubuntu/.rvm/gems/ruby-2.3.3@global
export GEM_HOME=/home/ubuntu/.rvm/gems/ruby-2.3.3
2. Disable env dari .bashrc.
3. Reboot
4. Tambahkan opsi –login pada baris ssh dan sederhanakan opsi perintah
   laptop$ ssh estu@ip-mesin  bash --login "./deploy.sh“

Dah gitu aja.

Selamat istirahat.
Estu~

Molecule, Automate Testing Tool untuk Ansible Roles

Dulu jaman masih cuma ngetik di chef, adalah tool namanya kitchen-vagrant yang biasa dipakai untuk ujicoba resep di chef (cookbook). Ansible role yang isinya mirip-mirip buku resep (cookbook) di chef juga butuh tool ujicoba. Ditemukanlah repo molecule di github beserta dokumentasinya!

Mencoba menjalankan role ansible dalam virtualbox, kemudian menguji hasil dari role. Untuk tools uji bawaan molecule adalah Testinfra. Memuaskan.

Molecule sendiri ditulis menggunakan python. Namun dalam pemakaian saya saat ini, saya menggunakan serverspec sebagai tools uji yang notabenenya serverspec ditulis dengan ruby. Dyar.

Untuk tipe OS yang saya gunakan adalah debian jessie64 atau xenial64. OS bawaan dari molecule adalah trusty64.

Mari kita coba!

Membuat Jenkin Jobs dengan Groovy(5); Post Build Steps

Ini udah masuk step terakhir. Post Build Steps adalah bagian dimana ketika selesai build jobs, jenkins disuruh ngapain lagi.

Saya biasa mengisi di step ini untuk beberapa kerjaan, diantaranya:

1. Mengirim notifikasi ke slack
2. Mengirim surel ke pihak-pihak tertentu
3. Menyimpan file hasil build (save artefak)
4. Mengunggah file hasil build ke s3
5. Memanggil jobs lain saat jobs ini sukses.
6. Dan masih banyak lagi…

Berikut saya lampirkan contoh potongan kode post build steps:

publishers {
archiveArtifacts {
pattern("Release/*.apk")
onlyIfSuccessful()
}
downstream("${app}/StagingDeploy", 'SUCCESS')
mailer('admin@email.com', false, true)
  slackNotifier {...}
s3BucketPublisher {...}
}

Itu saja dari saya. Gistnya bisa diintip disini. Semoga memberi pencarahan.

Estu~

 

Membuat Jenkin Jobs dengan Groovy(4); Build Steps

Mari lanjut tahap keempat setelah sebelumnya part 1, membahas pengaturan umum dan part 2 SCM (Source Code Management). Bagian ketiga membahas mengenai build trigger. Bagian selanjutnya adalah Build. Atau kata lainnya, pekerjaan apa yg akan dilakukan oleh Jenkins.

Berikut contoh potongan bagian build dalam Jenkins Jobs:

steps {
  gradle {
    tasks('clean')
  }
  shell('''#!/bin/bash -e
echo "hello world"''')
}

Bagian steps, bagian ini bisa diisi dengan bermacam-macam step yang bisa dikerjakan. Modul yang biasa saya pakai adalah gradle, ant, maven, shell, powershell.

Pada potongan diatas saya menggunakan shell yg ada di GNU/Linux. Sehingga memungkinkan memanggil semua perintah yang bisa dijalankan oleh shell GNU/Linux termasuk memangggil binari app lain; semisal npm, calabash, tar dan lain lain. Silahkan berkreasi.

Bagian penting lainnya adalah penggunaan tanda petik:

1. Untuk menulis perintah dalam satu baris gunakan petik satu

   shell('shell_command')

2. Untuk menulis perintah dalam beberapa baris gunakan petik 3 kali

   shell('''ini baris satu
   ini baris dua''')

Mungkin ini saja penjelasan singkat mengenai build steps. Potongan kode diatas dapat diintip pada gist berikut. Sampai ketemu di bagian kelima.

Estu~

Membuat Jenkin Jobs dengan Groovy(3); Build Trigger

Mari lanjut tahap ketiga setelah sebelumnya part 1, membahas pengaturan umum dan part 2 SCM (Source Code Management). Bagian ketiga ini saya akan membahas mengenai build trigger. Yaitu bagian yg mengatur apa yang menjadi memantik jobs untuk segera dimulai.

Berikut beberapa opsi yang biasa saya gunakan:

triggers {
  scm('H/5 * * * *')
  upstream('NamaFolder/NamaJob','SUCCESS')
}

Penjelasannya adalah sebagai berikut:

1. triggrers.scm = digunakan jika ingin jobs dikerjakan setiap ada commit baru di scm server (repo git, gitlab, bitbucket,github,phabricator). Nilai scm ('H/5 * * * *') digunakan untuk membuat interval, kapan saja Jenkins akan memeriksa pembaruan commit pada scm server.
2. triggers.upstream = Memulai jobs setelah jobs lain (jobs hulu) selesai dilakukan. Parameter untuk job pemicu adalah ‘SUCCESS’, ‘UNSTABLE’ atau ‘FAILURE’.

Cukup itu saja. Perlu diingat bahwa opsi yg saya tulis diatas, cukup dipilih salah satunya. Kalo mau dua jg gpp, asalkan paham alur apa yg terjadi jika mengkombinasikan dua opsi tadi. Sampai ketemu di bagian keempat

Bacaan seriusnya disini.

Estu~

Membuat Jenkin Jobs dengan Groovy(2); SCM

Mari lanjut tahap kedua setelah sebelumnya part 1 membahas pengaturan umum; SCM. Source Code Management. Fitur scm ini mendukung git dan svn. Git adalah yang paling dominan digunakan.

Berikut beberapa opsi yang biasa saya gunakan:

scm {
        git {
            remote {
                url('https://github.com/tuanpembual/jenkins-jobs.git')
                credentials('jenkins')
            }
            branch('master')
        }
    }

1. git.remote.url = untuk mengatur url repository git kita. Url ini bisa menggunakan url langsung dari github atau url dalam bentuk forder (git clone –bare).
2. git.remote.credentials = untuk mengakses repo tertutup biasanya membutuhkan akses. Ini diatur oleh jenkins. Credentials bisa berupa public key beserta passphrase ataupun username dan password. Untuk github sendiri dengan url https, tidak memerlukan credentials.
3. git.branch = branch tujuan yang ingin diclone. Isian biasanya adalah master, namun tidak menutup kemungkinan isian lain.

Untuk contoh lainnya bisa melihat di dokumentasi ini. Kode lengkap part 2 ini bisa diintip di gist saya. Sampai bertemu di Part 3 yang akan membahas build trigger.

Estu~

 

Membuat Jenkin Jobs dengan Groovy(1); Pengaturan Umum

Di tulisan kali ini saya akan menjelaskan beberapa fitur jobs dengan job-dsl dalam format *.groovy berupa potongan kode-kode yang berurutan.

Sebuah jenkins freestyle jobs dibagi dalam beberapa bagian. Diantaranya: General, SCM, Build Trigger, Build Enviroment, Build, Post Build Action. Selain freestyle juga ada pipeline job. Pipeline jobs akan saya bahas berikutnya.

Kali ini saya akan membahas tentang pengaturan umum (General).

Perpaduan Chef, Knife, AWS CLI, Digital Ocean, dan Google Compute Engine

Idenya, saya ingin memanajemen beberapa provider layanan awan dalam satu tools. Kebetulan kantor menggunakan beberapa, diantaranya aws, digital ocean, gce.

 

Saya terbiasa menggunakan ChefDK dan knife sebagai alat masak. Mari kita pasang-pasang tools pendamping.

1. ChefDK (Chef, Ruby, Knife)
2. AWS CLI

    $ pip install awscli
   

3. Google Cloud SDK
4. Gem (knife-ec2, knife-digital_ocean, knife-google)

   $ chef gem install knife-ec2 knife-digital_ocean knife-google
   

5. Atur knife.rb untuk masing-masing provider

   $ vim ~/.chef/knife.rb
   

   Atur kira kira seperti ini

   knife[:aws_credential_file] = File.join(ENV['HOME'], "/.aws/credentials")
   knife[:aws_config_file] = File.join(ENV['HOME'], "/.aws/config")
   knife[:aws_profile] = "default"
   knife[:digital_ocean_access_token]  = "xxxxxxxxxxxxxxxxxx"
   knife[:gce_project] = 'my-project-name'
   knife[:gce_zone]    = 'asia-east1-a'
   

6. Knife siap digunakan

   $ knife ec2 server list
   $ knife digital_ocean droplet list
   $ knife google server list
   

Dah kira-kira begitu.
Sumber gambar dari sini.

Estu~

DevOps; Jenkins, Pengantar Lain

*Tulisan dibawah ini banyak nggamblehnya.

Di era-era menuju implementasi DevOps, Jenkins bukanlah barang baru. Dan tidak diragukan lagi, Jenkins merupakan salah satu tools wajib dalam menunjang proses pengembangan perangkat lunak secara keseluruhan (Continuous Integration) dan memberdayakan tim untuk melaksanakan bagian teknis dari pengiriman berkelanjutan( Continuous Delivery).

Dalam pekerjaannya, praktisi DevOps diharuskan mampu mengubah infrastuktur, konfigurasi dan alat-alat yang menunjang proses DevOps menjadi sebuah kode. Beberapa menyebutnya “Infrastructure as Code (IaC)”. Tujuannya adalah pengurangan biaya(Cost reduction), kecepatan eksukusi (Speed- Faster execution) dan pengurangan resiko( (Risk – remove errors and security violations).

Ada banyak cara untuk melakukannya. Provisioning merupakan salah satunya. Toolsnya juga macam-macam. Saya terbiasa menggunakan shell scripting, chef dan ansible. Sudah itu aja pengantarnya. Abis ini saya ndongeng membuat jobs di Jenkins.

Sebenarnya membuat jobs di Jenkins itu ndak susah-susah amat. Namun kebiasaannya, membuat jobs cukup dengan klik klik terus jadi. Ya jadi. Tapi bagaimana dengan prinsip  IaC diatas? Ya mbuh. Nek jenkinsnya modar, trs? Ya wasalam.

Sebenarnya jobs dan konfigurasi di Jenkins bisa saja langsung disimpan, tapi formatnya adalah xml. Sedikit nganu.

Salah satu solusinya adalah dengan menulis Jenkins Jobs dalam format *.groovy. Kumpulan *.groovy ini dikumpulkan dalam lumbung, yang akan diperbaharui otomatis. Adalah job-dsl yang bertugas mengubah format groovy menjadi jobs yang disimpan dalam bentuk xml.

Kita mulai dari mana?

1. Salin repo

   $ git clone https://github.com/tuanpembual/jenkins-jobs.git
   

2. Install Jenkins. Cara paling mudah adalah menggunakan Vagrant. Vagrantfilenya bisa dicomot dari repo saya. Dalam Vagrantfile sudah ada box yg bisa dipilih. Saya menggunakan ubuntu 16.04. Kemudian jalankan instalasi jenkins via shell provisioning. Oh iya, sekalian direktori share foldernya dicek; sesuaikan dengan kondisi anda.
3. Install plugin jobs-dsl (ini plugin awal kita bekerja). Dan install jg beberapa plugin lain yang dibutuhkan. Berikut beberapa plugin yang saya rasa perlu:
   • git
   • greenballs
   • build-pipeline-plugin
   • job-dsl
   • cloudbees-folder
   • swarm
   • slack
   • envinject
   • gradle
   • view-job-filters
   • postbuildscript
   • email-ext
   • plot
   • aws sdk
   • s3 plugin
4. Konfigurasi root jenkins. Bagian yang perlu diperhatikan adalah bagian root:

   <workspaceDir>${ITEM_ROOTDIR}/workspace</workspaceDir>
   <buildsDir>${ITEM_ROOTDIR}/builds</buildsDir>
   

5. Buat jobs untuk menampung seed jobs. Isian untuk seed jobs kira-kira begini: (atau bisa nyomot file xml di repo tadi)
   Project Name: seed-jobs
   SCM: none
   Build Trigger: none
   Build: Process Jobs DSLs
   • DSL Script: jobs/*.groovy
   • Action for removed jobs: Disable
   • Action for removed views: Ignore
6. Buat folder jobs di repo. Dengan vim, buatlah file baru semisal BelajarJenkins.groovy. Isinya kira-kira begini:

   ## jobs/BelajarJenkins.groovy
   String app = "BelajarJenkins"
   folder("${app}") {
     description "ini adalah description"
   }
   job("${app}/BuildGradle") {
     description "Coba build gradle"
     logRotator {
       daysToKeep(7)
       numToKeep(10)
     }
     triggers {
       scm('H/2 * * * *')
     }
     steps {
       gradle {
         tasks('clean test')
       }
     }
     publishers {
       mailer('mail@example.com', false, true)
     }
   }
   

7. Lakukan perintah buid di seed jobs di Jenkins dengan menekan tombol build now. *semoga g ada error 😀
8. Tadaaaa. Jobs pertama sudah jadi. Silahkan buat file *.groovy lainnya untuk membuat jobs lainnya ya.

Jika akan digunakan untuk proses produksi, silahkan aktifkan scm menuju repo jenkins-jobs anda. Kemudian trigger scm dalam format cron (* * * * *). Artinya seed-jobs akan dibuild setiap menit jika terdapat perubahan pada repo. Efeknya adalah segala perubahan manual pada jenkins jobs lainnya akan ditimpa selalu. Dan untuk melakukan perubahan diharuskan mengubah langsung pada file *.groovy dan ajukan pull request ke repo.

Sudah, itu saja. Berikut beberapa bacaan lain terkait jobs-dsl. Setelah ini saya akan menulis beberapa potongan kode yang biasa saya gunakan dalam membuat jobs.

Bacaan:
[0]. Getting Started:  https://github.com/jenkinsci/job-dsl-plugin/wiki/Tutorial—Using-the-Jenkins-Job-DSL
[1]. API Viewer: https://jenkinsci.github.io/job-dsl-plugin/

Selamat mencoba.

Estu~