Menghapus Elasticsearch Indices dengan Curator

10647200_10206160724766161_5644663822058867814_n

Elasticsearch Curator helps you curate, or manage, your Elasticsearch indices and snapshots by:

  1. Obtaining the full list of indices (or snapshots) from the cluster, as the actionable list
  2. Iterate through a list of user-defined filters to progressively remove indices (or snapshots) from this actionable list as needed.
  3. Perform various actions on the items which remain in the actionable list.

Sore kemaren kerjaan ditutup dengan peringatan serius. Space hardisk untuk menjalankan ELK Stack hampir habis dikarenakan penuh oleh log dari filebeat. Kudu dibersihkan. Tool yang paling mudah adalah menggunakan Curator. Tool dari ES yang ditulis dengan python.

Eksekusi:

  1. Login ke mesin remote
  2. Install Curator lewat pip
    $ pip install elasticsearch-curator
    
  3. Jalankan perintah untuk hapus indices sampai 30 hari terakhir
    $ curator -h
    $ curtor --host 127.0.0.1 delete indices --older-than 30 --time-unit days --timestring '%Y.%m.%d'
    
  4. Atur agar berjalan teratur melalu cron agak eksekusi setiap Senin jam 10 pagi.
    $ sudo crontab -e

    Isi dengan:

    0 10 * * 2 /usr/local/bin/curator --host 127.0.0.1 delete indices --older-than 30 --time-unit days --timestring '%Y.%m.%d'
    
  5. Lakukan restart cron biar yakin.
    $ sudo service cron restart
    

*Ps: sebelumnya saya agak bingung. Dari webnya ES perintahnya beda. Sebelumnya saya memasang Curator di laptop saya. Trus lakukan konfigurasi (./curator/curator.yml) dan membuat action file (./curator/delete_indices.yml) tapi malah ndak jalan. Eh ternyata pake cara lain.

Semoga ada manfaatnya.

Estu