Home / WordPress / Cara Membuat Robots.txt Di WordPress Dengan Mudah

Cara Membuat Robots.txt Di WordPress Dengan Mudah

Cara Membuat Robots.txt Di WordPress Dengan Mudah – Robots.txt dibuat untuk mencegah search engine mengindeks halaman-halaman tertentu web sesuai dengan pengaturan robots.txt web tersebut. Kenapa harus membuat robots.txt di WordPress? Karena secara default jika kita tidak melakukan pengaturan di robots.txt maka seluruh halaman WordPress termasuk halaman yang tidak penting untuk diindeks seperti wp-admin, wp-content, dan lain-lain akan diindeks oleh search engine. Dan tentunya ini akan menambah beban loading sebuah web dalam pengindekskan di search engine. Sebagai WEB Master maka wajib membuat robots.txt di web yang ia kelola, agar webnya menjadi prioritas utama di halaman pencarian seperti Google.

Baca Juga : Cara Membuat Daftar Isi Di WordPress Tanpa Plugin

File robots.txt merupakan sebuah file teks yang mempunyai fungsi untuk menghentikan perangkat lunak perayap web seperti Googlebot agar tidak merayapi laman tertentu di web Anda. File robots.txt pada dasarnya merupakan daftar perintah, seperti Allow dan Disallow, yang memberitahu perayap web tentang URL yang dapat atau tidak dapat diambil.

Cara Membuat Robots.txt Di WordPress

Sebetulnya cara membuat robots.txt dalam menentukan halaman-halaman mana saja untuk memberitahu search engine agar mengindeks dan yang tidak boleh diindeks sama sekali, itu tergantung Anda yang membuatnya.

Untuk contoh, jika Anda menginginkan agar search engine untuk tidak mengindeks tag dan category yang Anda buat di WordPress, maka bisa membuat file robots.txt seperti ini :

 Disallow: /tag/
 Disallow: /category/

Atau jika Anda ingin mencegah kejadian duplikat kontent pada penggunaan plugin WordPress versi mobile, bisa mengggunakan kode berikut di file robots.txt :

 Disallow: /*?
 Disallow: /*?comments=true$
 Disallow: /*?postcomment=true$

Dan berikut file robots.txt yang digunakan di web Info Menarik, silahkan Anda modifikasi lagi sesuaikan dengan kebutuhan Anda :

User-agent: Googlebot
 Disallow: /*.php$
 Disallow: /*.js$
 Disallow: /*.inc$
 Disallow: /*.css$
 Disallow: /*?*
 Disallow: /*?
 Disallow: /*?comments=true$
 Disallow: /*?postcomment=true$
 User-agent: ia_archiver
 Disallow: /
 User-agent: duggmirror
 Disallow: /
 User-agent: *
 Disallow: /cgi-bin/
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /wp-content/plugins/
 Disallow: /wp-content/cache/
 Disallow: /wp-content/themes/
 Disallow: /wp-login.php
 Disallow: /wp-register.php
 Disallow: /trackback/
 Disallow: /feed/
 Disallow: /author/
 Disallow: /search/
 Sitemap: http://ganti-dengan-domain-anda/sitemap.xml

Selanjutnya copy atau buat file robots.txt di Notepad dan simpan dengan nama robots.txt

cara-membuat-robots-txt-di-wordpress-2

Lalu upload file robots.txt yang telah Anda buat di Notepad ke root direktori WordPress tempat Anda menyewa Hosting melalui CPanel File Manager > Web Root (public_html/www). Cara masuk ke File Manager, Anda bisa lihat di tulisan saya Cara Backup Semua Konten Di WordPress.

Cara Cek File Robots.txt Yang Telah Dibuat

Setelah Anda upload file robots.txt ke root direktori WordPress, jangan lupa untuk mengeceknya apakah file robots.txt yang telah Anda buat berhasil diupload atau tidak dengan cara ketik http://domain-anda/robots.txt di media browser. Jika sukses, cek juga kevalidan robots.txt Anda dengan mengunjungi web Robots.txt Checker lalu masukkan URL file robots.txt Anda http://domain-anda/robots.txt.

Valid Robots.txt

About InfoMenarik

Berbagi Info & Tips Trik Menarik tentang Seputar EPS-Topik Korea, Kesehatan, Microsoft Office, Pendidikan, Photoshop, Software, Teknologi, WordPress Terlengkap dan Gratis.

23 comments

  1. kunjungan perdana sob,, bermanfaat sekali artikelnya.. terima kasih..

    HAPPY BLOGGING sob.. (^_^)

    • Terimakasih atas kunjungannya, dan jangan kapok ya … Oh iya ma’af komentarnya saya edit karena ketangkap hansip gan …

  2. saya tidak begitu paham gan tentang robot.txt….

  3. wah begitu ya, terima kasih infonya, mungkin nanti bermanfaat bila saya mempunyai blog wordpress, untuk saat ini saya memilih blogger dulu saja. :)

  4. Bingung,,, ilmunya ketinggian nih bagi saya yg awam :)

    • Bisa diterapkan jika nanti agan sudah mempunyai blog self hosting, karena untuk WordPress.com tidak perlu dan memang tidak ada fasilitas untuk setting robots.txt. Itu semua untuk keamanan sudah menjadi tanggungan pihak WordPress.com.

  5. Valentino Febrian Saputra | Official Website

    Thanks gan,, saya sudah buat di blog saya..

  6. wp-content emang sebaiknya di disallow yah?

    • Iya gan, wp-content sebaiknya disallow juga. Lebih khususnya wp-content/plugins, wp-content/cache, wp-content/themes

  7. Gan ada ndak plugin robot txt.saya sudah pusing duluan jika harus pake cara di atas.tolong ya di beri tahu.

  8. Kalau pakai plugin kira-kira ada gak ya gan? Biar lebih praktis gitu. Soalnya Saya gak begitu paham kalau utak-atik di cPanel atau di hostingannya.

    • Kalau mas mau pakai plugin, mas bisa menggunakan plugin WP SEO by Yoast saja. Plugin ini bukan hanya bisa membuat Robots.txt, kita juga bisa edit HTAccess, membuat Breadcrumb, dan sebagainya.

  9. kok mucul notifikasi seperti ini?
    Peringatan
    Url dicekal oleh robots.txt.
    Peta Situs berisi url yang dicekal oleh robots.txt.
    Mohon bantuannya? apa yang salah?

    • Itu peringatan notifikasi di mana gan? Buatlah file Robots.txt standar saja seperti blog-blog para master lainnya dengan mengeceknya domain-blog/robots.txt

  10. saya masih bingung robot.txt yg cocok sma web saya gan…
    mungkiin ada saran ? atau bisa minta tolong bantuannya,,, saya tidak mengerti tentang kode-kode tersebut… terima kasih

    • Kalau bingung buat yang standar saja mas. Blog IM ini juga menggunakan robots.txt yang standar saja, silakan di copy paste saja.

  11. kalo membuat robot txt yang hanya akan mengindex posting dan page aja gimana mas.. selain post dan page disallow semua

  12. Terima kasih banyak gan atas informasinya, sangat bermanfaat dan semoga blog saya semakin baik dan baik lagi, salam….

  13. Apakah robot.txt nya seperti punya blog IM bisa dipakai untuk toko online?
    dan kalo beda, bisa kasih contohnya mas yg utk toko online?
    thks.

Leave a Reply

Your email address will not be published. Required fields are marked *