Info Menarik Berbagi Info & Tips Trik Menarik
Info Menarik – Sebagai webmaster harus tahu bagaimana cara membuat Robots.txt yang benar di WordPress. Pasalnya tentu saja sebagai pemilik blog atau website menginginkan situsnya bisa berada di peringkat terbaik Google. Fungsi dari Robots.txt sendiri adalah untuk membedakan halaman mana yang boleh serta tidak boleh diindeks oleh Google. Maka ketika pembuatan file Robots.txt yang salah tentu saja hal ini dapat menghambat Google dalam mengindeks halaman blog atau website. Agar tidak salah kaprah dalam membuat Robots.txt, silakan simak artikel ini hingga selesai.
Baca Juga: Cara Membuat Daftar Isi di WordPress Tanpa Plugin Lengkap Download Kode
Seperti yang sudah kita ketahui bahwa website itu terdiri dari beberapa elemen atau file. Dari seluruh elemen website ini tidak semuanya harus terindeks oleh Google. Sebagai pemilik website harus tahu elemen mana yang harus dan tidak harus terindeks oleh Google. Nah untuk memberikan tanda kepada Google elemen mana yang perlu terindeks yaitu menggunakan file Robots.txt.
Selanjutnya Robots.txt itu sangat berguna untuk SEO website. Hal ini tentu saja untuk membuat artikel agar lebih mudah terindeks oleh mesin pencari seperti Google.
Apa itu Robots.txt?
Sebelum membahas ke cara membuat Robots.txt, mari kita ketahui dulu apa itu Robots.txt?
Robots.txt adalah sebuah file yang berisi sekumpulan perintah atau intruksi untuk mesin pencari. Intruksi ini untuk menunjukkan kepada mesin pencari elemen website mana yang harus dan tidak harus diindeks.
Ketika pertama kali membuat website tentu saja tidak akan langsung terindeks oleh mesin pencari seperti Google. Kemudian halaman website akan kita daftarkan ke Google Search Console atau Webmaster Tool dan Google akan melakukan crawl. Setelah Google melakukan crawl maka seiring berjalannya waktu halaman website akan terindeks dan muncul di mesin pencari.
Nah, dengan adanya file Robots.txt di website, ketika Google melakukan crawl maka akan memisahkan setiap halaman yang ingin dan tidak ingin Google tampilkan di hasil penelusuran. Jika Google tidak menemukan file Robots.txt, maka secara keseluruhan Google akan mengindeks halaman website. Maka hal tentu saja termasuk halaman yang tidak penting juga akan ikut terindeks oleh Google.
Dengan menggunakan Robots.txt kita bisa membatasi halaman tertentu agar tidak ikut terindeks. Tindakan ini bisa berguna untuk mengurangi beban yang harus diterima oleh sebuah halaman website. Dengan begitu pengguna website bisa menyesuaikan halaman yang boleh dan tidak boleh untuk tampil di Google.
Dimana Letak File Robots.txt?
Sebenarnya file Robots.txt itu sudah ada di dalam folder root sebuah server atau yang lebih kita kenal dengan sebutan public_html. Ketika pertama kali membuat website, file Robots.txt ini secara otomatis sudah terbuat. Namun file Robots.txt ini sifatnya berupa file virtual yang keberadaannya tidak bisa kita akses dan juga kita ubah. Sehingga ketika kita membuka public_html untuk pertama kalinya di sana kita tidak akan menemukan file Robots.txt.
Selanjutnya agar kita bisa memodifikasi ulang file Robots.txt, maka kita harus membuat file Robots.txt yang baru secara manual. Kemudian kita letakkan juga di dalam root public_html tepat di posisi root file Robots.txt awal. Dengan menempatkan file Robots.txt yang baru maka nanti menjadi replacement atau akan menimpa file yang sebelumnya sudah ada.
Bagaimana Rule File Robots.txt untuk Website WordPress?
Sebetulnya pembuatan file Robots.txt itu tidak sulit karena hanya berisi sejumlah perintah yang cukup simpel. Jika Kamu belum mengetahui seperti bagaimana rule file Robots.txt itu, silakan perhatikan contoh file Robots.txt berikut ini:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /Selanjutnya jika Kamu ingin menambahkan beberapa konfigurasi lain untuk mengizinkan mesin pencari melakukan crawl, silakan bisa menggunakan file Robots.txt seperti berikut ini:
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://alamat-situs/sitemap.xml- User-agent adalah untuk mendeskripsikan jenis rule atau nama robot;
- Allow berfungsi untuk menambahkan elemen mana yang boleh diindeks oleh robot;
- Disallow berfungsi sebagai perintah bagian yang tidak boleh diindeks oleh robot;
- Ubah pada alamat-situs dengan situs Kamu.
Perlu Kamu perhatikan lagi bahwa file Robots.txt di atas hanyalah sebuah contoh saja. Silakan Kamu modifikasi lagi sesuai dengan kebutuhan. Kamu bisa mencari informasi di internet tentang referensi pembuatan file Robots.txt di WordPress yang benar.
Cara Membuat File Robots.txt di WordPress Tanpa Plugin
Saya rasa untuk membuat file Robots.txt di WordPress itu tidak perlu menggunakan plugin. Meskipun saat ini banyak plugin yang tersedia untuk pembuatan file Robots.txt. Seperti yang sudah saya contohkan di atas, bahwa file Robots.txt itu hanya berisi sejumlah skrip simpel. Untuk itu silakan Kamu buat secara manual dan itu caranya mudah.
1. Buat File Robots.txt di Notepad
Langkah pertama yang harus kita lakukan adalah membuka aplikasi Notepad di komputer. Aplikasi Notepad merupakan aplikasi bawaan Windows. Jadi Kamu tidak perlu menggunakan aplikasi pihak ketiga lagi.
Di Notepad silakan Kamu buat sejumlah skrip perintah Robots.txt seperti yang sudah saya sebutkan di atas. Kemudian Kamu simpan file Notepad tersebut dengan nama file robots.txt.
2. Upload File Robots.txt
Setelah selesai membuat file Robots.txt di Notepad dan menyimpannya dalam file format .txt, langkah selanjutnya adalah mengupload Robots.txt ke root server website yang Kamu miliki. Silakan Kamu letakkan file Robots.txt di folder public_html.
Setelah upload file Robots.txt ke root direktori WordPress, jangan lupa untuk mengeceknya apakah file tersebut sudah berhasil terupload atau belum dengan cara ketik alamat-situs/robots.txt di browser.
Selesai sudah artikel ini dan semoga bisa membantu bagi Kamu yang membutuhkan. Terima kasih dan salam sukses!
kunjungan perdana sob,, bermanfaat sekali artikelnya.. terima kasih..
HAPPY BLOGGING sob.. (^_^)
Terimakasih atas kunjungannya, dan jangan kapok ya … Oh iya ma’af komentarnya saya edit karena ketangkap hansip gan …
saya tidak begitu paham gan tentang robot.txt….
setting robots.txt hanya untuk domain TLD gan …
wah begitu ya, terima kasih infonya, mungkin nanti bermanfaat bila saya mempunyai blog wordpress, untuk saat ini saya memilih blogger dulu saja. :)
oke mba kedepannya dicoba saja ngeblog menggunakan platform WordPress …
Bingung,,, ilmunya ketinggian nih bagi saya yg awam :)
Bisa diterapkan jika nanti agan sudah mempunyai blog self hosting, karena untuk WordPress.com tidak perlu dan memang tidak ada fasilitas untuk setting robots.txt. Itu semua untuk keamanan sudah menjadi tanggungan pihak WordPress.com.
Thanks gan,, saya sudah buat di blog saya..
Sama-sama gan, selamat mencoba …
wp-content emang sebaiknya di disallow yah?
Iya gan, wp-content sebaiknya disallow juga. Lebih khususnya wp-content/plugins, wp-content/cache, wp-content/themes
Gan ada ndak plugin robot txt.saya sudah pusing duluan jika harus pake cara di atas.tolong ya di beri tahu.
Kalau pakai plugin kira-kira ada gak ya gan? Biar lebih praktis gitu. Soalnya Saya gak begitu paham kalau utak-atik di cPanel atau di hostingannya.
Kalau mas mau pakai plugin, mas bisa menggunakan plugin WP SEO by Yoast saja. Plugin ini bukan hanya bisa membuat Robots.txt, kita juga bisa edit HTAccess, membuat Breadcrumb, dan sebagainya.
kok mucul notifikasi seperti ini?
Peringatan
Url dicekal oleh robots.txt.
Peta Situs berisi url yang dicekal oleh robots.txt.
Mohon bantuannya? apa yang salah?
Itu peringatan notifikasi di mana gan? Buatlah file Robots.txt standar saja seperti blog-blog para master lainnya dengan mengeceknya domain-blog/robots.txt
saya masih bingung robot.txt yg cocok sma web saya gan…
mungkiin ada saran ? atau bisa minta tolong bantuannya,,, saya tidak mengerti tentang kode-kode tersebut… terima kasih
Kalau bingung buat yang standar saja mas. Blog IM ini juga menggunakan robots.txt yang standar saja, silakan di copy paste saja.
kalo membuat robot txt yang hanya akan mengindex posting dan page aja gimana mas.. selain post dan page disallow semua
Terima kasih banyak gan atas informasinya, sangat bermanfaat dan semoga blog saya semakin baik dan baik lagi, salam….
Apakah robot.txt nya seperti punya blog IM bisa dipakai untuk toko online?
dan kalo beda, bisa kasih contohnya mas yg utk toko online?
thks.
Untuk website toko online (e-commerce) bisa Anda gunakan seperti Robots.txt blog ini. Silakan di copy saja!
adakah plugin yg bsa mengedit robot txt om, biar gk ribet login cpanel tolong update dipostingan selanjutnya ya om kalau ada, ane bookmark dah situs ini soalnya nyaman banget nongkrong dimari
Mas, saya sudah buat robots.txt seperti di atas, saya cek dengan http://domain/robots.txt udah keluar, namun saya cek kevalitan di robots cheker seperti ya mas contoh kan kok keluar “ERROR: Redirect detected. Please insert the actual file URL” ya mas. kenapa ya itu mas ?mohon bantuan nya, karena website saya terjadi “kesalatan pengambilan robot.txt total” saya cek di webmaster mas. Terima kasih sebelum nya
Saya lihat robots txt blog ini mas feednya kok disallow? apa itu nggak berpengaruh ke artikel2 terbaru di blog?
Belum pasang robot.txt nih, jadi pengin cobain masang juga. Izin mengikuti instruksinya ya mastah. :D
Kenapa pihak adsense tidak menemukan site saya. Apa karena robot.txt saya yang mengdisallow adsense ya.
Tanya mas..waktu saya flecth url ke webmater sebanyak 11 kali dalam sehari..saat fletch ke 11 itu..kena blocked laporannya…bagaimana cara mengatasinya…lalu saya flecth lagi ..url selanjutnya juga kena block juga …mohon bantuannya untuk membuka kembali.
Ribet gak gan kira – kira untuk masalah robot teks di cpanel itu. saya ingin beralih ke domain bayar tapi masih ragu – ragu. jadi masih pake blogspot
Ini artikel yang saya, Cara Membuat Robots.txt Di WordPress terima kasih mas