Kami berusaha menyediakan website yang berguna untuk pengetahuan para pembaca, panduan singkat dan sederhana ini semoga menjadi jalan bagi kalian yang mengalami kesulitan dalam membuat blog di dunia maya, kami mengambil sumber dari blog Panduan Blog Online.com seandainya kalian berkenan langsung mengunjungi website tersebut, selamat menikmati!
Pemilik situs pasti juga menginginkan situs miliknya berada di peringkat atas pencarian Google. Namun, mesin pencari Google tidak bisa membedakan halaman mana yang boleh dan tidak boleh diindeks. Agar halaman setiap situs dapat terindeks dengan rapi dan membatasi halaman yang tidak boleh diindeks, Anda membutuhkan file robots.txt. Apa itu robots.txt dan bagaimana cara setting robot txt di WordPress? Kami akan membahasnya melalui artikel ini.
Sebelum itu, perlu diketahui bahwa dengan memberikan robots.txt pada situs, maka akan memberikan tanda ke Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.
Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.
Robots.txt adalah sebuah file yang menyediakan sekumpulan instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari. Istilah mudahnya adalah sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.
Ketika membuat website baru dan dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian. Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs dan lain sebagainya.
Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.
Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.
File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.
Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Membuat sendiri file robots.txt yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual.
File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.
Konfigurasi robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda dapat menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa situs pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip seperti dibawah ini.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://karsanusantara.com/sitemap.xml
Keterangan:
Skrip di atas merupakan contoh dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan. Misalnya, jika terdapat halaman forum, maka yang perlu dilakukan adalah disallow folder forum agar tidak terbaca oleh mesin pencarian agar tidak muncul pada hasil pencarian. Bisa jadi jika tidak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.
Ada beberapa cara yang dapat Anda lakukan untuk mengaktifkan Robot TXT di WordPress. Cara yang paling simpel dan tidak memerlukan tambahan plugin adalah dengan mengunggah file robots.txt secara manual. Setidaknya akan ada tiga cara yang akan kita bahas pada artikel ini, yaitu cara setting robot txt di WordPress menggunakan All in One SEO Pack, Yoast SEO, dan yang terakhir menggunakan cara manual.
Setidaknya ada empat cara setting robot txt di WordPress menggunakan plugin All in One SEO Pack.
Anda perlu melakukan instalasi plugin All in One SEO Pack jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.
Setelah proses instalasi selesai, kemudian masuk ke dalam menu All in One SEO. Kemudian mengaktifkan fitur robots.txt yang ada di dalamnya.
Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.
Saat robots.txt sudah aktif, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.
Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-path yang akan dimasukkan ke dalam file.
Anda tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.
Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin Yoast SEO. Plugin ini fungsinya hampir sama dengan All in One SEO Pack. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.
Langkah pertama perlu dilakukan tentu saja melakukan instalasi plugin Yoast SEO.
Setelah terinstal, navigasikan menu menuju ke “SEO -> Tools”. Pada halaman ini akan ada beberapa pilihan yang muncul, klik “File Editor”.
Pada halaman selanjutnya akan ada pilihan untuk “Create a New Robots.txt”. Pada halaman ini, masukkan rule yang ingin diterapkan pada situs web.
Anda dapat menyesuaikan dengan kebutuhan situs Anda masing-masing.
Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.
Anda dapat membuat terlebih dahulu file robots.txt menggunakan aplikasi note di perangkat desktop. Pada contoh ini kami menggunakan Atom.
Masukkan rule ke dalam file dan klik “Save”.
Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.
Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Google Search Console.
Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di ‘crawl’. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan ‘crawl’ pada file atau folder tertentu.
Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau ‘rule’ robots.txt secara manual.
Terima kasih sudah menyimak artikel ini, semoga dapat memberikan gambaran kepada Anda mengenai penggunaan dan cara setting robot txt di WordPress.
Source:niagahoster.com
No comments:
Post a Comment