Cara Setting Robot.txt di Blogspot atau Wordpress

Robot.txt (atau juga disebut "robots exclusion standard") adalah sebuah file teks khusus yang digunakan untuk memberikan instruksi kepada robot mesin pencari seperti Google, Bing, Yahoo, dan lain-lain tentang bagian mana dari situs web yang tidak boleh di-crawl atau diindeks.

File robot.txt biasanya ditempatkan di direktori root dari situs web, dan bisa diakses melalui alamat situs-web.com/robots.txt. Robot.txt terdiri dari beberapa perintah atau direktif yang diatur dalam format standar, seperti "User-agent", "Disallow", dan "Allow".

Dengan menggunakan robot.txt, pemilik situs web dapat mengontrol bagaimana mesin pencari mengakses dan mengindeks halaman-halaman tertentu di situs web mereka. Hal ini berguna untuk memastikan bahwa halaman-halaman yang tidak penting, seperti halaman privasi, halaman login, atau halaman yang duplikat tidak diindeks oleh mesin pencari.

Penjelasan Kode Robot.txt

Kode Robot.txt terdiri dari beberapa elemen dasar yang digunakan untuk memberikan instruksi kepada robot mesin pencari. Berikut adalah penjelasan singkat tentang beberapa kode yang sering digunakan dalam file robot.txt:

User-agent:

Kode "User-agent" digunakan untuk menentukan robot mesin pencari mana yang akan menerima instruksi yang diberikan dalam file robot.txt. Misalnya, "User-agent: Googlebot" digunakan untuk memberikan instruksi khusus untuk mesin pencari Googlebot.

Disallow:

Kode "Disallow" digunakan untuk menunjukkan halaman-halaman atau direktori yang tidak boleh di-crawl atau diindeks oleh robot mesin pencari. Misalnya, "Disallow: /admin" akan mengarahkan robot mesin pencari untuk tidak mengakses halaman atau direktori yang ada di bawah direktori "admin".

Allow:

Kode "Allow" digunakan untuk menunjukkan halaman-halaman atau direktori yang boleh di-crawl atau diindeks oleh robot mesin pencari. Kode ini sering digunakan ketika Anda ingin membatasi akses pada suatu direktori, tetapi ingin memperbolehkan akses pada beberapa file atau direktori di dalamnya. Misalnya, "Disallow: /admin" diikuti dengan "Allow: /admin/page1.html" akan memungkinkan robot mesin pencari untuk mengakses halaman "page1.html" dalam direktori "admin", tetapi akan melarang akses ke halaman lain di dalam direktori tersebut.

Sitemap:

Kode "Sitemap" digunakan untuk memberikan tautan ke sitemap XML untuk mesin pencari. Sitemap memberi tahu mesin pencari tentang halaman-halaman di situs web Anda, termasuk informasi seperti frekuensi pembaruan, prioritas, dan lain-lain.

Contoh penggunaan kode Robot.txt yang umum:

User-agent: *

Disallow: /admin/

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /js/

Disallow: /css/

Disallow: /pdf/

Sitemap: https://www.situs-web.com/sitemap.xml

Dalam contoh di atas, "User-agent: *" berarti semua robot mesin pencari yang mengunjungi situs web akan menerima instruksi dalam file robot.txt tersebut. "Disallow" digunakan untuk melarang akses pada beberapa direktori yang tidak penting. "Sitemap" digunakan untuk memberikan informasi sitemap situs web.

Cara Menambahkan Robot.txt di blogspot

Berikut adalah langkah-langkah cara menambahkan file robot.txt di blogspot:

1. Login ke akun blogger Anda dan pilih blog yang ingin Anda atur file robot.txt-nya.
2. Klik "Settings" pada menu di sebelah kiri, lalu pilih "Search preferences".
3. Di bagian "Crawlers and indexing", klik "Edit" pada bagian "Custom robots.txt".
4. Pilih "Yes" pada opsi "Enable custom robots.txt content" jika belum diaktifkan.
5. Buka halaman pembuat teks dan buat file robot.txt sesuai dengan instruksi yang Anda inginkan.
6. Salin teks file robot.txt yang telah dibuat.
7. Kembali ke halaman "Custom robots.txt" di Blogger dan paste teks robot.txt ke dalam kotak teks.
8. Klik tombol "Save changes" untuk menyimpan perubahan.
9. Setelah file robot.txt telah ditambahkan ke blogspot Anda, pastikan untuk memeriksa file robot.txt Anda menggunakan alat "Google Search Console" untuk memastikan tidak ada kesalahan yang terjadi dan robot mesin pencari Anda dapat memahami file tersebut dengan baik.

Cara Menambahkan Robot.txt di WordPress 

Berikut adalah langkah-langkah cara menambahkan file robot.txt di WordPress:

1. Login ke WordPress Anda dan pilih website atau blog yang ingin Anda atur file robot.txt-nya.
2. Install plugin "Yoast SEO" atau plugin WordPress lainnya yang mendukung pengaturan file robot.txt. Jika sudah terpasang, buka menu "SEO" di dashboard WordPress Anda.
3. Klik "Tools" pada menu "SEO" dan pilih "File editor".
4. Pilih "Create robots.txt file" jika file robot.txt belum ada, atau "Edit robots.txt file" jika sudah ada.
5. Buat atau edit file robot.txt sesuai dengan instruksi yang Anda inginkan. Anda dapat menggunakan contoh kode yang telah disebutkan sebelumnya untuk mengarahkan robot mesin pencari untuk tidak mengakses halaman-halaman tertentu atau direktori di situs web Anda.
6. Klik tombol "Save changes to robots.txt" untuk menyimpan perubahan.
7. Setelah file robot.txt telah ditambahkan ke WordPress Anda, pastikan untuk memeriksa file robot.txt Anda menggunakan alat "Google Search Console" untuk memastikan tidak ada kesalahan yang terjadi dan robot mesin pencari Anda dapat memahami file tersebut dengan baik. Jika Anda memutuskan untuk menggunakan plugin WordPress selain Yoast SEO, ikuti petunjuk pengaturan yang disediakan oleh plugin tersebut.

Custom Robot.txt yang sesuai SEO 

Berikut adalah contoh kode robot.txt yang dapat membantu mengoptimalkan SEO pada situs web Anda:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /wp-json/

Disallow: /archives/

Disallow: /author/

Disallow: /category/

Disallow: /comments/

Disallow: /feed/

Disallow: /page/

Disallow: /tag/

Disallow: */embed/

Disallow: */wp-login.php

Sitemap: https://www.contoh.com/sitemap.xml

Penjelasan:

• User-agent: * berarti semua robot mesin pencari dapat mengikuti instruksi dalam file robot.txt ini.
• Disallow: /wp-admin/, Disallow: /wp-includes/, Disallow: /wp-content/plugins/, dan Disallow: /wp-content/themes/ akan memblokir robot mesin pencari dari mengindeks direktori atau file WordPress default yang tidak relevan dengan pencarian.
• Disallow: /wp-json/ akan menghalangi akses robot mesin pencari ke API WordPress yang tidak diperlukan.
• Disallow: /archives/, Disallow: /author/, Disallow: /category/, Disallow: /comments/, Disallow: /feed/, Disallow: /page/, dan Disallow: /tag/ akan memblokir robot mesin pencari dari mengindeks halaman arsip, halaman penulis, halaman kategori, halaman komentar, halaman umpan, halaman yang dibuat oleh plugin, dan halaman tag.
• Disallow: */embed/ akan menghalangi WordPress menambahkan tautan iframe ke halaman dan mengurangi kecepatan loading.
• Disallow: */wp-login.php akan menghindari robot mesin pencari dari mengakses halaman login WordPress.
• Sitemap: https://www.contoh.com/sitemap.xml akan memberitahu robot mesin pencari tentang lokasi sitemap situs web.
• Pastikan untuk mengedit kode ini sesuai dengan kebutuhan situs web Anda. Jangan lupa untuk memeriksa file robot.txt Anda menggunakan alat "Google Search Console" atau alat lainnya untuk memastikan tidak ada kesalahan yang terjadi dan robot mesin pencari Anda dapat memahami file tersebut dengan baik.

Cara Memeriksa Robot.txt

Anda dapat memeriksa file robot.txt dengan mudah menggunakan alat "Google Search Console". Berikut adalah langkah-langkahnya:

1. Login ke akun "Google Search Console" Anda.
2. Pilih situs web yang ingin Anda periksa file robot.txt-nya.
3. Klik "Crawl" pada menu di sebelah kiri, lalu pilih "robots.txt Tester".
4. Pada halaman "robots.txt Tester", Anda dapat memeriksa apakah file robot.txt situs web Anda telah diakses dengan benar oleh Googlebot, yaitu robot mesin pencari Google. Anda juga dapat melihat kesalahan atau peringatan yang muncul pada file tersebut.
5. Untuk menguji blok pengindeksan yang diatur pada file robot.txt, masukkan URL yang ingin Anda periksa di kotak teks dan klik tombol "Test" untuk melihat apakah URL tersebut diizinkan atau tidak.
6. Jika file robot.txt tidak ditemukan atau terdapat kesalahan, klik "Submit" pada bagian "Submit a new robots.txt file" untuk mengirimkan file robot.txt baru.
7. Pastikan untuk memperbarui dan memeriksa file robot.txt secara teratur untuk memastikan situs web Anda diindeks dengan benar oleh robot mesin pencari dan mendapatkan hasil pencarian yang optimal.

**Update Cara Cek robot.txt

https://situskamu/robot.txt 

Jika hasilnya isi dari Robot.txt maka setting telah sukses. Jika tidak muncul, maka masih ada kesalahan.

Kesimpulan 

Dalam kesimpulannya, file robot.txt adalah file yang ditempatkan pada situs web Anda untuk memberikan instruksi kepada robot mesin pencari seperti Googlebot tentang bagaimana cara mengindeks situs web Anda. File ini sangat penting untuk SEO karena dapat membantu memastikan bahwa halaman yang tidak relevan atau tidak diinginkan tidak diindeks oleh mesin pencari.

Untuk menambahkan file robot.txt pada situs web Anda, Anda dapat mengikuti langkah-langkah yang disediakan oleh platform blogging seperti Blogger atau WordPress. Pastikan untuk memeriksa file robot.txt secara berkala menggunakan alat seperti "Google Search Console" untuk memastikan tidak ada kesalahan atau peringatan dan memastikan bahwa file tersebut memungkinkan robot mesin pencari untuk mengindeks situs web Anda dengan benar.

Dalam membuat kode robot.txt, pastikan untuk memblokir akses ke halaman dan direktori yang tidak relevan dengan pencarian seperti halaman login, halaman tag, atau halaman komentar. Selain itu, pastikan juga untuk menyertakan sitemap situs web Anda untuk memberitahu robot mesin pencari tentang struktur situs web dan lokasi URL yang perlu diindeks

Berbagi :

Anda mungkin menyukai postingan ini :

• 
  Raih Sukses dengan Bisnis Online: Panduan Praktis untuk Pemula
• 
  Menjadi Pemrogram atau Coding
• 
  Menggali Potensi Teknologi: Ide, Inovasi, dan Implementasi
• 
  Cara Mudah Membuat Daftar Isi Otomatis di Microsoft Word di Windows dan MacOS