Robots.txt, yang lebih dikenal sebagai protokol pengecualian robot adalah file yang berisi petunjuk untuk merayapi spider. Ini memberi tahu halaman apa yang harus dirayapi dan halaman apa yang tidak perlu dirayapi.
Setiap Googlebot memiliki daftar perayapan (jumlah URL yang bisa dan ingin dirayapi Googlebot) sehingga penting untuk membuat spider merayapi hanya laman yang paling penting dan mengabaikan halaman yang tidak penting (halaman lampiran, terkadang tag, dll).
Berikut contoh file robots.txt yang bisa kita ikuti
https://deliciousthemes.com/robots.txt
Sekarang, mari lakukan tes:
Cobalah mengakses file robots.txt Anda dengan membuka https://UrlWebsitemu.com/robots.txt
Jika mesin ini mengembalikan file, bagus, berarti Anda memiliki robots.txt. Jika tidak, buatlah dan letakkan di dasar situs web Anda, melalui ftp.
Beriku adalah hal yang dapat Anda lakukan dengan file robots.txt:
● memangkas daftar perayapan dengan menghapus halaman yang tidak perlu dirayapi
● bisa menghentikan spider mengakses halaman “pribadi” dan menampilkannya di hasil penelusuran. Hal ini berbicara tentang keanggotaan atau “thank you pages” yang tidak ingin Anda lihat.
Cara menambahkan file robots.txt ke situs Anda
File teks robot, atau file robots.txt (sering keliru disebut sebagai file robot.txt) harus dimiliki untuk setiap situs web. Menambahkan file robots.txt ke folder root situs Anda adalah proses yang sangat sederhana, dan memiliki file ini sebenarnya merupakan ‘tanda kualitas’ bagi mesin pencari. Mari kita lihat opsi robots.txt yang tersedia untuk situs Anda.
Apa itu file teks robot?
Robots.txt hanyalah sebuah ASCII atau file teks biasa yang memberi tahu mesin pencari di mana mereka tidak diizinkan untuk pergi di sebuah situs – juga dikenal sebagai Standar untuk Pengecualian Robot. File atau folder apa pun yang terdaftar dalam dokumen ini tidak akan dirayapi dan diindeks oleh spider mesin pencari. Memiliki robots.txt, bahkan yang kosong, menunjukkan Anda mengakui bahwa mesin pencari diizinkan di situs Anda dan mereka mungkin memiliki akses gratis ke sana. Sebaiknya tambahkan file teks robot ke domain utama Anda dan semua sub-domain di situs Anda.
Opsi Robots.txt untuk pemformatan
Menulis robots.txt adalah proses yang mudah. Ikuti langkah-langkah sederhana ini:
- Buka Notepad, Microsoft Word atau editor teks apa pun dan simpan file sebagai ‘robot,’ semuanya huruf kecil, pastikan untuk memilih .txt sebagai ekstensi jenis file (di Word, pilih ‘Teks Biasa’).
- Selanjutnya, tambahkan dua baris teks berikut ke file Anda:
Agen-pengguna: *
Larang:
‘Agen-pengguna’ adalah kata lain untuk robot atau spider mesin pencari. Tanda bintang (*) menunjukkan bahwa garis ini berlaku untuk semua laba-laba. Di sini, tidak ada file atau folder yang terdaftar di baris Disallow, yang menyiratkan bahwa setiap direktori di situs Anda dapat diakses. Ini adalah file teks robot dasar.
- Memblokir spider mesin pencari dari seluruh situs Anda juga merupakan salah satu opsi robots.txt. Untuk melakukan ini, tambahkan dua baris ini ke file:
Agen-pengguna: *
Disallow: /
- Jika Anda ingin memblokir spider dari area tertentu di situs Anda, robots.txt Anda mungkin terlihat seperti ini:
Agen-pengguna: *
Disallow: / database /
Disallow: / scripts /
Tiga baris di atas memberi tahu semua robot bahwa mereka tidak diizinkan mengakses apa pun di database dan direktori skrip atau sub-direktori. Ingatlah bahwa hanya satu file atau folder yang dapat digunakan per baris Disallow. Anda dapat menambahkan baris Disallow sebanyak yang Anda butuhkan.
- Pastikan untuk menambahkan file peta situs XML yang sesuai untuk mesin telusur Anda ke file teks robot. Ini akan memastikan bahwa spider dapat menemukan peta situs Anda dan dengan mudah mengindeks semua halaman situs Anda. Gunakan sintaks ini:
Peta Situs: http://www.mydomain.com/sitemap.xml
- Setelah selesai, simpan dan unggah file robots.txt Anda ke direktori root situs Anda. Misalnya, jika domain Anda adalah www.mydomain.com, Anda akan menempatkan file di www.mydomain.com/robots.txt.
- Setelah file ada di tempatnya, periksa file robots.txt apakah ada kesalahan .
Kami dapat membantu menerapkan ini dan elemen SEO teknis lainnya. Hubungi kami hari ini untuk memulai!
Masih butuh bantuan?
| Tools yang digunakan | Pendalaman Materi |
|---|---|
| – WordPress | – Cukup jelas |