Mengenal crawl budget dan dampaknya untuk SEO

Selamat Datang di Blog Orang IT,

Baru-baru ini, google telah mendengar sejumlah definisi untuk "anggaran perayapan" atau Crawl Budget, namun google tidak memiliki satu istilah yang dapat menjelaskan segala sesuatu yang  berhubungan dengan "crawl budget" 

Dalam postingan ini saya akan mengklarifikasi apa yang sebenarnya google miliki terkait perayapan dan apa artinya untuk Googlebot.

Pertama, google ingin menekankan bahwa anggaran perayapan, seperti yang akan dijelaskan di bawah, bukanlah sesuatu yang harus dikhawatirkan sebagian besar oleh webmaster apalagi kalau web mereka bukan web dengan basis data yang besar. 

Jika laman baru cenderung dirayapi pada hari yang sama setelah dipublikasikan, anggaran perayapan bukanlah sesuatu yang harus menjadi perhatian webmaster. Demikian juga, jika situs anda memiliki kurang dari beberapa ribu URL, maka sebagian besar laman akan tetap dirayapi secara efisien.

Memprioritaskan apa yang akan dirayapi, kapan, dan berapa banyak sumber daya yang dapat dialokasikan oleh server tempat situs yang dirayapi lebih penting , itupun untuk situs dengan skala besar atau yang menghasilkan halaman secara otomatis berdasarkan parameter URL

Batas tingkat perayapan

Googlebot dirancang untuk menjadi warga web yang baik. Perayapan adalah prioritas utamanya, sambil memastikan bahwa proses perayapan tidak menurunkan pengalaman pengguna yang mengunjungi situs  (tidak membuat website down). 

Google menyebutnya "limit crawl budget" yang membatasi tingkat pengambilan maksimum untuk situs tertentu.

Sederhananya, ini merupakan jumlah koneksi paralel simultan yang Googlebot dapat gunakan untuk menjelajah situs, serta waktu yang harus ditunggu antara pengambilan. Tingkat perayapan dapat naik dan turun berdasarkan beberapa faktor berikut:

• Kesehatan situs: jika situs anda merespons dengan sangat cepat untuk sementara waktu, batasnya naik, artinya lebih banyak koneksi dapat digunakan untuk merayapi. Jika situs melambat atau merespons dengan kesalahan server, batasnya turun dan Googlebot merayapi lebih sedikit.

• Batas yang ditetapkan di Search Console : pemilik situs web dapat mengurangi jumlah perayapan Googlebot di situs mereka. Perhatikan bahwa pengaturan batas yang lebih tinggi tidak secara otomatis meningkatkan perayapan.

• Permintaan perayapan: Bahkan jika batas tingkat perayapan tidak tercapai atau tidak ada permintaan dari pengindeksan, akan tetap ada aktivitas rendah dari Googlebot disitus anda 

Dua faktor yang memainkan peran penting dalam menentukan permintaan perayapan adalah:

• Popularitas: URL yang lebih populer di Internet cenderung lebih sering dirayapi agar selalu fresh dalam indeks google.

• Staleness: sistem google berupaya mencegah laman URL menjadi basi sehingga mereka akan melakukan perayapan secara rutin untuk melihat pembaharuan

Selain itu, aktivitas di seluruh situs seperti pemindahan situs dapat memicu peningkatan permintaan perayapan untuk mengindeks ulang konten di bawah URLyang  baru.

Dengan menggabungkan tingkat perayapan dan permintaan perayapan, google mendefinisikan anggaran perayapan sebagai jumlah URL yang dapat diberikan kepada sebuah website

Faktor yang memengaruhi anggaran perayapan

Menurut analisis google, memiliki banyak halaman URL berkualitas rendah dapat memengaruhi perayapan dan pengindeksan situs secara negatif, google menemukan bahwa URL berkualitas rendah masuk dalam kategori-kategori ini :

• Navigasi sulit  dan pengidentifikasian struktur pembangun template rusak


• Konten duplikat  


• Halaman kesalahan / error /tidak ditemukan


• Halaman yang diretas


• Website yang membatasi proxy


• Konten berkualitas rendah dan spam

Membuang-buang sumber daya server pada halaman seperti ini akan menguras aktivitas perayapan dari halaman yang benar-benar memiliki nilai, yang dapat menyebabkan keterlambatan signifikan dalam menemukan konten hebat didalam situs.

Pertanyaan umum

Perayapan adalah titik masuk bagi sebuah situs sebelum ditampilkan ke hasil pencarian Google. Perayapan situs web yang efisien membantu pengindeksannya di Google Penelusuran.

T: Apakah kecepatan situs memengaruhi anggaran perayapan saya? Bagaimana dengan kesalahan?

A: Membuat situs lebih cepat meningkatkan pengalaman pengguna sekaligus meningkatkan tingkat perayapan. Untuk Googlebot, situs cepat adalah pertanda server yang sehat, sehingga bisa mendapatkan lebih banyak konten melalui jumlah koneksi yang sama. Di sisi lain, sejumlah besar kesalahan 5xx atau batas waktu koneksi menandakan sebaliknya, dan perayapan melambat.

Google sarankan untuk memperhatikan laporan Kesalahan Perayapan di Search Console dan menjaga agar jumlah kesalahan server tetap rendah.

T: Apakah perayapan merupakan faktor peringkat?

A: Tingkat perayapan yang meningkat tidak selalu mengarah ke posisi yang lebih baik di hasil Penelusuran. Google menggunakan ratusan sinyal untuk menentukan hasil peringkat , dan sementara perayapan diperlukan untuk berada dalam hasil, itu bukan sinyal peringkat.

T: Apakah URL alternatif dan konten yang disematkan dihitung dalam anggaran perayapan?

A: Secara umum, URL apa pun yang dirayapi Googlebot akan diperhitungkan dalam anggaran perayapan situs. URL alternatif, seperti AMP atau hreflang, serta konten yang disematkan, seperti CSS dan JavaScript, termasuk panggilan AJAX (yaitu XHR ), mungkin harus dirayapi dan akan menghabiskan anggaran perayapan situs. Demikian pula, link yang mengalihkan mungkin memiliki efek negatif pada perayapan.

T: Dapatkah saya mengontrol Googlebot dengan arahan "crawl-delay"?

SEBUAH:Arahan robots.txt "crawl-delay" yang tidak standar tidak diproses oleh Googlebot.

T: Apakah arahan nofollow memengaruhi anggaran perayapan?

A: Tergantung. URL apa pun yang dirayapi akan memengaruhi anggaran perayapan, jadi meskipun halaman Anda menandai URL sebagai nofollow, ia masih bisa dirayapi jika halaman lain di situs Anda, atau halaman apa pun di web, tidak memberi label tautan sebagai nofollow.

T: Apakah URL yang saya batalkan melalui robots.txt memengaruhi anggaran perayapan saya dengan cara apa pun?

A: Tidak, URL yang diblokir tidak memengaruhi anggaran perayapan.

Baca juga : Mengatasi situs baru tidak muncul digoogle