Robots.txt Generator


Default - Semua Robot:  
    
Penundaan Perayapan:
    
Peta Situs: (biarkan kosong jika Anda tidak punya) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Direktori Terbatas: Path relatif ke root dan harus berisi garis miring tambahan "/"
 
 
 
 
 
 
   



Sekarang, buat file 'robots.txt' di direktori root Anda. Salin teks di atas dan rekatkan ke file teks.


Tentang Robots.txt Generator

Robots.txt adalah file yang berisi instruksi tentang cara merayapi situs web. Ini juga dikenal sebagai protokol pengecualian robot, dan standar ini digunakan oleh situs untuk memberi tahu bot bagian mana dari situs web mereka yang perlu diindeks. Selain itu, Anda dapat menentukan area mana yang tidak ingin diproses oleh perayap ini; area tersebut mengandung konten duplikat atau sedang dikembangkan. Bot seperti detektor malware, pemanen email tidak mengikuti standar ini dan akan memindai kelemahan dalam sekuritas Anda, dan ada kemungkinan besar bahwa mereka akan mulai memeriksa situs Anda dari area yang tidak ingin Anda diindeks.

File Robots.txt lengkap berisi "Agen-pengguna," dan di bawahnya, Anda dapat menulis arahan lain seperti "Izinkan," "Larang," "Merayapi-Delay" dll. Jika ditulis secara manual mungkin memerlukan banyak waktu, dan Anda dapat memasukkan beberapa baris perintah dalam satu file. Jika Anda ingin mengecualikan halaman, Anda harus menulis "Larang: tautan yang tidak ingin dikunjungi bot" juga berlaku untuk atribut yang memungkinkan. Jika Anda pikir hanya itu yang ada di file robots.txt maka itu tidak mudah, satu baris yang salah dapat mengecualikan halaman Anda dari antrian indeksasi. Jadi, lebih baik menyerahkan tugas kepada pro, biarkan generator Robots.txt kami yang mengurus file untuk Anda.

Apa itu Robot txt dalam SEO?

Apakah Anda tahu file kecil ini adalah cara untuk membuka peringkat yang lebih baik untuk situs web Anda?

Bot mesin pencari file pertama yang terlihat adalah file txt robot, jika tidak ditemukan, maka ada peluang besar bahwa crawler tidak akan mengindeks semua halaman situs Anda. File kecil ini dapat diubah nanti ketika Anda menambahkan lebih banyak halaman dengan bantuan instruksi kecil tetapi pastikan Anda tidak menambahkan halaman utama dalam arahan disallow. Google berjalan dengan anggaran crawl; anggaran ini didasarkan pada batas perayapan. Batas perayapan adalah jumlah waktu perayap yang akan dihabiskan di situs web, tetapi jika Google mengetahui bahwa perayapan situs Anda mengguncang pengalaman pengguna, maka perayapan akan memperlambat situs lebih lambat. Ini lebih lambat berarti bahwa setiap kali Google mengirim laba-laba, ia hanya akan memeriksa beberapa halaman situs Anda dan posting terbaru Anda akan membutuhkan waktu untuk diindeks. Untuk menghapus batasan ini, situs web Anda perlu memiliki sitemap dan file robots.txt.

Karena setiap bot memiliki kutipan perayapan untuk sebuah situs web, ini membuatnya perlu untuk memiliki file robot terbaik untuk situs web wordpress juga. Alasannya karena itu berisi banyak halaman yang tidak perlu diindeks Anda bahkan dapat menghasilkan file txt WP robot dengan alat kami. Juga, jika Anda tidak memiliki file txt robotika, crawler akan tetap mengindeks situs web Anda, jika itu blog dan situs tidak memiliki banyak halaman maka tidak perlu memilikinya.

Tujuan Arahan dalam File Robot.txt

Jika Anda membuat file secara manual, maka Anda harus mengetahui pedoman yang digunakan dalam file tersebut. Anda bahkan dapat memodifikasi file nanti setelah mempelajari cara kerjanya.

  • Crawl-delay Arahan ini digunakan untuk mencegah crawler dari overloading host, terlalu banyak permintaan dapat membebani server yang akan mengakibatkan pengalaman pengguna yang buruk. Keterlambatan perayapan diperlakukan secara berbeda oleh bot yang berbeda dari mesin pencari, Bing, Google, Yandex memperlakukan arahan ini dengan cara yang berbeda. Bagi Yandex, ini adalah penantian di antara kunjungan berturut-turut, untuk Bing, ini seperti jendela waktu di mana bot akan mengunjungi situs hanya sekali, dan untuk Google, Anda dapat menggunakan konsol pencarian untuk mengontrol kunjungan bot.
  • Mengizinkan Mengizinkan direktif digunakan untuk mengaktifkan indeksasi URL berikut. Anda dapat menambahkan URL sebanyak yang Anda inginkan terutama jika itu adalah situs belanja maka daftar Anda mungkin bertambah besar. Namun, hanya gunakan file robot jika situs Anda memiliki halaman yang Anda tidak ingin diindeks.
  • Dilarang Tujuan utama file Robots adalah untuk menolak crawler dari mengunjungi tautan, direktori, dll. Direktori-direktori ini, bagaimanapun, diakses oleh bot lain yang perlu memeriksa malware karena mereka tidak bekerja sama dengan standar.

Perbedaan Antara Sitemap dan File Robot.txt

Peta situs sangat penting untuk semua situs web karena mengandung informasi yang berguna untuk mesin pencari. Peta Situs memberi tahu bot seberapa sering Anda memperbarui situs web Anda jenis konten yang disediakan situs Anda. Motif utamanya adalah untuk memberi tahu mesin pencari dari semua halaman situs Anda yang perlu dirayapi sedangkan file robotik txt adalah untuk crawler. Ini memberitahu crawler halaman mana yang akan dijelajahi dan yang tidak. Sitemap diperlukan untuk mendapatkan situs Anda diindeks sedangkan txt robot tidak (jika Anda tidak memiliki halaman yang tidak perlu diindeks).