Generator robots.txt

Atur crawler yang boleh masuk sebelum mesin pencari, bot AI, atau staging leak menemukan path yang salah.

Editor aturan

Pakai * untuk semua crawler, atau masukkan nama crawler tertentu seperti Googlebot.

Satu path per baris. Awali setiap path dengan /.

Gunakan aturan allow untuk menimpa aturan disallow yang lebih luas.

Arahkan crawler ke sitemap agar URL publik lebih mudah ditemukan.

Pratinjau file: robots.txt

Referensi robots.txt

User-agent: *

Cocok dengan semua crawler dan biasanya dipakai sebagai grup aturan default.

Disallow: /private/

Meminta crawler yang patuh agar tidak mengambil path di dalam direktori /private/.

Allow: /private/image.jpg

Mengizinkan crawler mengakses file tertentu walau path induknya diblokir.

Sitemap: URL

Mengarahkan crawler ke sitemap agar mereka dapat menemukan URL publik lebih efisien.

Pertanyaan umum

Apakah saya perlu file robots.txt?

Tidak wajib, tetapi berguna untuk memberi crawler aturan crawl dan lokasi sitemap yang jelas. Tanpa file ini, crawler yang patuh bisa meminta URL publik apa pun yang mereka temukan.

Bisakah file ini langsung diunggah walau saya tidak teknis?

Ya. Generator mengikuti protokol robots exclusion standar. Untuk website marketing biasa, preset allow-all ditambah URL sitemap sering sudah cukup.

Bagaimana memblokir ChatGPT atau crawler AI lain?

Gunakan preset Blokir crawler AI. Preset ini menambahkan aturan disallow untuk crawler terkait AI yang umum, tetapi robots.txt bersifat sukarela. Ini mengatur crawler yang patuh, bukan keamanan akses.

Apakah robots.txt menjaga halaman private tetap aman?

Tidak. robots.txt bersifat publik dan tidak boleh dipakai sebagai proteksi. Dashboard private, build staging, dan file pelanggan tetap membutuhkan autentikasi, kontrol noindex, atau pembatasan jaringan.

Apa bedanya noindex dan Disallow?

Disallow meminta crawler tidak mengambil path. noindex meminta mesin pencari tidak menyimpan halaman di hasil pencarian. Jika crawler tidak bisa mengambil halaman karena disallow, ia mungkin tidak melihat tag noindex di halaman.