Tidak, robot. txt tidak diperlukan untuk tapak web. Jika bot datang ke tapak web anda dan ia tidak mempunyai satu, ia hanya akan merangkak tapak web dan halaman indeks anda seperti biasa. … fail txt hanya diperlukan jika anda ingin mempunyai lebih kawalan ke atas perkara yang sedang dirangkak.
Apakah yang berlaku jika anda tidak mempunyai robot txt?
robot. txt adalah pilihan sepenuhnya. Jika anda mempunyai satu, perangkak yang mematuhi standard akan menghormatinya, jika anda tiada, semua yang tidak dibenarkan dalam elemen HTML-META (Wikipedia) boleh dirangkak. Tapak akan diindeks tanpa had.
Bolehkah saya memadam txt robot?
Anda perlu mengalih keluar kedua-dua garisan daripada robot anda. fail txt. Fail robots terletak dalam direktori root folder pengehosan web anda, ini biasanya boleh didapati dalam /public_html/ dan anda sepatutnya boleh mengedit atau memadam fail ini menggunakan: FTP menggunakan klien FTP seperti FileZilla atau WinSCP.
Adakah robot txt selamat?
Robot. txt file itu sendiri bukanlah ancaman keselamatan, dan penggunaannya yang betul boleh mewakili amalan yang baik atas sebab bukan keselamatan. Anda tidak seharusnya menganggap bahawa semua robot web akan mematuhi arahan fail.
Mengapa txt robot tidak baik?
Hanya menambah senarai URL yang bertujuan untuk menjadi peribadi kepada robot. txt ialah salah satu cara terburuk untuk cuba menyembunyikan URL dan dalam kebanyakan kes, ia menghasilkan betul-betul bertentangan dengan hasil yang dimaksudkan.
