Standar Penggunaan Robot Web
Ketika pemilik situs ingin memberikan instruksi kepada robot web, mereka menempatkan file teks yang di sebut robots.txt di akar hierarki situs web (mis . https://www.example.com/robots.txt ) . File teks ini berisi instruksi dalam format tertentu (lihat contoh di bawah). Robot yang memilih untuk mengikuti instruksi mencoba mengambil file ini dan membaca instruksi sebelum mengambil file lain dari situs web . Jika file ini tidak ada, robot web berasumsi bahwa pemilik situs web tidak ingin membatasi perayapan seluruh situs.
File robots.txt di situs web akan berfungsi sebagai permintaan agar robot tertentu mengabaikan file atau di rektori tertentu saat merayapi situs. Ini mungkin, misalnya, karena preferensi privasi dari hasil mesin pencari, atau keyakinan bahwa konten di rektori yang d ipilih mungkin menyesatkan atau tidak relevan dengan kategorisasi situs secara keseluruhan, atau karena keinginan bahwa aplikasi hanya beroperasi pada data tertentu. Tautan ke laman yang tercantum di robots.txt masih dapat muncul di hasil penelusuran jika di tautkan dari laman yang di rayapi.
File robots.txt mencakup satu asal . Untuk situs web dengan beberapa subdomain, setiap subdomain harus memiliki file robots.txt sendiri. Jika example.com memiliki file robots.txt tetapi a.example.com tidak, aturan yang akan berlaku untuk example.com tidak akan berlaku untuk a.example.com . Selain itu, setiap protokol dan port memerlukan file robots.txt sendiri; http://example.com/robots.txt tidak berlaku untuk halaman di bawah http://example.com:8080/ atau https://example.com/ .
Beberapa mesin pencari utama yang mengikuti standar ini termasuk Ask, AOL, Baidu, DuckDuckGo, Google, Yahoo !, dan Yandex. Bing masih belum sepenuhnya kompatibel dengan standar karena tidak dapat mewarisi pengaturan dari wildcard ( ).
Tim Arsip kelompok sukarelawan secara eksplisit mengabaikan robots.txt untuk sebagian besar, melihatnya sebagai standar usang yang menghambat upaya pengarsipan web. Menurut pemimpin proyek Jason Scott, “tidak di centang, dan di biarkan sendiri, file robots.txt memastikan tidak ada pencerminan atau referensi untuk item yang mungkin memiliki penggunaan dan makna umum di luar konteks situs web.”
Keamanan
Meskipun menggunakan istilah “izinkan” dan “larang”, protokol ini murni nasihat dan bergantung pada kepatuhan robot web . Robot web berbahaya tidak mungkin menghormati robots.txt; beberapa bahkan mungkin menggunakan robots.txt sebagai panduan untuk menemukan tautan yang tidak di izinkan dan langsung membukanya. Meskipun hal ini terkadang di klaim sebagai risiko keamanan, jenis keamanan melalui ketidakjelasan ini tidak di sarankan oleh badan standar. Institut Nasional Standar dan Teknologi ( NIST ) di Amerika Serikat secara khusus merekomendasikan praktik ini: “Keamanan sistem tidak boleh bergantung pada kerahasiaan implementasi atau komponennya.” Dalam konteks file robots.txt, keamanan melalui ketidakjelasan tidak di sarankan sebagai teknik keamanan.
Berikut informasi tentang PT SARI TEKNOLOGI.
Berdiri sejak tahun 2006 di jakarta PT SARI TEKNOLOGI adalah sebuah perusahaan teknologi berbasiskan riset dan edukasi robotika.
rajin mengadakan penilitian dan menyelenggaraan pendidikan yg aplikatif,inovatif,dan kreatif.
seiring berjalan nya waktu, PT SARI TEKNOLOGI berhasil mengaplikasikan hasil riset dan pengajar nya dalam dunia bisnis & masyrakat.
Berikut alamat PT SARI TEKNOLOGI
komplek mutiara taman palem, blok C7 no 20 jl raya outer Ringroad RT 7 / RW 14 cengkareng timur.
universitas gunadarma, kecamatan cengkareng, kota jakaerta barat
Ingin kursus robotik di jakarta, kunjungi website kami : https://sariteknologi.com
Tidak ada komentar:
Posting Komentar