Web Crawler Routing dan Protocol
Kelompok 4 : 1. Crislie Santoso / 51418581 2. Dewi Irwan / 51418817 3. Lisa Angeline / 53418803 4. Nabila Suraya / 55418085 5. Ronald Leonardo P. / 56418357 6. Windy Aulia / 57418364 Pengertian Web Crawler Web crawler adalah sebuah perangkat lunak yang digunakan untuk menjelajah serta mengumpulkan halaman-halaman web yang selanjutnya diindeks oleh mesin pencari (Gatial E,2005). Sering juga disebut dengan web spider atau web robot . Web Crawler adalah program yang menelusuri World Wide Web dengan cara yang metodis, otomatis dan teratur. Istilah lain untuk web crawler adalah ant, automatic indexer, bots, web spiders atau web robots. Web crawler dapat memperoleh informasi sesuai dengan kata kunci yang diberikan, sama halnya dengan mesin pencari atau search engine. Web Crawler dirancang untuk menelusuri halaman web dan memasukkannya ke dalam database lokal. Cara web crawler bekerja Secara umum, proses crawling dimulai dengan list URL yang akan dikunjungi, disebut see...