Estas prácticas pueden tolerar a sanciones severas, incluyendo la exterminio del sitio de los índices de búsqueda. El proceso de rastreo comienza con una letanía de URLs conocidas, a las que se añaden nuevas URLs encontradas durante el rastreo. Los bots incluso revisan periódicamente las páginas existentes para ver si hay actualizaciones o