Spider(Araña)
Spider es una herramienta que es usada para descubrir automáticamente nuevos recursos (URLs) en un sitio en particular. Comienza con una lista de URLs a visitar, llamadas semillas, las cuales dependen de como se inicia spider. Spider visita estas URLs, identifica todos los hipervinculos en la página y los agrega a la lista de URLs a visitar y el proceso continua recursivamente mientras se encuentran nuevos recursos.
Hay 4 métodos de ejecutar spider, deferenciados por la lista de semillas con la cual comienza:
- Web spider - La lista de semillas contiene todas las URIs existentes del sitio.
- Spider Subarbol - La lista de semillas contiene todas las URIs ya encontradas y presentes en las ramas del nodo seleccionado.
- URL Spider - La lista de semillas contiene solo la URI correspondiente a el nodo seleccionado (en el árbol del sitio).
- Spider en el alcance - La lista de semillas contiene todas las URIs que el usuario ha seleccionado y están 'en el alcance'.
- Spider en el contexto...- La lista de semillas contiene todas las URIs que el usuario ha seleccionado y se encuentran dentro del contexto.
Más detalles pueden ser encontrados abajo, en la sección "Acceso vía"
Mientras se procesa una URL, Spider realiza peticiones para extraer el recurso y luego parsear la respuesta, identificando hipervinculos. De acuerdo al tipo de respuesta presenta distintos comportamientos:
HTML
Procesa los siguientes tags, para identificar links a nuevos recursos:
Archivos Robots.txt
Si se configura en
la pantalla de opciones del Spider, también analiza el archivo 'Robots.txt' y trata de identificar nuevos recursos usando las siguientes reglas. hay que destacar que el Spider no sigue las reglas especificadas en el archivo 'Robots.txt'.
Formato OData Atom
El contenido de OData usando el formato Atom tiene soporte. Todos los links incluidos (relativos o absolutos) son procesados.
Respuesta Non-HTML (No HTML)
Respuestas de texto son parseadas escaneando patrones URL
Respuestas Non-Text (No texto)
Actualmente, Spider no procesa este tipo de recursos.
Otros aspectos
- Para comprobar si una URL fue visitada, puede configurar el comportamiento de como se manejan los parámetros en la pantalla de opciones del Spider.
- Al comprobar si una URL fue visitada, hay algunos parámetros en común los cuales son ignorados: jsessionid, phpsessid, aspsessionid, utm_*
- El comportamiento del Spider con respecto a las cookies se define por la opción presente en Edit - > Enable Session Tracking. Si esta opción está activa, el Spider manejará correctamente cualquier cookie recibida desde el servidor y la enviará de vuelta correctamente.
Si la opción está descativada, el Spider no enviará solicitudes cookies en sus peticiones.
El Spider es configurado usando la
href="../../ui/dialogs/options/spider.html">Pantalla de opciones de Spider.
Acceso vía
|
pestaña Spider |
|
|
Sitios tab |
'Attack -> Spider Site' Click derecho en el menú |
'Attack -> Spider URL' Click derecho en menú |
'Attack -> Spider Subtree' Click derecho en el menú |
'Attack -> Spider all in Scope' Click derecho en el menú |
'Attack -> Spider all in Context...' Click derecho en el menú |
Vease también