Como extrair os links de um site?

Existem diversos recursos disponíveis que extrair os links de um site, dentre estes você encontra ferramentas em Python, WebSite Online, Add-ons, etc., mas coloquei aqui algumas alternativas para que você use o que for mais prático para você durante a fase de enumeração.

Opção 01 - Aba Console

01 - Passo

Você pode abrir o site que deseja extrair os links e Inspecionar (Ctrl + Shift + I), em seguida clique na aba Console e defina a variárel :

>> urls = $$('a')

02 - Passo

Realize um for para percorrer todo o site em busca do href :

for (link in urls) console.log(urls[link].href)

Opção 02 - Google Sheets

01 - Passo

Abra a planilha do Google Docs e utilize a função IMPORTXML.

=IMPORTXML("https://www.100security.com.br","//a/@href")

Resultado :

Opção 03 - wget

01 - Passo

Utilize o comando wget seguido do site para extrair os links.

Linux

copiar comando

02 - Passo

Leia o arquivo 100security.txt.

Linux

cat 100security.txt

Opção 04 - lynx

01 - Opção

Utilize o comando lynx seguido do site e do parâmetro source.

Linux

lynx -source www.100security.com.br | tr '<>' '\n' | grep href | cut -d= -f2

02 - Opção

Utilize o comando lynx seguido do site e do parâmetro dump.

Linux

lynx -dump "https://www.100security.com.br" | grep -o "https:.*"

Opção 05 - xidel

01 - Passo

Realize o download da ferramenta xidel e utilize o comando a seguir :

Windows

xidel https://www.100security.com.br -e "title:=//title" -e "links:=//a/@href"

Opção 06 - mech-dump

01 - Passo

Utilize o comando mech-dump seguido do site e do parâmetro --links.

Linux

mech-dump --links https://www.100security.com.br

Opção 07 - cURL

01 - Passo

Utilize o comando curl seguido do site e dos parâmetros para filtrar a exibição.

Linux

curl -q https://www.100security.com.br | grep -o -E "href=[\"'](.*)[\"'] " | sed 's/href="//' | sed 's/" target="_blank"//' | sed 's/"//'

Opção 08 - WebSites

Acesse o site: https://hackertarget.com/extract-links

Acesse o site: https://www.iwebtool.com/link_extractor