waymore: Advanced URL and Archived Response Collection for Reconnaissance

Introdução

waymore, desenvolvido por xnl-h4ck3r, é uma ferramenta robusta para coletar URLs e respostas arquivadas de múltiplas fontes. Ele vai além das ferramentas existentes ao integrar dados da Wayback Machine, Common Crawl, Alien Vault OTX, URLScan, VirusTotal, GhostArchive e Intelligence X. Sua principal característica é a capacidade de baixar respostas arquivadas, o que permite aos pesquisadores analisar o conteúdo histórico das páginas em busca de informações adicionais, como links ocultos, comentários de desenvolvedores e parâmetros extras.

Esta ferramenta foi criada para superar as limitações de outras soluções, incluindo o tratamento de limites de taxa das APIs e a garantia de resultados completos. Embora possa ser mais lenta, waymore prioriza a cobertura exaustiva, tornando-a ideal para cenários onde a profundidade da pesquisa é mais importante que a velocidade.

Instalação

waymore requer Python 3.7 ou superior. A instalação é simples e pode ser feita usando pip ou pipx.

Para instalar em um ambiente Python global:

pip install waymore

Ou, para instalar a partir do repositório GitHub:

pip install git+https://github.com/xnl-h4ck3r/waymore.git -v

Para atualizar a ferramenta:

pip install --upgrade waymore

Para uma configuração rápida em um ambiente Python isolado usando pipx (recomendado):

pipx install git+https://github.com/xnl-h4ck3r/waymore.git

Exemplos

waymore oferece flexibilidade através de seus argumentos de linha de comando e um arquivo de configuração config.yml.

Exemplo 1: Obter apenas URLs

Para obter apenas os URLs de todas as fontes para um domínio, como redbull.com, use o modo U:

waymore -i redbull.com -mode U

Os URLs serão salvos em ~/.config/waymore/results/redbull.com/waymore.txt por padrão.

Exemplo 2: Obter URLs e respostas arquivadas com filtros

Para obter URLs e baixar as primeiras 200 respostas arquivadas a partir de 2022, excluindo Common Crawl, Alien Vault, URLScan e VirusTotal:

waymore -i redbull.com -l 200 -from 2022 -xcc -xav -xus -xvt

Neste caso, o modo padrão é B (Both, URLs e Respostas). As respostas serão salvas em arquivos individuais, e um arquivo index.txt mapeará os hashes das respostas para os URLs originais.

Exemplo 3: Usando waymore com outras ferramentas

waymore pode ser facilmente integrado a outros utilitários de linha de comando. Por exemplo, para extrair chaves de URLs e remover duplicatas:

waymore -i redbull.com -mode U | unfurl keys | sort -u

Você também pode passar uma lista de domínios via stdin:

cat redbull_subs.txt | waymore

Porquê usar waymore

waymore se destaca no cenário de ferramentas de reconhecimento por várias razões importantes:

Cobertura Abrangente: Ele agrega dados de sete fontes diferentes de arquivamento e inteligência, garantindo uma coleta de URLs mais completa do que a maioria das ferramentas. Isso inclui Wayback Machine, Common Crawl, Alien Vault OTX, URLScan, VirusTotal, GhostArchive e Intelligence X.
Download de Respostas Arquivadas: A capacidade de baixar o conteúdo real das páginas arquivadas é um diferencial crucial. Isso permite que os pesquisadores executem ferramentas como xnLinkFinder ou trufflehog diretamente sobre esses arquivos para descobrir ainda mais ativos, segredos ou informações sensíveis.
Gerenciamento de Limites de Taxa: waymore é projetado para lidar com os limites de taxa impostos pelas APIs das fontes, garantindo que as execuções não sejam interrompidas e que os resultados sejam o mais completos possível, mesmo que isso signifique um tempo de execução mais longo.
Filtragem e Controle Detalhados: A ferramenta oferece uma vasta gama de opções de filtragem, incluindo códigos de status HTTP, tipos MIME, datas, intervalos de captura e expressões regulares. Isso permite que os usuários refinem suas pesquisas e obtenham exatamente os dados de que precisam, evitando a coleta de informações irrelevantes.
Configuração Flexível: O arquivo config.yml permite personalizar chaves de API, filtros padrão e diretórios de saída, adaptando a ferramenta às necessidades específicas de cada usuário.