Skip to content
BranchesTags

Latest commit

History

7 Commits

Folders and files

NameName
Last commit message
Last commit date
program
program
public-library
public-library
README.md
README.md

Repository files navigation

BSCAN

bscan的是一款强大、简单、实用、高效的HTTP扫描器。

0x01 项目简介

bscan的前身是WebAliveScan，Github上面的版本已经非常老了但仍然有500+Star，没想到大家对这个项目的关注度这么高。自己私下已经把WebAliveScan迭代了多个版本但是仍然有很多问题无法解决：安装配置复杂、python线程锁导致并发问题等等....，所以干脆就用Golang重写了bscan

在如今的渗透测试中，基本上所有白帽子都知道信息收集在漏洞挖掘中很重要。但是收集出来的信息如何最大化利用，如何从当前信息中定位出更脆弱的目标。我认为一个白帽子在处理收集来的信息时，应该有一套标准化的流程。例如收集到了目标上百个子域名，就应该给处理子域名指定一套标准化的流程。

  1. 对子域名的IP进行整理，标记IP段权重
  2. 扫描IP、IP段的常见端口
  3. 根据扫描端口过滤出一些脆弱的服务，如：Redis、MongoDB等
  4. 扫描子域名、IP、IP段的WEB服务
  5. 目录扫描，POC扫描
  6. 根据标题，指纹筛选渗透
  7. .......

bscan主要应用于4-6步。

0x02 功能介绍

在Github上有许多WEB扫描器，但我认为它们太过于“传统”，面对现在的WEB环境存在以下问题：

  • 缺少黑名单功能，如果目标使用了CDN开放了几十个无效WEB页面，不能有效地过滤导致扫描结果臃肿
  • 跨平台能力差，多数WEB扫描器使用python编写，不能使用在内网渗透测试中
  • 缺少指纹识别，白帽子不能高效的从扫描结果中过滤出脆弱的目标
  • 误报率高，单纯的靠判断状态码判断文件是否存在

bscan的特性：

  • 配置文件采用YAML，配置文件简洁、可读性高
  • 安装简单，Windows/Linux/Mac下载对应的编译版本即可一键扫描，不用担心环境报错
  • 速度快，在2H4G5M的Linux服务器下，1024线程判断100万条URL存活仅需20分钟
  • 自定义，不管是POC还是默认的HTTP请求，都支持自定义HTTP请求参数、请求头等等
  • 指纹识别，根据自定义的指纹规则对WEB进行标记
  • 黑名单过滤，根据自定义的规则过滤无效页面，例如默认的CDN、WAF页面、500、404、403....
  • 最小化扫描，可以自定义POC过滤规则，对存活WEB对象进行filter处理，防止无效的POC攻击

1. 基础参数

-ports 80,443,8080-8090指定端口 -threads 1024指定线程 -allow-redirects跟踪重定向 -timeout 3HTTP超时时间 -path /admin/index.php请求路径 以上参数均可以在配置文件config.yml修改默认值

2. 指纹识别

指纹库文件路径使用配置文件中的fingerprint_path指定或使用-fp <filepath>指定。 指纹支持7个字段：webserver、framework、application、os、desc、lang、expression；expression是当前指纹匹配响应的表达式（参考xray），其它字段用于标记该WEB。

指纹识别执行流程伪代码

forfingerprintinfingerprint_list:
ifexec_expr(fingerprint.expression, response) isTrue:
aliveweb.webserver=fingerprint.webserveraliveweb.framework=fingerprint.frameworkaliveweb.application=fingerprint.applicationaliveweb.os=fingerprint.osaliveweb.desc=fingerprint.descaliveweb.lang=fingerprint.langreturnaliveweb

expression支持response对象，用一些简单的例子来解释大部分我们可能用到的表达式

  • response.body.bcontains(b'test')返回包 body 包含 test，因为 body 是一个 bytes 类型的变量，所以我们需要使用 bcontains 方法，且其参数也是 bytes
  • response.status==200 && response.headers['Content-Type'].icontains('application/octet-stream')返回包状态码为200并且返回头部的Content-Type包含application/octet-stream，因为返回头部的字段是字符型，所以要用icontains

举例：

- webserver: Nginxexpression: response.headers["Server"].icontains("Nginx") || response.body.bcontains(b"<center>nginx</center>")
- webserver: Apacheexpression: response.headers["Server"].icontains("Apache/")
- webserver: Tomcatlang: javaexpression: response.headers["Server"].icontains("Tomcat") || response.headers["Server"].icontains("Apache-Coyote")
- application: phpstudyexpression: response.body.bcontains(b"phpstudy for windows")os: windowslang: php

image.png

3. 黑名单机制

黑名单库文件路径使用配置文件中的blacklist_path指定或使用-bp <filepath>指定。 黑名单支持2个字段：name、expression；expression是当前黑名单匹配响应的表达式（参考xray）。

黑名单执行流程伪代码

response=http(url)
forblackinblacklist:
ifexec_expr(black.expression, response) isTrue:
returnFalseget_fingerprint(response)

黑名单expression同指纹识别一致。

举例：

- name: ERROR_CODEexpression: response.status == 400 || response.status == 503 || response.status == 502
- name: ANHENG_WAFexpression: response.body.bcontains(b"iVBORw0KGgoAAAANSUhEUgAAAB4AAAAeCAYAAAA7MK6iAAAABGdBTUEAALGPC")

4. 自定义POC

POC存放目录使用配置文件中的pocs_path指定或使用-poc <filepath>指定。 POC支持4个字段：name、request、filter_expr、verify_expr；request用于配置HTTP请求，filter_expr过滤表达式，verify_expr验证表达式

POC执行流程伪代码

foralivewebinaliveweb_result:
forpocinpoc_list:
ifpoc.filter_expr==""orexec_expr(poc.filter_expr, aliveweb) isTrue:
forpathinpoc.path:
headers=poc.request.headersmethod=poc.request.methodquery=poc.request.querybody=poc.request.body
...
response=exploit(method, aliveweb.url, headers, query, body, ...)
ifexec_expr(poc.verify_expr, response) isTrue:
vuln(aliveweb, poc.name)
else:
continue

filter_expr表达式支持aw对象，用一些简单的例子来解释大部分我们可能用到的表达式

  • aw.lang=='java' || aw.lang==''存活WEB的语言标记为java或者为空
  • aw.application=='seeyon-oa'存活WEB的应用标记seeyon-oa

verify_expr同指纹识别一致。

举例：

name: druidrequest:
method: GET# 路径参数为数组path:
- /druid/login.html
- /druid/index.htmlheaders: User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36Referer: http://www.baidu.com/Accept-Language: enRange: bytes=0-10240timeout: 5allow_redirects: true# 只扫描lang标记为java或者标记为空的WEBfilter_expr: aw.lang == "java" || aw.lang == ""verify_expr: response.body.bcontains(b"Druid Stat Index") || response.body.bcontains(b"druid monitor")

0x03 应用指南

下面将介绍漏洞挖掘中bscan的使用技巧。

1. target支持的文件格式./bscan -target ip.txt -ports 80,443 ip.txt支持的输入格式有三种：IP、IP:端口、URL；

www.baidu.com
www.baidu.com:80
http://www.baidu.com/

www.baidu.com没有指定端口，就会根据用户自定义的端口80,443生成URL放入扫描队列www.baidu.com:80指定了端口，会根据指定的端口80生成URL放入扫描队列http://www.baidu.com/给定了URL，直接放入扫描队列

2. 快捷过滤./bscan -target target.txt -ports 80,443 -filter response.status==200 可以用-filter参数指定一个临时黑名单过滤HTTP响应 image.png

可以用这个功能，简单过滤出后台等WEB ./bscan -target target.txt -ports 80,443 -filter response.body.bcontains(b"后台") -path /admin/index.html

3. 指定单个POC./bscan -target target.txt -ports 80,443 -exploit -poc pocs/backup.yml 只扫描一个POC image.png

4. 快速扫描OneForAll结果cat results/*.csv |awk -F , '{print$6}' > <filepath>./bscan -target <filepath>image.png

5. 识别shiro应用 在config.yml定义默认HTTP请求头 image.png

在指纹库中添加指纹 image.png

扫描结果中会显示App image.png

6. POC过滤 在指纹库定义指纹 image.png

在POC中定义filter规则 image.png

在启用POC扫描时，只有识别到SeeyonOA时才会使用这个POC扫描，提高扫描效率。

0x04 Todo

  • 支持更多的输出格式HTML、Json、XML
  • Fast模式，调用Fofa API获取存活WEB
  • 扫描结果存入数据库，支持导入存活WEB
  • 多节点分布式扫描

About

No description, website, or topics provided.

Resources

Readme
Activity

Stars

875 stars

Watchers

8 watching

Forks

103 forks
Report repository

Releases

Packages

Contributors