本文讲的是
htcap：一款递归型的Web应用扫描器，
工具介绍
htcap是一个Web应用程序扫描程序，可以通过拦截ajax调用以及DOM修改并以递归方式爬取单页应用程序（SPA）。Htcap不仅仅是漏洞扫描程序，因为它主要侧重于网站的爬取过程，并使用外部工具来发现漏洞。我们可以将其理解为是一款用于现代Web应用程序的手动以及自动渗透测试的工具。
它的扫描过程主要分为两部分，首先htcap将抓取目标并收集尽可能多的请求（urls，forms，ajax ecc 等等）并将其保存到sql-lite数据库。抓取完成后，可以针对已保存的请求启动多个安全扫描程序，并将扫描结果保存到同一数据库。Htcap自带的sqlmap和arachni模块内置。Sqlmap用于发现SQL注入漏洞，arachni用于发现XSS，XXE，Code Executions，File Inclusions ecc。由于扫描器模块扩展了BaseScanner类，因此可以轻松地创建或修改它们。当填充数据库（至少使用crawing数据）时，可以使用诸如sqlite3或DBEaver之类的现成可用工具进行探索，或者使用内置脚本将结果导出为各种格式。
Htcap所采用的是一种能够以递归方式对基于ajax的页面进行爬取的算法。该算法通过捕获ajax调用，将DOM修改映射到自身，并针对新添加的元素递归地重复该过程。当加载页面时，htcap将通过触发所有事件和填充输入值来启动，以触发ajax调用。当检测到ajax调用时，htcap等待它完成并调用相对回调函数; 如果在此之后，DOM被修改，htcap将针对添加的元素运行相同的算法，并重复它，直到所有的ajax调用被触发。
Htcap支持三种扫描模式：被动，主动和侵略性。当处于被动模式时，htcap不与页面进行交互，这意味着没有触发任何事件，仅遵循链接。在这种模式下，htcap作为一个非常基本的网页抓取工具，只收集页面中找到的链接（A标签）。这个过程就像是一个用户点击了链接一样。主动模式的行为其实类似于被动模式，但它会触发所有发现的事件。这个过程就像是用户了与页面进行了交互但却没有输入任何值。而侵略性模式则会使使htcap可以填充输入值并发布表单。这个过程类似于那些会在页面上执行尽可能多的操作的用户。
Htcap可以将在网站上的爬取过程限制在特定的范围内。可用范围包括：域名、目录以及url。当范围设置为域名时，htcap将仅抓取目标的域名，再加上allowed_domains（-d选项）。如果范围是目录，htcap将仅抓取目标目录及其子目录，如果范围是url，htcap将不会抓取任何东西，它只是会分析一个页面。
命令行参数
$ htcap crawl -h
usage: htcap [options] url outfile
Options:
-h帮助
-w覆盖输出文件
-q不显示进度信息
-m设置爬取模式：
- passive:：不要与页面发生交互
- active:：触发所有事件
- aggressive：填写输入值和爬取网站表单（默认）
-sSCOPE设置爬取范围
- domain：限制爬取到当前域名（默认）
- directory:限制爬取到当前目录（和子目录）
- url：只分析单页面
-D最大爬取深度（默认值：100）
-P连续表单的最大爬取深度（默认值：10）
-F即使在侵略性模式下，也不爬取表单
-H保存页面生成的HTML
-dDOMAINS需要扫描的域名，用逗号分隔（ex * .target.com）
-cCOOKIES 利用JSON格式或者name=value对的形式设置cookie，用分号隔开
-CCOOKIE_FILE包含COOKIES的文件路径
-rREFERER 设置初始引用
-xEXCLUDED逗号分隔需要排除掉的url（正则表达式）- 即注销urls
-pPROXY代理字符串协议：host：port 协议可以是'http'或'socks5'-
-nTHREADS并行线程数量（默认值：10）
-ACREDENTIALS 用于HTTP验证的用户名和密码，用冒号分隔
-UUSERAGENT设置用户代理
-tTIMEOUT分析页面时间的最大值（默认300）
-S跳过初始URL检查
-G对具有相同名称的QUERY_STRING参数进行分组（“[]”结尾除外）
-N不使用正常的URL路径（保持../../）
-R重定向的最大次数（默认为10）
-I忽略robots.txt
环境要求
Python 2.7
PhantomJS v2
Sqlmap（用于sqlmap扫描器模块）
Arachni（用于arachni扫描器模块）
下载以及运行
$ git clone https://github.com/segment-srl/htcap.git htcap
$ htcap / htcap.py
原文发布时间为：2017年7月25日
本文作者：Change
本文来自云栖社区合作伙伴嘶吼，了解相关信息可以关注嘶吼网站。
