请选择 进入手机版 | 继续访问电脑版
查看: 588|回复: 0

[工具专区] 开源自动化信息收集工具SpiderFoot【转载】

[复制链接]
  • TA的每日心情
    开心
    3 天前
  • 签到天数: 392 天

    [LV.9]以坛为家II

    发表于 2017-4-8 19:11:47 | 显示全部楼层 |阅读模式
    SpiderFoot是一个Python编写的免费开源的网站信息收集类工具,并且支持跨平台运行,适用于Linux、*BSD和Windows系统。此外,它还为用户提供了一个易于使用的GUI界面。在功能方面SpiderFoot也为我们考虑的非常周全,通过SpiderFoot我们可以获取相关目标的各种信息,例如网站子域、电子邮件地址、web服务器版本等等。SpiderFoot简单的基于Web的界面,使你能够在安装后立即启动扫描 – 只需简单的设置扫描目标域名,并启用相应的扫描模块即可。



    设计易于使用,快速且可扩展

    SpiderFoot的设计初衷是最大限度的将信息收集过程自动化,从而使渗透测试人员能够将更多的时间集中于安全测试本身上。当前最新的版本为SpiderFoot 2.9.0,SpiderFoot的开发者也为此做了大量的更新优化。

    扫描目标不仅限于使用域名,还支持主机名,IP,Netblocks等

    清理后端数据模型更加灵活

    同时扫描

    更多线程,提供更高的性能

    搜索/过滤

    修复之前出现的各种bug
    目的

    SpiderFoot的用途,主要体现在以下三个方面:

    如果你是一名渗透测试者,SpiderFoot将为你自动执行测试的侦察阶段,并为你提供丰富的数据信息,让你将更多的时间集中于渗透测试本身。

    可用于了解自身网络/组织有哪些敏感信息泄露,并及时删除更改。

    SpiderFoot还可用于收集,日志中或通过威胁情报数据源获取的可疑恶意IP的威胁情报。
    特点

    到目前为止,SpiderFoot采用了超过50个的数据源,其中包括SHODAN,RIPE,Whois,PasteBin,Google,SANS等数据源。
    专为大数据的提取而设计;每个数据都传递给相应的模块,以提取有价值的信息。
    支持跨平台,且完全开放源代码。因此,你可以把它搬到GitHub上,自己来开发和增加各类功能模块。
    可视化。 内置的基于JavaScript的可视化或导出为GEXF/CSV格式,以用于其他工具,例如Gephi。
    基于Web的UI界面,更易于使用。
    高可配置性。几乎每个模块都是可配置的,因此你可以自定义入侵和功能的级别。
    模块化。每个主要的功能,都是一个用Python编写的模块。因此用户可以随意添加,和编写自己的模块。
    SQLite后端。所有的扫描结果都将存储在本地的SQLite数据库中,可用于后续的分析使用。
    同时扫描。每个SpiderFoot扫描都以自己的线程运行,因此你可以同时执行多个不同目标的扫描。
    更多信息请查看文档。
    数据源

    以下是SpiderFoot所使用的相关数据源列表,目前仍在不断增加。一些数据源可能需要API密钥,但它们都是免费的。

    源        网址        注释
    abuse.ch        http://www.abuse.ch        各种恶意软件跟踪器。
    AdBlock        https://easylist-downloads.adblockplus.org/easylist.txt        AdBlock模式匹配
    AlienVault        https://reputation.alienvault.com        AlienVault的IP信誉数据库。
    Autoshun.org        http://www.autoshun.org        黑名单列表。
    AVG Site Safety Report        http://www.avgthreatlabas.com        站点安全检查
    Bing        http://www.bing.com        爬网,需要提供API密钥。
    Blocklist.de        http://lists.blocklist.de        黑名单列表。
    Checkusernames.com        http://www.checkusernames.com        在热门网站上查找用户名可用性。
    DNS        Your configured DNS server.        默认为你本地的DNS,你也可以配置为你提供给SpiderFoot的任何IP地址。
    DomainTools        http://www.domaintools.com         
    DroneBL        http://www.dronebl.org         
    Facebook        http://www.facebook.com        爬网,需要提供API密钥。
    FreeGeoIP        http://freegeoip.net         
    Google        http://www.google.com        爬网,需要提供API密钥。
    Google+        http://plus.google.com        爬网,需要提供API密钥。
    Google Safe Browsing        http://www.google.com/safebrowsing        站点安全检查。
    LinkedIn        http://www.linkedin.com        爬网,需要提供API密钥。
    malc0de.com        http://malc0de.com        黑名单列表。
    malwaredomainlist.com        http://www.malwaredomainlist.com        黑名单列表。
    malwaredomains.com        http://www.malwaredomains.com        黑名单列表。
    McAfee SiteAdvisor        http://www.siteadvisor.com        站点安全检查。
    NameDroppers        http://www.namedroppers.org         
    Nothink.org        http://www.nothink.org        黑名单列表。
    OpenBL        http://www.openbl.org        黑名单列表。
    PasteBin        http://www.pastebin.com        通过Google检索。
    PGP Servers        http://pgp.mit.edu/pks/        PGP公钥。
    PhishTank        http://www.phishtank.org        识别钓鱼网站。
    Project Honeypot        http://www.projecthoneypot.org        黑名单列表。需要API密钥
    RIPE/ARIN        http://stat.ripe.net/         
    Robtex        http://www.robtex.com         
    SANS ISC        http://isc.sans.edu        互联网风暴中心IP信誉数据库。
    SHODAN        http://www.shodanhq.com        需要API密钥
    SORBS        http://www.sorbs.net        黑名单列表。
    SpamHaus        http://www.spamhaus.org        黑名单列表。
    ThreatExpert        http://www.threatexpert.com        黑名单列表。
    TOR Node List        http://torstatus.blutmagie.de         
    TotalHash.com        http://www.totalhash.com        恶意软件使用的域/IP。
    UCEPROTECT        http://www.uceprotect.net        黑名单列表。
    VirusTotal        http://www.virustotal.com        恶意软件使用的域/IP。需要API密钥
    Whois        Various        针对不同TLD的Whois服务器。
    Yahoo        http://www.yahoo.com        爬网,需要提供API密钥。
    Zone-H        http://www.zone-h.org        黑名单列表。首先从你扫描的IP登录到浏览器中的网站,然后进入人机验证,那么应该是正常的。
         

    SpiderFoot遵从模块化的设计,意味着我们任何人都可以通过编写和添加自己的功能模块,来完成我们的工作。例如你可以创建一个,用于自动填充用户名和密码的暴力破解模块。

       

    安装环境

    SpiderFoot是基于Python(2.7)编写的,因此在Linux/Solaris/FreeBSD等系统上都能运行。除此安装Python 2.7以外,还需要安装lxml,netaddr,M2Crypto,CherryPy,bs4,requests和Mako模块。

    使用PIP安装依赖关系,请运行以下命令:

    ~$ pip install lxml netaddr M2Crypto cherrypy mako requests bs4
    在某些发行版中,你可能需要使用APT来安装M2Crypto:

    ~$ apt-get install python-m2crypto
    其他模块如PyPDF2,SOCKS等都已经包含在SpiderFoot包中,因此你无需再单独安装它们。

    SpiderFoot下载:http://www.spiderfoot.net/download/






                                                                                                                                                                    最近要考红帽子中级认证了。比较忙。

                                                                                                                                                                                转载自黑客与极客
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    快速回复 返回顶部 返回列表