数据库

12款开源情报(OSINT)检索工具盘点

时间:2010-12-5 17:23:32  作者:网络安全   来源:人工智能  查看:  评论:0
内容摘要:互联网上存在很多开源情报Open-Source Intelligence,OSINT)信息,其中开源是指公众容易获取和分发的信息或程序;情报是获取和应用知识的能力。总的来说,开源情报就是从公开来源获取

互联网上存在很多开源情报(Open-Source Intelligence ,款开OSINT)信息 ,源情其中开源是检索指公众容易获取和分发的信息或程序;情报是获取和应用知识的能力。总的工具来说,开源情报就是盘点从公开来源获取、收集和分析信息以产生有价值情报的款开过程,其来源包括互联网、源情社交媒体 、检索学术和专业期刊、工具报纸 、服务器租用盘点电视甚至某些被违规泄露的款开数据。

在这个信息大爆炸的源情时代 ,OSINT对于深度依赖有效信息获取的检索安全防护工作显得尤为重要 。如果被合理利用,工具这些数据将能帮助分析师更准确了解事件的盘点真相 。然而 ,手动检索开源情报是一项艰巨的任务,有太多的记录和数据需要处理。值得庆幸的亿华云是,市场上存在许多工具可以自动化完成开源情报信息的搜集 。以下整理了目前业界常用的12种功能强大的OSINT工具,即便是非专业安全人员 ,也能够轻松使用。

1、OSINT Framework

OSINT Framework是一个包含不同工具的网站 ,用户可以使用这些工具在不同的系统和知识库中查询开源情报信息,免费模板包括电子邮件地址 、社交媒体、域名  、搜索引擎、公共记录、文档甚至电话号码等。

比如用户想了解“社交媒体”相关信息,OSINT Framework就会将其细分出子部分列表,如Facebook、Twitter、Instagram 、Reddit 、LinkedIn等,用户可以进一步选择子分类  ,其中就会包含搜索 、分析 、高防服务器图片、位置和存储/删除的推文等 。当选择“分析”后 ,它还会呈现推文元数据 、Birdwatcher 、Tinfoleak等细分部分。

应用链接 :https://osintframework.com/ 。

2 、 Wayback Machine

Wayback Machine被称为互联网的数字档案馆 。它用于管理、捕获和归档网站在一段时间内的快照 ,即使原始网页被删除或改动,用户仍然可以查阅曾经的模板下载网页快照。目前,Wayback Machine每天收到的请求数(包括查阅和存档请求)超过10亿次 ,累计已经缓存了近7000亿个不同时刻下的各种网页页面。

用户可以通过Wayback Machin的“保存页面”服务存档上亿个网站,如果注册了免费账户,还可以要求抓取相关页面的“外部链接”(outlink) ,并通过电子邮件接收抓取情况的报告 。

当需要回溯历史信息时 ,Wayback Machin会以 “年份选择器”和“日期选择器”的形式向用户呈现该网站的云计算所有保存记录 。如果想比较两个不同网页存档之间的差异 ,可以使用Wayback Machin的“查阅改动”(Changes)功能来实现这一点。

应用链接:http://www.wayback.com。

3 、Maltego

Maltego主要通过使用开源情报技术查询诸如DNS记录、whois记录 、搜索引擎 、社交网络 、各种在线API和元数据提取之类的源头,从而发现这些信息之间的链接  。Maltego程序通过自动搜索不同的公共数据源来工作 ,因此用户可以单击一个按钮并执行多个查询 ,每次执行的查询可以返回多达12个实体 。由于该程序使用公共接口来执行搜索 ,因此它几乎可以与任何具有公共接口的信息源兼容。

一旦收集到信息,Maltego就会建立链接,以展现姓名 、电子邮件地址  、别名 、公司、网站、文档所有者、附属机构和其他可能对调查有用的信息之间的隐藏关系 ,或寻找潜在的未来问题。它可以在Windows、Linux 和 Mac上下载  ,并且预装在Kali Linux中 。

该程序有一个免费版本,功能有限 ,称为Maltego CE。Maltego PRO版本主要针对专业调查人员和小型团队的计划 ,包括Maltego One桌面、所有Maltego标准转换  ,以及访问商业转换中心(查看所有功能的完整列表) 。

应用链接:https://www.maltego.com/  。

4、 Have I Been Pwned

Have I Been Pwned是Troy Hunt创建的免费网站资源,该网站收集了大量被拖库的数据库,可供用户查询自己的个人信息是否因数据泄露受到损害。用户只需在搜索框中输入要查询的姓名或电话号码,它就会搜索泄露数据库以查看对应的凭据是否已遭泄露 。如果发现相关泄露事件 ,下滑页面就可以看到泄漏的信息。

应用链接 :https://haveibeenpwned.com/。

5 、 Shodan

Shodan是一个专用搜索引擎 ,用于搜索互联网和连接到它的不同网络服务器 。这意味着使用Shodan,用户就可以浏览其数据库以查找连接到互联网的设备,例如路由器 、物联网(IoT)设备 、监视器、安全摄像头 、交通信号灯等。

作为一款功能强大的OSINT工具,Shodan可以监控和搜索的范围体量令人震惊 。它是少数能够检查操作技术(OT)的引擎之一 。如果没有像Shodan这样的工具,想要在部署IT和OT的行业中收集开源情报会存在很大的缺失。

Shodan创建账号是免费的 ,但是可以免费查询到的信息少得可怜。如果要进一步查询更多的信息,用户需要购买Shodan的会员服务 。除了个人版本 ,Shodan还推出了小型企业版和企业高级版的收费版本,其中小型企业可扫描多达65,536个IP地址 ,并返回多达两千万个结果;企业高级版提供无限的返回结果以及每月最多327,680个IP扫描  ,还包括漏洞搜索过滤器和高级支持等服务 。

应用链接:https://account.shodan.io/。

6、ZoomEye

ZoomEye是由我国安全公司知道创宇(Knownsec Inc.)创建的搜索引擎 。最初上线时 ,很多人将ZoomEye视为国内版本的Shodan ,但实际上ZoomEye和Shodan还是有差别的 ,因为ZoomEye除了设备指纹的扫描以外 ,还增加了对域名和Web服务器的指纹扫描,包括前端框架 、后端框架 、服务端语言、服务器操作系统、网站容器 、内容管理系统和数据库等。

ZoomEye 拥有两大探测引擎 :Xmap 和 Wmap ,通过持续性的探测、识别,可有效标识出互联网设备及网站所使用的服务及组件。研究人员可以通过ZoomEye方便地了解网络资产分布情况及漏洞的危害范围等信息 。

应用链接:https://www.zoomeye.org/。

7、TinEye

TinEye是Idée公司所开发的一个反向图像搜索和图像识别网站,2008年就已经正式上线应用。它使用计算机视觉、模式识别 、神经网络和机器学习来提供快速准确的搜索解决方案 。要使用TinEye ,只需将用户想要获取信息的图像上传到网站即可 。该站点将获取有关图片位置、来源 、使用甚至更高分辨率的信息 。

应用链接 :www.TinEye.com。

8、Censys Search

Censys Search是一个基于网络的搜索引擎 ,其创建之初的目的主要是用作学术研究 ,自身定位也是一个公益项目 ,由密歇根大学和Rapid7公司合作完成。Censys官网上这样定义该搜索引擎 :“Censys Search是一款搜索引擎,它允许计算机科学家了解组成互联网的设备和网络 。Censys由互联网范围的扫描驱动,使得研究人员能够找到特定的主机 ,并能够将设备、网站和证书的配置和部署信息创建到一个总体报告中。”像Shodan一样,它会在互联网上搜索服务器以及联网设备。此外,它还能够识别联网的工业控制系统和平台 。

应用链接:https://censys.io 。

9、BuiltWith

BuiltWith是一款用于发现流行网站构建技术和编程语言的工具。它是一个网站分析器 、商业智能(BI) 、潜在客户生成和竞争分析工具。BuiltWith还会生成一个网站使用的已知JavaScript/CSS库(例如jQuery或Bootstrap)的完整列表。此外,该服务还提供安装在网站上的插件列表、框架 、服务器信息 、分析和跟踪信息等。在实际应用中 ,如果将BuiltWith与WPScan等网站安全扫描程序结合使用 ,可以让安全人员更容易发现影响网站安全的常见漏洞 。

应用链接 :https://builtwith.com/ 。

10 、 Nmap

Nmap是一款免费的网络和端口扫描器,用于发现在网络或网站上运行的服务操作系统 、主机和开放端口。它在Web上可用  ,并且在大多数常见操作系统上都能被支持。

Nmap的功能包括:

• 主机发现:识别网络上的主机。

• 端口扫描:枚举目标主机上的开放端口 。

• 版本检测:询问远程设备上的网络服务以确定应用程序名称和版本号。

• OS检测:确定网络设备的操作系统和硬件特性 。

• 脚本交互 :使用Nmap脚本引擎(NSE)和Lua编程语言 。

应用链接:https://nmap.org/ 。

11 、Recon-ng

Recon-ng是一款基于python开发 ,通过命令行来操作的信息收集工具 。Recon-ng可以进行DNS信息收集  、域名信息收集 、邮件信息收集 、结合搜索引擎进行信息收集 ,是一个功能强大的Web侦察框架。

Recon-ng采用模块化设计框架,具有许多内置功能,使得即便是最初级Python开发人员也可以创建公开可用数据搜索并返回良好的结果。开发人员无需编写Recon-ng脚本来执行搜索 ,只需选择他们希望其执行的功能  ,就可以在几分钟内构建一个自动化模块。

应用链接:https://bitbucket.org/LaNMaSteR53/recon-ng 。

12 、 The Harvester

The Harvester是一款开源情报工具,用于收集有关电子邮件、网站 、子域 、开放端口 、虚拟主机等信息。The Harvester使用的来源包括流行的搜索引擎,如Bing和Google,以及较少见的搜索引擎 ,如dogpile、DNSdumpster和Exalead元数据引擎。它甚至可以利用Shodan搜索引擎来寻找已发现主机上的开放端口 。

The Harvester无需任何特殊准备即可访问大多数公共资源  。但是 ,其使用的部分功能需要API密钥 。此外,用户的使用环境中还必须有Python 3.6或更高版本。

应用链接 :https://github.com/laramies/theHarvester 。

copyright © 2025 powered by 创站工坊  滇ICP备2023000592号-21sitemap