标签归档:osint

Photon-专为OSINT设计的超快爬行器


Photon Wiki·How To Use·Compatibility·Photon Library·Contribution·Roadmap

主要功能

数据抽取

Photon可以在爬行时提取以下数据:

  • URL(范围内和范围外)
  • 带参数的URL(example.com/gallery.php?id=2)
  • 英特尔(电子邮件、社交媒体帐户、亚马逊存储桶等)
  • 文件(pdf、png、xml等)
  • 密钥(身份验证/API密钥和散列)
  • JavaScript文件和其中存在的端点
  • 与自定义正则表达式模式匹配的字符串
  • 子域和DNS相关数据

提取的信息以有组织的方式保存,或者可以exported as json

灵活性

控制超时、延迟、添加种子、排除匹配正则表达式模式的URL以及其他很酷的功能。范围广泛的options由Photon提供,可以让您完全按照您想要的方式爬行网络

天才

Photon的智能线程管理和精炼逻辑为您提供一流的性能

尽管如此,爬行可能是资源密集型的,但Photon还有一些诀窍。您可以通过以下方式获取存档的URLarchive.org被用作种子,通过使用--wayback选项

插件

码头工人

可以使用轻量级Python-Alpine(103 MB)Docker映像启动光子

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

要查看结果,您可以直接访问本地扩展坞卷,您可以通过运行以下命令找到该卷docker inspect photon或通过挂载目标loot文件夹:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

频繁且无缝更新

光子正在进行大量的开发和更新,以修复错误。优化性能&定期推出新功能

如果您想查看正在处理的功能和问题,可以在Development项目董事会

可以使用安装和检查更新--update选项。Photon具有无缝更新功能,这意味着您可以在不丢失任何已保存数据的情况下更新Photon

贡献和许可

您可以通过以下方式进行贡献:

  • 报告错误
  • 开发插件
  • 增加更多忍者模式的“API”
  • 给出建议,让它变得更好
  • 修复问题并提交拉式请求

请阅读guidelines在提交拉式请求或问题之前

你想私下谈谈吗?把我打到我的twitter,收件箱已打开:)

光子是根据以下条款获得许可的GPL v3.0 license

Social-analyzer-API、CLI和Web应用程序,用于分析和查找跨社交媒体/网站的个人资料

Social Analyzer-API、CLI和Web应用程序,用于分析和查找一个人在+800个社交媒体/网站上的个人资料。它包括不同的字符串分析和检测模块,您可以选择在调查过程中使用哪种模块组合

检测模块利用基于不同检测技术的评级机制,该机制产生从0到100(否-可能-是)的率值。本模块旨在减少误报,并在下面的文档中进行了说明Wiki链接

从该OSINT工具分析和公开提取的信息可以帮助调查与可疑或恶意活动相关的配置文件,例如cyberbullyingcybergroomingcyberstalking,以及spreading misinformation

这个项目是“目前一些执法机构在资源有限的国家使用”

Social Analyzer is in a league of its own and is a very impressive tool that I thoroughly recommend for Digital Investigators and OSINT practitioners-由Joseph Jones, Founder of Strategy Nord, Unita Insight and OS2INT

更新

  • GUI版本的新更新-您可以生成类别统计信息。此外,您还可以在设置窗口中根据网站的全球排名选择网站🔥
  • CLI的新更新-您可以根据网站的全球排名选择网站,如-网站TOP10,-网站TOP123等。🔥
  • 新的Social-Analyzer版本使用它自己的名为Ixora的自动图形可视化
  • 我已经收到了很多公共和私人的请求,要求将静电网站的信息添加到检测数据库中,这一点正在实施中,+400%的检测应该有这样的要求。如果您有任何非私人模块,并且您无法查看静电网站的信息,请下载最新版本或发送电子邮件给我以了解详细信息

所以·社会我·迪·a

使用户能够创建和共享内容或参与社交网络的网站和应用程序-牛津词典

安全测试

-------------------------------------              ---------------------------------
|        Security Testing           |              |        Social-Analyzer        |
-------------------------------------              ---------------------------------
|   Passive Information Gathering   |     <-->     |   Find Social Media Profiles  |
|                                   |              |                               |
|    Active Information Gathering   |     <-->     |    Post Analysis Activities   |
-------------------------------------              ---------------------------------

应用程序

标准本地主机Web应用URL:http://0.0.0.0:9005/app.html

CLI

功能

  • 字符串和名称分析(排列和组合)
  • 使用多种技术(HTTPS库和WebDriver)查找配置文件
  • 多层检测(OCR、普通、高级和特殊)
  • 使用Ixora(元数据和模式)可视化配置文件信息
  • 元数据和模式提取(从Qeeqbox OSINT项目添加)
  • 元数据的强制有向图(需要ExtractPatterns)
  • 自动调情到不必要的输出
  • 搜索引擎查找(Google API-可选)
  • 自定义搜索查询(Google API和DuckDuckGo API-可选)
  • 个人资料屏幕截图、标题、信息和网站描述
  • 按语言查找姓名来源、姓名相似度和常用词
  • 自定义用户-代理、代理、超时和隐式等待
  • Python CLI&NodeJS CLI(仅限于FindUserProfilesFast选项)
  • 用于更快检查的网格选项(仅限于对接合成)
  • 将日志转储到文件夹或终端(美化)
  • 调整查找\获取配置文件工作进程(默认值为15)
  • 失败配置文件的重新检查选项
  • 按好的、可能的和坏的过滤配置文件
  • 将分析另存为JSON文件
  • 简化的Web界面和客户端

特殊探测

安装和运行

Linux(作为节点WebApp)

sudo apt-get update
#Depedning on your Linux distro, you may or may not need these 2 lines
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y software-properties-common
sudo add-apt-repository ppa:mozillateam/ppa -y
sudo apt-get install -y firefox-esr tesseract-ocr git nodejs npm
git clone https://github.com/qeeqbox/social-analyzer.git
cd social-analyzer
npm install
npm start

Linux(作为python包)

sudo apt-get update
sudo apt-get install python3 python3-pip
pip3 install social-analyzer
social-analyzer --username "johndoe" --metadata
#or
python3 -m social-analyzer --username "johndoe" --metadata

Linux(作为python脚本)

sudo apt-get update
sudo apt-get install git python3 python3-pip
git clone https://github.com/qeeqbox/social-analyzer
cd social-analyzer
pip3 install –r requirements.txt
python3 app.py social-analyzer --username "johndoe" --metadata

作为对象导入(Python)

from importlib import import_module
SocialAnalyzer = import_module("social-analyzer").SocialAnalyzer(silent=True)
results = SocialAnalyzer.run_as_object(username="johndoe",silent=True)
print(results)

Linux、Windows、MacOS、Raspberry pi

  • 检查一下这个wiki适用于所有可能的安装方法
  • 检查一下这个wiki用于将社交分析器与您的OSINT工具、提要等集成

社交分析器–h

Required Arguments:
  --username   E.g. johndoe, john_doe or johndoe9999

Optional Arguments:
  --websites   Website or websites separated by space E.g. youtube, tiktok or tumblr
  --mode       Analysis mode E.g.fast -> FindUserProfilesFast, slow -> FindUserProfilesSlow or special -> FindUserProfilesSpecial
  --output     Show the output in the following format: json -> json output for integration or pretty -> prettify the output
  --options    Show the following when a profile is found: link, rate, title or text
  --method     find -> show detected profiles, get -> show all profiles regardless detected or not, both -> combine find & get
  --filter     Filter detected profiles by good, maybe or bad, you can do combine them with comma (good,bad) or use all
  --profiles   Filter profiles by detected, unknown or failed, you can do combine them with comma (detected,failed) or use all
  --extract    Extract profiles, urls & patterns if possible
  --metadata   Extract metadata if possible (pypi QeeqBox OSINT)
  --trim       Trim long strings

Listing websites & detections:
  --list       List all available websites

Setting:
  --headers    Headers as dict
  --logs_dir   Change logs directory
  --timeout    Change timeout between each request
  --silent     Disable output to screen

打开外壳

运行问题

  • 请记住,现有配置文件显示status:goodrate:%100
  • 一些网站返回blockedinvalid<-这是预期的行为
  • 使用代理、VPN、ToR或任何类似方式定期检查可疑配置文件
  • 请勿将FindUserProfilesFast与FindUserProfilesSlow和ShowUserProfilesSlow混合使用
  • 将用户代理更改为最新的用户代理或增加请求之间的随机时间
  • 使用慢速模式(CLI中不可用)以避免遇到阻塞\结果问题

目标

  • 添加通用网站检测(这些需要一些审查,但我将在2021年尝试添加它们)

资源

  • DuckDuckGo API、Google API、NodeJS、bootstrap、选择化、jQuery、维基百科、font-awawed、Selenium-Webdriver&tesseract.js
  • 如果我错过了参考资料或资源,请告诉我!

采访

一些新闻\文章

免责声明\备注

  • 请确保从GitHub下载此工具
  • 这是一个安全项目(将其视为安全项目)
  • 如果您希望将您的网站排除在此项目列表之外,请与我联系
  • 此工具将在本地使用,而不是作为服务使用(它没有任何类型的访问控制)
  • 有关以-private结尾的模块的相关问题,请直接联系我(不要在GitHub上打开问题)

其他项目