当前位置：首页 > 科技 > 软件

用Go实现自己的网络流量解析和行为检测引擎

来源：责编：时间：2024-01-02 09:30:08 247观看

导读1.前言最近有个在学校读书的迷弟问我:大德德, 有没有这么一款软件, 能够批量读取多个抓包文件,并把我想要的数据呈现出来, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我说：“这样的软件你要认真找真能找出不少

1.前言

最近有个在学校读书的迷弟问我:大德德, 有没有这么一款软件, 能够批量读取多个抓包文件,并把我想要的数据呈现出来, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我说：“这样的软件你要认真找真能找出不少开源软件, 但毕竟没有你自己的灵魂在里面,要不咱自己用Go实现一个吧”, OK , Let's go。

2.摘要

能够实现网络协议解析和分析的工具有很多,最有名使用最多的是基于图形化界面的Wireshark, 除了能够实现网络实时抓包,还能够离线分析Pcap包文件, 虽然它通常用于手动分析网络数据包, 但也支持自动化脚本和插件来提取元数据。而Wireshark还有一个基于命令行版本的Tshark, 可以用于自动化任务, 可以批量处理Pcap文件, 提取所需数据并导出到文件中。

本次用Go语言实现的网络协议解析功能是基于Google公司开发一个开源库:gopacket, 该库帮我们完成了网络协议的一些底层封装, 它允许我们能够捕获、解析和处理网络数据包, 与Wireshark一样,也支持对离线抓包文件的分析。gopacket库提供了一系列功能,包括:数据包捕获、解析和构建, 以及对多种协议的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它还提供了方便的API, 以帮助开发者操作和分析网络数据包。

3.实现原理

谷歌公司开发的gopacket提供了5个子包接口供使用者调用,其中Layers子包负责协议解析;pcap子包实际是libpcap的包装,主要用于数据包格式解析;pfring子包和afpacket用于快速数据库包抓取;tcpassembly用于TCP流重组。在本篇文章中,主要利用gopacket提供的Layers和pcap接口实现上层业务逻辑。在流量解析引擎中,调用pcap接口对离线pcap抓包文件进行数据包解析,并配合Layers接口实现协议解析,目前根据业务种类,实现的协议解析包括:HTTP协议、TCP/UDP协议、ICMP协议和802.11协议。流量解析引擎的整体架构如下:

我们实现的流量解析引擎主要针对离线pcap包文件, 支持的协议类型包括:HTTP协议、TCP/UDP协议、ICMP协议、802.11(无线协议)，通过对各类协议的解析,可以实现一些高级功能,例如: 特征库匹配、漏洞扫描检测、一些网络攻击检测等等。

通过对gopacket开源包的研究,整理出其使用方法如下:

利用pcap子包的OpenOffline方法加载离线数据包文件,加载成功返回离线数据包文件句柄。
离线包文件句柄通过SetBPFFilter方法过滤数据类型,调用LinkType()方法获取链路类型。
将第2步中的文件句柄和LinkType作为参数调用方法NewPacketSource。
NewPacketSource调用Packet()方法获取离线包文件中所有的数据包,通过遍历每个数据包进行下一步操作。
每个数据包对象通过调用Layer()方法获取数据对象层,参数为数据对象的种类,种类有很多种,根据不同的协议类型进行区分。
获取的数据层级操作对象是数据包解析基础方法需要达到的目的,即将解析的具体数据将在数据层级中进行不同方法的筛选。

大致的调用关系整理如下图:

4.功能代码实现

在我们的工程项目中,首先要引入三个包,它们是:

import(  "github.com/google/gopacket"  "github.com/google/gopacket/layers"  "github.com/google/gopacket/pcap")

因为我们操作的对象主要是针对离线pcap包, 因此首先要加载离线包文件,代码如下:

handle, err = pcap.OpenOffline(pcapFilePath)if err != nil {    log.Panic(err)}

handle是加载离线包文件后返回的文件句柄,类型为:*pcap.Handle,接下来我们要设置一下过滤,只针对tcp连接的包,所以通过上面的文件句柄调用过滤函数:

err = handle.SetBPFFilter("tcp")  if err != nil {  log.Panic(err)}

根据上面的调用关系图,我们需要调用NewPacketSource方法,代码如下:

packetSource := gopacket.NewPacketSource(handle, handle.LinkType())packets := packetSource.Packets()

packetSource.Packets()方法返回的是一个通道, 用来接收gopacket解析出来的每一个数据包,

因此这里需要做循环接收,并在循环内容解析ethernet层, 解析大致过程如下:

下面我们根据上面的流程图解析LayerTypeEthernet, 代码如下:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)}

下面涉及到协议的层级,我们对照Wireshark的包对比看一下,如图:

从上图的协议结构中我们可以看到,源IP地址和目的IP地址是在IPv4层上, 源端口和目的端口是在TCP层上, 而mac地址是在Ethernet层上, 因此要想获取这6个元数据,我们至少要解析三层协议, 添加以下代码:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 这里从IPv4协议层取源IP和目的IP数据        ipInfo, _ := ipLayer.(*layers.IPv4)                        tcpLayer := packet.Layer(layers.LayerTypeTCP)        if tcpLayer == nil { continue }                // 这里从TCP协议层取TCP数据,获取源端口和目的端口数据        tcpInfo, _ := tcpLayer.(*layers.TCP)                //下面的代码取具体的Payload        applicationLayer := packet.ApplicationLayer()        if applicationLayer == nil { continue }        payload := string(applicationLayer.Payload())                // 从GET或POST请求中取出元数据        if strings.HasPrefix(payload, "GET") || strings.HasPrefix(payload, "POST") {            fmt.Println("源mac地址:", ethernetPacket.SrcMAC.String())            fmt.Println("目的Mac地址:", ethernetPacket.DstMAC.String())            fmt.Println("源IP地址:", ipInfo.SrcIP.String())            fmt.Println("目的IP地址:", ipInfo.DstIP.String())            fmt.Println("源端口:", int(tcpInfo.SrcPort))            fmt.Println("目的端口:", int(tcpInfo.DstPort))        }    }}

5.行为检测实现

这里我们以检测数据库的匿名登录行为为例子, 首先在kali系统上对目标数据库尝试匿名登录,如图:

在登录过程中,使用Wireshark进行网络抓包,如图:

从上面的抓包文件中,我们可以根据Payload偏移提取一些行为特征,例如:

将特征检测的逻辑加入到代码中:

for packet := range packetSource.Packets() {    ethernetLayer := packet.Layer(layers.LayerTypeEthernet)    if ethernetLayer == nil {        continue    }    ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)    if ethernetPacket.EthernetType.String() == "IPv4" {        ipLayer := packet.Layer(layers.LayerTypeIPv4)        if ipLayer == nil { continue }                // 这里从IPv4协议层取源IP和目的IP数据        ipInfo, _ := ipLayer.(*layers.IPv4)                if ipInfo.Protocol.String() == "TCP" {          tcpLayer := packet.Layer(layers.LayerTypeTCP)          tcp, _ := tcpLayer.(*layers.TCP)          if (len(tcp.Payload) > 36 && bytes.Equal(tcp.Payload[13:37], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0})) || (len(tcp.Payload) > 39 && bytes.Equal(tcp.Payload[13:40], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 114, 111, 111, 116})) {            fmt.Println("发现数据库匿名登录行为!")          }        }    }}

将上面的代码编译后加载离线pcap包跑一下,可以看到已经匹配到行为特征,如图:

可以看到,已经成功命中行为特征。

本文链接：http://www.28at.com/showinfo-26-55060-0.html用Go实现自己的网络流量解析和行为检测引擎

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：如何给自定义Python模块自动生成文档？

下一篇：逻辑编程：上古人工智能语言Prolog

标签：

热门焦点

之家push系统迭代之路

前言在这个信息爆炸的互联网时代，能够及时准确获取信息是当今社会要解决的关键问题之一。随着之家用户体量和内容规模的不断增大，传统的靠"主动拉"获取信息的方式已不能满足用
三分钟白话RocketMQ系列—— 如何发送消息

我们知道RocketMQ主要分为消息生产、存储（消息堆积）、消费三大块领域。那接下来，我们白话一下，RocketMQ是如何发送消息的，揭秘消息生产全过程。注意，如果白话中不小心提到相关代
为什么你不应该使用Div作为可点击元素

按钮是为任何网络应用程序提供交互性的最常见方式。但我们经常倾向于使用其他HTML元素，如 div span 等作为 clickable 元素。但通过这样做，我们错过了许多内置浏览器的功能。
使用AIGC工具提升安全工作效率

在日常工作中，安全人员可能会涉及各种各样的安全任务，包括但不限于：开发某些安全工具的插件，满足自己特定的安全需求；自定义github搜索工具，快速查找所需的安全资料、漏洞poc、exp
2023年，我眼中的字节跳动

此时此刻（2023年7月），字节跳动从未上市，也从未公布过任何官方的上市计划；但是这并不妨碍它成为中国最受关注的互联网公司之一。从2016-17年的抖音强势崛起，到2018年的“头腾
当家的盒马，加速谋生

来源 | 价值星球Planet作者 | 归去来自己“当家”的盒马，开始加速谋生了。据盒马官微消息，盒马计划今年开放生鲜供应链，将其生鲜商品送往食堂。目前，盒马在上海已经与
华为Mate 60系列用上可变灵动岛：正式版体验将会更出色

这段时间以来，关于华为新旗舰的爆料日渐密集。据此前多方爆料，今年华为将开始恢复一年双旗舰战略，除上半年推出的P60系列外，往年下半年的Mate系列也将
华为Mate60系列模具曝光：采用硕大圆形后置相机模组+拼接配色方案

据此前多方爆料，今年华为将开始恢复一年双旗舰战略，除上半年推出的P60系列外，往年下半年的Mate系列也将迎来更新，有望在9-10月份带来全新的华为Mate60
DRAM存储器10月价格下跌，NAND闪存本月价格与上月持平

10月30日，据韩国媒体消息，自今年年初以来一直在上涨的 DRAM 存储器的交易价格仅在本月就下跌了近 10％，此次是全年首次降价，而NAND 闪存本月价格与上月持平。市

用Go实现自己的网络流量解析和行为检测引擎

1.前言

2.摘要

3.实现原理

4.功能代码实现

5.行为检测实现

之家push系统迭代之路

三分钟白话RocketMQ系列—— 如何发送消息

为什么你不应该使用Div作为可点击元素

使用AIGC工具提升安全工作效率

2023年，我眼中的字节跳动

当家的盒马，加速谋生

华为Mate 60系列用上可变灵动岛：正式版体验将会更出色

华为Mate60系列模具曝光：采用硕大圆形后置相机模组+拼接配色方案

DRAM存储器10月价格下跌，NAND闪存本月价格与上月持平

最新推荐

猜你喜欢

热门推荐

相关资讯