> 硕士毕业论文 > 36900字硕士毕业论文基于网络流的交通统计系统研究

36900字硕士毕业论文基于网络流的交通统计系统研究

论文类型:硕士毕业论文
论文字数:36900字
论点:报文,统计,网络
论文概述:

本文是统计专业论文,本文分析并实现了以 NetStream 技术为基础的网络流量统计系统。目前交换机和路由器操作系统是基于 Linux 平台,NetStream 是交换机和路由器操作系统中一个可以定制的模块

论文正文:

介绍

1.1研究背景和意义
随着当今互联网的发展,宽带服务的普及越来越快。用户数量的增加使得网络流量快速增长。网络电话、P2P和网络电视等大量新业务的出现对网络运营产生了重大影响。然而,传统的月计费模式已经落后于当前主要运营商的出版物,网络病毒传播造成的安全问题也越来越严重,[1-3]。随着互联网的快速发展,向用户提供的带宽越来越高,越来越多的服务得到了支持。然而,传统的流量统计方法(如SNMP、端口镜像等)。)无法获得带宽利用率的具体数据、客户和应用的带宽利用率数据,或者由于流量统计方法相对僵化而导致带宽异常的因素,只能提供带宽利用率等粗粒度统计,或者需要投资特定的服务器等。现有的传统流量统计方法远远不能满足现有的业务发展趋势、网络建设、安全管理和灵活的流量统计方法,因此需要新的技术来更好地支持新的网络流量统计应用[4-5]。目前,主流的流量统计应用如下:计费:提供关于网络资源占用信息(如线路、时间段、带宽等)计费的精细信息。)。为了有效利用网络资源,客户可以通过分析信息来分配成本或计算费用。互联网运营商可以利用时间、带宽、应用、服务质量等信息来实施灵活的计费方法。网络监控:通过在出口部署具有流量统计功能的交换机或路由器,可以对连接到互联网网络的接口进行实时流量监控,获得各种业务的流量占用信息。网络管理人员可以根据流量信息来判断网络的运行情况,尽快发现网络拓扑结构中不合理或性能瓶颈,以方便网络管理人员做出更好的网络规划,分配网络的各种资源。
………

1.2国内外研究概况
根据当前使用的网络设备及其所处的网络环境,有多种消息统计方法。目前,国内外主要有各种消息统计方法,如NetFlow、sFlow和NetStream。由于互联网的快速发展、IPv6和IPv4协议的共存以及P2P技术的广泛应用等原因。,传统的统计数据流信息方法受到了
2.2网络流支持的消息格式
网络设备进行网络流量统计时,会根据用户配置的标准格式将获得的统计信息打包成UDP消息,一条统计输出消息中可以记录多个统计信息条目。目的主机收到网络设备输出的统计消息后,首先判断统计消息的格式版本,不同的格式版本会有不同的消息格式。如图2-2所示,网络流数据部分由网络流报头和网络流流量统计数据组成。通过标题的版本字段,可以区分流量统计数据部分采用了[20]的哪种数据结构。目前,统计输出消息主要有5、8和9个版本。版本5:原始数据信息是根据流量统计处理生成的,所有字段信息都可以输出到目的主机,但是消息格式是固定的,不能扩展,统计数据量大,目的主机不能长时间保存。版本8:仅支持聚合输出格式。聚合流统计数据可以输出到目标主机,但是消息格式是固定的,不容易扩展。版本9:用户可以根据实际需求设计消息模板,使得统计信息(包括一般流量统计和聚合流量统计)的输出更加灵活。版本9支持BGP下一跳、MPLS等的统计输出。V8报头格式中的大多数字段与V5报头格式中的字段具有相同的含义。请参考V5标题格式中字段的含义。对于V8版本输出消息格式版本号(NS版本字段),它是0x08。在其他字段中,聚合类型代表聚合类型,聚合版本代表输出聚合版本号,即0x02。
……的挑战。1996年,思科公司的达伦·克尔和巴里·布鲁因斯首次发明了网络流量技术。网络流(Netflow)技术最早被应用于加速数据流的交换,并能在高速转发中同步测量和计数IP数据流(flow)。经过多年的技术创新,网络设备中加速数据流交换的功能逐渐被专用集成电路(ASIC)集成芯片所取代,流经网络设备的知识产权数据流的测量和流量统计技术也得到了快速发展。Netflow技术现在被公认为行业标准。网络流可以详细分析和计算通信流量的行为模式,并生成详细的统计数据[7-8]。NetFlow技术的引入为这一领域注入了新的活力。通过该技术,网络设备可以主动将设备转发的消息流统计信息传输到用户指定的信息收集系统。目前,收集网络流量统计信息的问题已基本解决,从而可以更有效地收集网络流量数据信息,并从这些数据中分析网络状态。近年来,随着这项技术的普及,一些公司已经逐渐在自己开发的网络设备[9-10]上支持NetFlow技术。SFlow是FoundryNetworks、InMon和惠普在2001年提出的一种网络监控技术。一方面,它可以提供从数据链路层到传输层的完整流量统计,甚至在整个网络覆盖范围内。另一方面,流量分析通常可以在大规模的网络流量环境中进行(例如,超过10千兆比特/秒),以便网络管理人员可以实时和详细地分析和解决网络流量的性能、趋势和存在的问题
本文的主要工作是基于华为3com的网络流开发项目。研究包括两个部分:NetStream统计输出消息的格式和NetStream系统的设计与实现。本文结合NetStream技术,对网络流量采集方法、网络流量统计系统的设计与实现以及LINUX内核机制进行了深入研究。主要研究成果如下:
(1)网络流量统计及相关技术的分析与研究。主要内容包括对几种网络流量采集方法的研究和比较分析,对NetStream技术原理的深入分析和研究。
(2)对路由器系统平台进行更深入的研究。主要内容包括LINUX内核机制,如通知链、NetLink、EPOLL机制、内核同步、定时器软中断、进程调度和板分配技术。此外,还对路由器软件系统进行了初步研究,了解了IP转发、接口管理、IPv4地址管理相关模块的实现,并对分布式路由器体系结构进行了初步研究。
最后,设计并实现了一个基于NetStream技术的网络流量统计系统,实现了数据采集、流量统计、流量聚合和统计消息传输的功能,并在实际网络环境测试中取得了良好的效果。
……
参考资料(略)。
………

2网络流技术简介

2.1网络流基本概念
当用户启用流老化功能时,设备将通过统计输出消息格式的特定版本向特定目的主机输出存储的流统计数据。流动老化有以下三种机制。准时老化:准时老化可分为非活跃流老化和活跃流老化。非活动流老化:自最后一条消息以来,在设置的非活动时间内没有收集到流,那么设备将向目的主机输出流的统计信息。这种老化被称为非活性流动老化。主动流老化:从第一条消息开始,可以在设置的主动时间内一直收集流。在流的活动时间超过用户配置的活动时间后,需要输出流的统计信息。这种老化被称为主动流老化。强制老化:可以强制所有存储的统计信息进行流老化,并且可以释放缓冲区中的内存空。或者根据实际需要选择性地进行流动老化。传输控制协议的FIN或RST触发老化:发送标记为FIN或RST的传输控制协议消息表示传输控制协议连接结束。当现有的连接流条目要处理标记为FIN或RST的连接的TCP消息时,立即输出相应的存储的统计信息。
……

[6]

3系统需求分析……(17)
3.1系统操作环境.......(17)
3.2一般流量统计.........(21)
3.3流量聚合函数.........(25)
3.4统计消息输出流量控制........(29)
3.5本章摘要........(30)
4系统功能设计和实施
4.1网络流总体设计和实施.......(31)
4.2流量统计处理.........(38)
4.3配置数据处理...(46)
4.4系统事件处理...(50)
4.5本章摘要........(52)
5系统测试……(54)
5.1测试网络环境...(54)
5.2测试内容........(56)
5.3测试工具和总结........(59)
5.4本章摘要........(60)

5系统测试

5.1测试网络环境
根据不同的测试案例,设计了三种测试网络环境,并构建了一个小型测试网络进行模拟测试。测试完成后,测试将在大型实际公司网络上进行。IPv4普通消息包括单播、多播和分段消息。如图5-1所示,一个简单的网络包括作为目的主机的PC机、作为网络流数据采集设备的核心路由器和进入IPv4网络普通消息流的中小企业设备。在路由器上配置NetStream入站和出站统计信息,并将统计信息发送到目的主机40.0.0.2/16.的端口5000。网络主要测试网络流分类统计信息和针对IPv4普通消息的统计信息输出的基本功能。如图5-2所示,给出了由三个核心路由器组成的网络。所有路由器都支持MPLS。标签交换路径是在路由器之间建立的,路由协议是OSPF协议。标签分发协议使用OSPF路由信息来建立标签分发协议。路由器甲和路由器丙是MPLS网络中的边缘路由器,路由器乙是MPLS网络中的核心路由器。此外,它还包括作为目的主机的PC机和进入IPv4网络普通消息流的中小企业设备。
………

结论

[11]