研究信息自动检测与滤技术的运用,板框过滤器使用、维护和清洁的标准操作程序

随着通信网络的快速发展和智能终端用户的快速增长，短信、彩信、微博QQ、微信等即时通讯工具得到了广泛应用，具有使用方便、传播速度快的优点。其中，短信以外的其他工具可以同时携带图片信息和文本信息，从而得到更多的应用。然而，由于信息源的多样性和随机性，它们携带的内容往往包含不良图片和文本信息。因此，有必要采用基于内容的信息过滤方法来识别、提取和分析图文内容，实现对不良信息的监控和过滤。

传统的信息监控与分析模式一般是基于软件自动监控和人工审计实现的，在响应速度、处理效率、人工成本等方面存在固有缺陷。现代自动监测与分析技术主要基于各种机器学习算法，能够更好地解决传统模式的问题。然而，面对当今更复杂的海量信息和特定的应用场景，它们在成本和性能方面往往并不令人满意。此外，计算环境和自然语言处理技术的不断改善为信息自动检测和过滤技术的深入研究和应用奠定了良好的基础。

为此，本文首先对常用的图像信息和文本信息监控分析算法进行了深入的研究和分析。在此基础上，对两种有线电视新闻网模型VGG19和ResNet50在不良图像内容识别方面的性能进行了分析、比较和测试，选择了性能较好的ResNet50模型并应用于实际应用平台。为了实现文本信息的自动监控和分析，提出了一种基于BP神经网络+word2 EC的文本分类模型，并用实际数据验证了其有效性。最后，以电信手机报纸信息发布系统为例，针对不良信息的分析和监控，实现了上述研究成果的实际应用，并验证了其可用性。目前，相关应用系统已经投入实际运行，并取得了良好的监测和分析结果。

随着通信网络的快速发展和智能终端用户的快速增长，短信、彩信、微博、QQ和我们聊天等即时信息发布工具得到了广泛应用。它们都具有使用方便、传输速度快的优点。其中，除短信以外的所有工具都可以同时携带图片信息和文本信息，因此可以进行更多的应用。然而，由于信息源的多样性和任意性，它所承载的内容往往包含不良的图片和文本信息。因此，必须采用基于内容的信息过滤方法来识别、提取和分析图像和文本内容，从而实现对不良信息的监控和过滤。

传统的信息监控和分析模式通常是基于软件自动监控和人工审计来实现的，这在响应速度、处理效率和人工成本上都存在先天缺陷。现代自动监测与分析技术主要基于各种机器学习算法，可以更好地解决传统模式的问题。然而，面对当今更复杂的海量信息和特定的应用场景，它们在成本和性能方面往往不能令人满意。此外，计算环境和自然语言处理技术的不断改善为信息自动检测和过滤技术的深入研究和应用奠定了良好的基础。

为此，本文首先对当前常用的图像信息和文本信息监控分析算法进行了深入的研究和分析；在此基础上，对两种卷积神经网络架构VGG19和ResNet50在不良图像内容识别性能分析中的对比和测试验证，并选择性能较好的ResNet50模型应用于实际应用平台；为了实现文本信息的自动监控和分析，提出了一种基于BP神经网络+word2vec的文本分类模型，并用实际数据验证了其有效性。最后，以电信手机报告信息发布系统为例，实现了上述研究成果的实际应用，并通过对不良信息的分析和监控验证了其可用性。

目前，相关应用系统已经投入使用，并取得了良好的监控和分析效果。

这是导师指导下的自我选择。它主要基于图像分类过滤和文本分类过滤技术，实现对图像和文本不良信息的同时监控和过滤。这是一个理论研究和应用相结合的课题。21世纪是一个信息时代。随着互联网的快速发展，移动互联网的水平也有了显著提高。当前的信息技术正在逐步加速其影响力，改变传统的传播方式，提高人们的传播效率，实现传播方式的多样化，提高人们的生活水平。与此同时，各种信息发布工具应运而生，如短信、微博、彩信、QQ、微信等被广泛使用。它们具有操作方便、操作快捷等优点。其中，除短信以外的所有其他工具都可以同时承载图片信息和文本信息，从而使信息传播的载体多样化，给人们带来更好的视觉体验和信息获取效率，因此得到了广泛的应用。然而，由于信息源的多样性和随机性，它们携带的内容往往包含不良图片和文本信息。

因此，有必要采用基于内容的信息过滤方法来识别、提取和分析图文内容，实现对不良信息的监控和过滤。传统的信息监控与分析模式一般是基于软件自动监控和人工审计实现的，在响应速度、处理效率、人工成本等方面存在固有缺陷。现代自动监测与分析技术主要基于各种机器学习算法，能够更好地解决传统模式的问题。然而，面对当今更复杂的海量信息和特定的应用场景，它们在成本和性能方面往往并不令人满意。此外，计算环境和自然语言处理技术的不断改善为信息自动检测和过滤技术的深入研究和应用奠定了良好的基础。

随着微博、彩信、QQ、微信等多元化信息发布工具的广泛应用，信息来源日益多样化和随意化，其携带的内容往往包含不良图片和文字信息，如色情、毒品、赌博、恐怖主义等相关信息。因此，研究基于内容的信息过滤方法和技术来识别、提取和分析图片和文本的内容，实现对不良信息的监控和过滤成为当前的研究热点之一。目前，相关技术领域已有许多研究和应用成果。但是，对于具体的应用场景，需要根据实际场景的需要进行深入的研究、分析和优化调整，以获得良好的效率。其主要表现如下:

(1)在图像内容识别领域，有许多传统方法，但它们往往存在图像类型和复杂图像的局限性，即难以满足同时有效识别多种类型图像和同一类型不同复杂图像的要求。

(2)在文本内容识别领域，也有许多传统的方法和现有的性能优异的方法，但它们往往难以满足识别速度更快、支持并行计算、计算成本更低以及对分类性能只有中等应用要求的要求。为此，本文根据上述应用需求进行了相关的研究、分析、验证和实施。其主要意义在于:

(1)有效解决图像内容识别的局限性。鉴于近年来深度学习算法，尤其是有线电视网络模型在图像内容识别领域的优异性能，本文在实际应用系统中进行了深入的研究与比较、分析与测试、性能验证与实现。从而有效解决了图像内容识别的局限性，实际应用系统可以同时识别各种类型、内容复杂、尺寸不均匀的不良图像。

(2)提出了一种基于神经网络和WORD2VEC的文本分类模型。鉴于实际应用场景，需要综合考虑不良文本识别的快速性，支持并行计算，计算成本低，而识别性能只需要中等要求。详细研究和分析了现有的各种文本特征提取和文本分类方法，提出了一种基于BP神经网络和WORD2VEC的文本分类模型，较好地解决了上述应用需求，即满足了不良文本识别的性能要求，实现了高速、低成本和支持并行处理的综合要求。此外，还获得了与不良图像识别技术的一致性(英国石油公司和美国有线电视新闻网的一致性)。

(3)为解决实际应用中的问题，本文的研究成果得到了应用，实现了对包含不良信息的图文的自动识别和过滤，更好地保证了不良图文识别和过滤的完整性和准确性，有效提高了工作效率。综上所述，本文的工作具有一定的理论价值，同时也具有很强的参考价值和应用价值。

不良图像识别是计算机图像识别领域的一个热点研究课题。世界各地的许多学者提出了不同的解决方案。主要应用方法包括线性分类器、决策树、深度学习等。在深度学习取得巨大进展之前，不良图像识别方法一般是基于使用图像特征提取算法(如尺度不变特征变换(SIFT)和SURF、SpeededProBustFeatures(SURF)提取的颜色和图像特征，并使用分类方法对它们进行分类。例如，一种基于肤色区域和人体结构几何特征检测的特殊分类方法，它可以有效地识别存在大范围阴影和肤色的裸体图像[1]；基于形状识别和模糊分类的裸体图像识别方法[2]；使用基于肤色的SVM(SupportVectorMachine)模型过滤色情敏感图像的方法，但它只考虑图像中的颜色特征，没有考虑有助于提高识别性能的纹理、形状等特征，性能还有待进一步提高[3]；基于道贝克斯小波变换、中心矩/颜色直方图和图像特征库匹配的敏感图像识别方法的主要缺点是，由于依赖图像特征库作为判断标准[4]，在实践中很难形成包含各种敏感图像特征的非常有效的图像特征库。

一般来说，深度学习大规模应用之前的相关研究成果通常只针对图像颜色和局部轮廓等特征进行分析。如果要分类的图像场景复杂，并且图像中有许多对象，这些浅层特征通常不能很好地表达图像的信息，例如监控视频中的人脸匹配问题。此外，对于特定图像识别任务表现良好的方法通常不能实现对于其他图像识别任务的相同性能。例如，使用HOG提取图像特征和SVM识别道路上行人的方法已经取得了良好的效果，但是应用于玩具老鼠和真实老鼠的识别任务时，却不能取得良好的效果。因此，传统方法存在识别任务中图像复杂度高时识别精度不足的问题，现有方法不能简单应用于新的分类任务，需要仔细选择测试特征提取算法和分类算法。近年来，随着计算机硬件性能的快速提高，深入学习得到了极大的发展，尤其是在图像识别方面，有线电视网络模型优于以往的方法。特别是在场景复杂、颜色多变、数据量大的情况下，其性能远远高于传统方法，在几乎所有图像分类领域都取得了良好的效果。其近年来的发展概述如下。2012年，克里热夫斯基提出AlexNet模型[5]，在计算机视觉竞赛(ILSVRC-2012，ImageNetLargesscaleVisualrecognition Challenge-2012)中取得了15.3%的误差，远远超过第二名。AlexNet有八层网络结构，包括五个卷积层和三个全连接层。整个网络相对复杂，包括6000万个参数和65万个神经元。与此同时，网络还采用了压差正则化方法、数据增强等技术来防止过度拟合，提高网络的泛化能力，并使用简单高效的Relu(ComprehensizedLineaRunits)激励函数来提高学习率和准确性。

同年，谷歌公司的谷歌大脑项目也取得了重大突破。该项目由安德林和杰弗丁领导。它通过深度神经网络在无人监督的情况下训练和学习YouTube视频，从而自动识别视频中的猫。ChristianSzegedy等人在2014年提出，GoogleNet模型将当年ILSVRC竞赛中的误差降低到6.67%，比2013年的识别效果几乎翻了一番。这个模型有22层。虽然图层比AlexNet更深，但参数数量减少了12倍，准确率更高，[6]。同年提出的VGGNet网络模型也达到了相似的准确率，但该模型需要训练大量的参数，训练时间较长，[7]。2015年，微软的何明凯团队提出了一种新的卷积神经网络模型——残差神经网络(ResNet)[8。该型号在ImageNet2015中获得冠军，误差降至3.57%。他们最终完成的模型有152层，比以前的任何模型都要深。此外，论文中还展示了1000多层剩余神经网络，性能也很接近，解决了以往随着网络层的加深模型拟合过度的问题。残差神经网络模型借鉴了公路网络(HN)的思想。在此基础上，引入残差的概念，构建残差神经网络，解决直接加深网络会增加误差的问题。2017年，刘庄、黄高等人提出了DenseNet模型[9]。该模型进一步扩展了基于ResNet的网络连接。在该模型中，对于网络的任何层，该层之前所有层的特征映射是该层的输入，该层输出的特征映射是所有后续层的输入。

DenseNet模型进一步缓解了梯度消失的问题，提高了特征图的利用率，大大降低了模型的参数。神经网络模型在几乎任何图像分类任务中都能取得良好的效果，尤其是在复杂的分类任务中，其识别精度远远高于传统方法。近年来，许多优秀的有线电视新闻网模型(VGGNet，ResNet)出现在图像分类比赛中。对于新的图片分类任务，可以直接使用现有优秀的有线电视新闻网模型，只需调整模型参数就可以获得良好的分类效果。与传统方法相比，它节省了大量的模型选择和调试时间。此外，有线电视网络模型可以方便地在图形处理器上实现并行计算，大大提高了识别吞吐量和识别速度。这在实际应用中具有重要意义。

文本识别的一般过程包括预处理、文本编码、特征提取、文本分类/聚类等步骤。其中，文本特征的分析和提取是关键步骤。在某些场景中，特征提取会对分类效果产生更大的影响。传统的特征提取方法一般将独立词作为特征进行分析，缺乏对上下文语义信息的抽象，这使得一些信息在特征提取过程中丢失。文档[10]引入了谷歌推出的最新的单词2维克(words维克，wordtovector)算法，并将其应用于文档单词的编码。结果表明，通过对编码后的词向量进行聚类，单词2是一种有效的词编码算法。文献[11]提出了一种相对新的文本分类算法。根据中文文本的特点，利用Word2vec技术将文本编码成固定长度的向量。结合现有分类算法，分类性能显著提高，达到了预期效果。国外于20世纪50年代开始对文本分类算法进行研究。早在1957年，卢恩就提出了将词频统计引入文本分类领域的想法。于是，文本分类的研究开始进入一个热潮。这个阶段从20世纪50年代持续到80年代。马龙和库恩提出的概率索引模型、索尔顿提出的向量空模型和罗森布拉特提出的感知器为文本分类技术的研究和发展提供了坚实的理论基础。到20世纪80年代，文本分类主要基于知识工程，即人工方法。虽然这种方法在一定程度上可以大大提高分类精度，但也造成了巨大的人力和时间成本，阻碍了当时文本分类技术研究的发展。

20世纪90年代，随着信息技术的飞速发展，大量文本数据在互联网上积累，推动了文本分类技术研究方向的转变。基于知识工程的传统方法已经不适应时代的需要。随着信息技术和自然语言处理的不断发展和创新，机器学习逐渐成为这一时期文本分类方法的主流。ThorstenJoachims使用支持向量机对文档进行分类。然后杨益明等人使用决策树算法对文本进行分类。文献[12]提出了LDA主题模型，该模型在提取文档主题方面比其他算法具有显著优势，因此在文本主题挖掘中得到广泛应用。

中国对文本分类的研究始于20世纪80年代。在起步阶段，主要学习和借鉴国外先进技术和成果。进入20世纪90年代后，随着越来越多的国内研究者开始研究中文文本分类技术，根据中文独特的语言特点，逐渐形成了相对成熟的文本分类理论体系，并出现了许多科研成果。文本编码模型的研究也是中文文本分类的一个重要研究方向。庞建峰等人根据中国[的语言特点，首次提出将向量空模型应用于文本分类。文本[14]使用最大熵模型对文本进行分类。文献[15]在研究和分析文本分类技术的经典方法后，通过对不同方法组合的实验比较，发现CHI特征选择方法、tf-idf权重计算方法和SVM分类器的组合具有最佳的分类效果。2013年，张志飞等人提出了一种基于LDA主题模型的短文本分类方法，解决了文本特征稀疏和上下文依赖的问题。实验结果表明，该方法具有良好的分类效果，[6]。文献[17]选取VSM作为文本表示模型，提出了一种改进的tf-idf权重计算方法，最后使用支持向量机作为分类器，取得了很好的分类效果。在自然语言处理领域，Word2vec是一种广泛使用的文本编码方法，性能良好。传统的分类方法难以并行计算。除了BP(反向传播)神经网络(如RNN)之外的其他一些算法也可以并行计算，获得更好的分类性能，但一般来说它需要更高的计算资源，只能部分实现并行。BP神经网络性能适中，可以方便地使用图形处理器进行全并行计算，计算成本低，非常适合实际应用场景。

本文共分为六章。每章的主要内容如下:

第一章绪论介绍了本课题的来源背景、研究现状和意义。

第二章介绍和分析了系统应用的相关理论、算法和技术。

第三章对核心算法的分析和验证，研究了基于有线电视新闻网的图像识别算法和BP神经网络+word2 EC的文本识别模型。根据上述方法，提出了一种图像内容识别和文本内容识别的应用方案。

第四章应用系统设计给出了该应用系统的系统设计，主要包括:系统功能需求、系统架构、业务逻辑分析与设计、系统核心功能和数据库设计等。

第五章根据系统的设计方案实现了应用系统，并分析了应用功能测试的效果。

第六章对本文所做的工作进行了总结和展望，指出了本文的主要特点，并对应用研究进行了展望。