转载__IDS入侵检测

IDS 是英文“Intrusion Detection Systems”的缩写，中文意思是“入侵检测系统”。专业上讲就是依照一定的安全策略，对网络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。
我们做一个形象的比喻：假如防火墙是一幢大楼的门锁，那么IDS就是这幢大楼里的监视系统。一旦小偷爬窗进入大楼，或内部人员有越界行为，只有实时监视系统才能发现情况并发出警告。
在本质上，入侵检测系统是一个典型的"窥探设备"。它不跨接多个物理网段（通常只有一个监听端口），无须转发任何流量，而只需要在网络上被动的、无声息的收集它所关心的报文即可。对收集来的报文，入侵检测系统提取相应的流量统计特征值，并利用内置的入侵知识库，与这些流量特征进行智能分析比较匹配。根据预设的阀值，匹配耦合度较高的报文流量将被认为是进攻，入侵检测系统将根据相应的配置进行报警或进行有限度的反击。入侵检测系统的原理模型如图所示。

入侵检测系统通过监听获得网络连路上流量的拷贝


入侵检测系统的工作流程大致分为以下几个步骤：
（1）信息收集 入侵检测的第一步是信息收集，内容包括网络流量的内容、用户连接活动的状态和行为。
（2）信号分析 对上述收集到的信息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析。其中前两种方法用于实时的入侵检测，而完整性分析则用于事后分析。
具体的技术形式如下所述：

模式匹配
模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。一般来讲，一种进攻模式可以用一个过程（如执行一条指令）或一个输出（如获得权限）来表示。该方法的一大优点是只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。它与病毒防火墙采用的方法一样，检测准确率和效率都相当高。但是，该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击手法，不能检测到从未出现过的黑客攻击手段。

统计分析
分析方法首先给信息对象（如用户、连接、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败次数和延时等）。测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常偏差之外时，就认为有入侵发生。例如，统计分析可能标识一个不正常行为，因为它发现一个在晚八点至早六点不登录的帐户却在凌晨两点试图登录。其优点是可检测到未知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络的分析方法，目前正处于研究热点和迅速发展之中。

完整性分析
完整性分析主要关注某个文件或对象是否被更改，包括文件和目录的内容及属性，它在发现被更改的、被特络伊化的应用程序方面特别有效。完整性分析利用强有力的加密机制，称为消息摘要函数（例如MD5），能识别及其微小的变化。其优点是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，不用于实时响应。这种方式主要应用于基于主机的入侵检测系统（HIDS）。

（3）实时记录、报警或有限度反击
IDS根本的任务是要对入侵行为做出适当的反应，这些反应包括详细日志记录、实时报警和有限度的反击攻击源。

经典的入侵检测系统的部署方式如图所示：

......
显示全文...

入侵检测系统－－笔记

入侵检测系统

l 概念：进行入侵检测的软件与硬件的组合便是入侵检测系统 （Intrusion Detection System,简称IDS）。与其他安全产品不同的 是，入侵检测系统需要更多的智能，它必须可以将得到的数据进行分析，并得出有用的结果。

l 主要功能：a.监测并分析用户和系统的活动；　　
　　b.核查系统配置和漏洞； 　　
　　c.评估系统关键资源和数据文件的完整性；　　
　　d.识别已知的攻击行为；　　
　　e.统计分析异常行为；　　
　　f.操作系统日志管理，并识别违反安全策略的用户活动

l 厂商：国外：ISS、axent、NFR、cisco等；国内：中联绿盟，中科网威，启明星辰等。

l CIDF模型： Common Intrusion Detection Framework (CIDF)（http://www.gidos.org/）阐述了一个入侵检测系统（IDS）的通用模型。它将一个入侵检测系统分为以下组件：
　　
　　l事件产生器（Event generators）　　
　　l　　 事件分析器（Event analyzers 　
　　l　　 响应单元（Response units ）　　
　　l　事件数据库（Event databases ）
　　CIDF将IDS需要分析的数据统称为事件（event）,它可以是网络中的数据包，也可以是从系统
　　日志等其他途径得到的信息。（有些文章中经常用数据采集部分、分析部分和控制台部分来分别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代事件数据库。）

l IDS分类：

1. 主机型：

A. 特点：以系统日志、应用程序日志等作为数据源，保护的一般是所在的系统。

B. 缺点：必须为不同平台开发不同的程序、增加系统负荷、所需安装数量众多等。

C. 优点：内在结构却没有任何束缚，同时可以利用操作系统本身提供的功能、并结合异常分析，更准确的报告攻击行为。

2. 网络型：

A. 特点：数据源则是网络上的数据包。入侵检测系统担负着保护整个网段的任务。

B. 优点：简便，不会给运行关键业务的主机带来负载上的增加。

3. 数据采集部分：

在安装IDS的时候，关键是选择数据采集部分所在的位置，因为它决定了“事件”的可见度。

A. 主机型IDS，其数据采集部分当然位于其所监测的主机上。

B. 网络型IDS，其数据采集部分则有多种可能： 　　
　　（1）如果网段用总线式的集线器相连，则可将其简单的接在集线器的一个端口上即可； 　　
　　（2）对于交换式以太网交换机，问题则会变得复杂。由于交换机不采用共享媒质的办法，传统的采用一个sniffer来监听整个子网的办法不再可行。可解决的办法有： 　　
　　a.交换机的核心芯片上一般有一个用于调试的端口（span port），任何其他端口的进出信息都可从此得到。如果交换机厂商把此端口开放出来，用户可将IDS系统接到此端口上。
　　优点：无需改变IDS体系结构。 　　
　　缺点：采用此端口会降低交换机性能。
　　b.把入侵检测系统放在交换机内部或防火墙内部等数据流的关键入口、出口。 　　
　　优点：可得到几乎所有关键数据。 　　
　　缺点：必须与其他厂商紧密合作，且会降低网络性能。　　
　　c.采用分接器（Tap），将其接在所有要监测的线路上。
　　优点：再不降低网络性能的前提下收集了所需的信息。
　　缺点：必须购买额外的设备(Tap)；若所保护的资源众多，IDS必须配备众多网络接口。
　　d.可能唯一在理论上没有限制的办法就是采用主机型IDS。

l 通信协议

IDS系统组件之间需要通信使用协议为IAP，IAP(Intrusion Alert Protocol)是idwg制定的、运行于TCP之上的应用层协议（可从任意端发起连接，结合了加密、身份验证）

入侵检测技术

对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。从技术上，入侵检测分为两类：一种基于标志（signature-based），另一种基于异常情况(anomaly-based)。

两种检测技术的方法、所得出的结论有非常大的差异。基于异常的检测技术的核心是维护一个知识库。对于已知得攻击，它可以详细、准确的报告报告出攻击类型， 但是对未知攻击却效果有限，而且知识库必须不断更新。基于异常的检测技术则无法准确判别出攻击的手法，但它可以（至少在理论上可以）判别更广范、甚至未发 觉的攻击。

l 信息收集

入侵检测的第一步是信息收集，内容包括系统、网络、数据及用户活动的状态和行为。入侵检测很大程度上依赖于收集信息的可靠性和正确性，这需要保证用来检测网络系统的软件的完整性。

入侵检测利用的信息一般来自以下四个方面：

1. 系统和网络日志文件

2. 目录和文件中的不期望的改变

3. 程序执行中的不期望行为

4. 物理形式的入侵信息（一是未授权的对网络硬件连接；二是对物理资源的未授权访问）

l 信号分析

对上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析。其中前两种方法用于实时的入侵检测，而完整性分析则用于事后分析。

1. 模式匹配：模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。

2. 统计分析：统计分析方法首先给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败次数和延时等）。测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有入侵发生

3. 完整性分析：主要关注某个文件或对象是否被更改，这经常包括文件和目录的内容及属性，它在发现被更改的、被特络伊化的应用程序方面特别有效。（优点是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，不用于实时响应）

l 入侵检测功能
　　
　　 ·监督并分析用户和系统的活动
　　 ·检查系统配置和漏洞
　　 ·检查关键系统和数据文件的完整性
　　 ·识别代表已知攻击的活动模式
　　 ·对反常行为模式的统计分析
　　 ·对操作系统的校验管理，判断是否有破坏安全的用户活动。
　　 ·入侵检测系统和漏洞评估工具的优点在于：
　　 ·提高了信息安全体系其它部分的完整性
　　 ·提高了系统的监察能力
　　 ·跟踪用户从进入到退出的所有活动或影响
　　 ·识别并报告数据文件的改动
　　 ·发现系统配置的错误，必要时予以更正
　　 ·识别特定类型的攻击，并向相应人员报警，以作出防御反应
　　 ·可使系统管理人员最新的版本升级添加到程序中
　　 ·允许非专家人员从事系统安全工作
　　 ·为信息安全策略的创建提供指导
　　 ·必须修正对入侵检测系统和漏洞评估工具不切实际的期望：这些产品并不是无所不能的，它们无法弥补力量薄弱的识别和确认机制
　　 ·在无人干预的情况下，无法执行对攻击的检查
　　 ·无法感知公司安全策略的内容
　　 ·不能弥补网络协议的漏洞
　　 ·不能弥补由于系统提供信息的质量或完整性的问题
　　 ·它们不能分析网络繁忙时所有事务
　　 ·它们不能总是对数据包级的攻击进行处理
　　 ·它们不能应付现代网络的硬件及特性
......
显示全文...

转载__入侵检测系统（IDS）简介

第一章 入侵检测系统概念
　　
　　当越来越多的公司将其核心业务向互联网转移的时候，网络安全作为一个无法回避的问题呈现在人们面前。传统上，公司一般采用防火墙作为安全的第一道防线。而随着攻击者知识的日趋成熟，攻击工具与手法的日趋复杂多样，单纯的防火墙策略已经无法满足对安全高度敏感的部门的需要，网络的防卫必须采用一种纵深的、多样的手段。与此同时，当今的网络环境也变得越来越复杂，各式各样的复杂的设备，需要不断升级、补漏的系统使得网络管理员的工作不断加重，不经意的疏忽便有可能造成安全的重大隐患。在这种环境下，入侵检测系统成为了安全市场上新的热点，不仅愈来愈多的受到人们的关注，而且已经开始在各种不同的环境中发挥其关键作用。
　　
　　本文中的"入侵"（Intrusion）是个广义的概念，不仅包括被发起攻击的人（如恶意的黑客）取得超出合法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问（Denial of Service）等对计算机系统造成危害的行为。　
　
　　入侵检测（Intrusion Detection），顾名思义，便是对入侵行为的发觉。它通过对计算机网
　　络或计算机系统中得若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统（Intrusion Detection System,简称IDS）。与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数据进行分析，并得出有用的结果。一个合格的入侵检测系统能大大的简化管理员的工作，保证网络安全的运行。

　　
　　具体说来，入侵检测系统的主要功能有（[2]）：
　　
　　a.监测并分析用户和系统的活动；
　　
　　b.核查系统配置和漏洞；
　　
　　c.评估系统关键资源和数据文件的完整性；
　　
　　d.识别已知的攻击行为；
　　
　　e.统计分析异常行为；
　　
　　f.操作系统日志管理，并识别违反安全策略的用户活动。
　　由于入侵检测系统的市场在近几年中飞速发展，许多公司投入到这一领域上来。除了国外的ISS、axent、NFR、cisco等公司外，国内也有数家公司（如中联绿盟，中科网威等）推出了自己相应的产品。但就目前而言，入侵检测系统还缺乏相应的标准。目前，试图对IDS进行标
　　准化的工作有两个组织：IETF的Intrusion Detection Working Group (idwg)和Common Int
　　rusion Detection Framework (CIDF)，但进展非常缓慢，尚没有被广泛接收的标准出台。
　　
　　第二章 入侵检测系统模型
　　2.1 CIDF模型
　　Common Intrusion Detection Framework (CIDF)（http://www.gidos.org/）阐述了一个入侵检测系统（IDS）的通用模型。它将一个入侵检测系统分为以下组件：
　　
　　l事件产生器（Event generators）
　　
　　l　　 事件分析器（Event analyzers
　　
　　l　　 响应单元（Response units ）
　　
　　l　事件数据库（Event databases ）
　　CIDF将IDS需要分析的数据统称为事件（event）,它可以是网络中的数据包，也可以是从系统
　　日志等其他途径得到的信息。
　　
　　事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果作出作出反应的功能单元，它可以作出切断连接、改变文件属性等强烈反应，也可以只是简单的报警。事件数据库是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文件。
　　
　　在这个模型中，前三者以程序的形式出现，而最后一个则往往是文件或数据流的形式。
　　
　　在其他文章中，经常用数据采集部分、分析部分和控制台部分来分别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代事件数据库。如不特别指明，本文中两套术语意义相同。
　　
　　2.2 IDS分类
　　一般来说，入侵检测系统可分为主机型和网络型。
　　
　　主机型入侵检测系统往往以系统日志、应用程序日志等作为数据源，当然也可以通过其他手段（如监督系统调用）从所在的主机收集信息进行分析。主机型入侵检测系统保护的一般是所在的系统。
　　
　　网络型入侵检测系统的数据源则是网络上的数据包。往往将一台机子的网卡设于混杂模式（promisc mode）,监听所有本网段内的数据包并进行判断。一般网络型入侵检测系统担负着保护整个网段的任务。
　　
　　不难看出，网络型IDS的优点主要是简便：一个网段上只需安装一个或几个这样的系统，便可以监测整个网段的情况。且由于往往分出单独的计算机做这种应用，不会给运行关键业务的主机带来负载上的增加。但由于现在网络的日趋复杂和高速网络的普及，这种结构正受到越来越大的挑战。一个典型的例子便是交换式以太网。
　　
　　而尽管主机型IDS的缺点显而易见：必须为不同平台开发不同的程序、增加系统负荷、所需安装数量众多等，但是内在结构却没有任何束缚，同时可以利用操作系统本身提供的功能、并结合异常分析，更准确的报告攻击行为。参考文献[7]对此做了描述，感兴趣的读者可参看。
　　
　　入侵检测系统的几个部件往往位于不同的主机上。一般来说会有三台机器，分别运行事件产生器、事件分析器和响应单元。在安装IDS的时候，关键是选择数据采集部分所在的位置，因为它决定了"事件"的可见度。
　　
　　对于主机型IDS，其数据采集部分当然位于其所监测的主机上。
　　
　　对于网络型IDS，其数据采集部分则有多种可能：
　　
　　（1）如果网段用总线式的集线器相连，则可将其简单的接在集线器的一个端口上即可；
　　
　　（2）对于交换式以太网交换机，问题则会变得复杂。由于交换机不采用共享媒质的办法，传统的采用一个sniffer来监听整个子网的办法不再可行。可解决的办法有：
　　
　　a.交换机的核心芯片上一般有一个用于调试的端口（span port），任何其他端口的进出信息都可从此得到。如果交换机厂商把此端口开放出来，用户可将IDS系统接到此端口上。
　　优点：无需改变IDS体系结构。
　　
　　缺点：采用此端口会降低交换机性能。
　　b.把入侵检测系统放在交换机内部或防火墙内部等数据流的关键入口、出口。
　　
　　优点：可得到几乎所有关键数据。
　　
　　缺点：必须与其他厂商紧密合作，且会降低网络性能。
　　
　　c.采用分接器（Tap），将其接在所有要监测的线路上。
　　优点：再不降低网络性能的前提下收集了所需的信息。
　　缺点：必须购买额外的设备(Tap)；若所保护的资源众多，IDS必须配备众多网络接口。
　　d.可能唯一在理论上没有限制的办法就是采用主机型IDS。
　　
　　2.3 通信协议
　　IDS系统组件之间需要通信，不同的厂商的IDS系统之间也需要通信。因此，定义统一的协议，使各部分能够根据协议所致订的的标准进行沟通是很有必要的。
　　
　　IETF目前有一个专门的小组Intrusion Detection Working Group (idwg)负责定义这种通信
　　格式，称作Intrusion Detection Exchange Format。目前只有相关的草案（internet draft），并未形成正式的RFC文档。尽管如此，草案为IDS各部分之间甚至不同IDS系统之间的通信提供了一定的指引。
　　
　　IAP(Intrusion Alert Protocol)是idwg制定的、运行于TCP之上的应用层协议，其设计在很大程度上参考了HTTP，但补充了许多其他功能（如可从任意端发起连接，结合了加密、身份验证等）。对于IAP的具体实现，请参看 [9]，其中给出了非常详尽的说明。这里我们主要讨论一下设计一个入侵检测系统通信协议时应考虑的问题：
　　
　　1．　分析系统与控制系统之间传输的信息是非常重要的信息，因此必须要保持数据的真实性和完整性。必须有一定的机制进行通信双方的身份验证和保密传输（同时防止主动和被动攻击）。
　　
　　2. 通信的双方均有可能因异常情况而导致通信中断，IDS系统必须有额外措施保证系统正常工作。
　　
　　2.4入侵检测技术
　　对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。从技术上，入侵检测分为两类：一种基于标志（signature-based），另一种基于异常情况(anomaly-based)。
　　
　　对于基于标识的检测技术来说，首先要定义违背安全策略的事件的特征，如网络数据包的某些头信息。检测主要判别这类特征是否在所收集到的数据中出现。此方法非常类似杀毒软件。
　　而基于异常的检测技术则是先定义一组系统"正常"情况的数值，如CPU利用率、内存利用率、文件校验和等（这类数据可以人为定义，也可以通过观察系统、并用统计的办法得出），然后将系统运行时的数值与所定义的"正常"情况比较，得出是否有被攻击的迹象。这种检测方式的核心在于如何定义所谓的"正常"情况。
　　
　　两种检测技术的方法、所得出的结论有非常大的差异。基于异常的检测技术的核心是维护一个知识库。对于已知得攻击，它可以详细、准确的报告报告出攻击类型，但是对未知攻击却效果有限，而且知识库必须不断更新。基于异常的检测技术则无法准确判别出攻击的手法，但它可以（至少在理论上可以）判别更广范、甚至未发觉的攻击。
　　如果条件允许，两者结合的检测会达到更好的效果。
　　
　　第四章 存在的问题
　　尽管有众多的商业产品出现，与诸如防火墙等技术高度成熟的产品相比，入侵检测系统还存在相当多的问题。这一章我们便要讨论一下对其进行威胁的主要因素，值得注意的是，这些问题大多是目前入侵检测系统的结构所难以克服的（包括waRcher），而且这些矛盾可能越来越尖锐。

......
显示全文...

这年头有人竟然抢起猪肉来了

深圳晶报7月13日报道说， 昨日凌晨4点左右，在位于宝安光明街道的白花社区市场，一名男子开着摩托车，正准备下车将车上125公斤猪肉拉到市场交易。不料，后面一辆金杯面包车迅猛 冲来，从车上跳下4人，手持尖刀钢管，不容分说，将该男子狠打一顿，将其摩托车及猪肉抢走，其中一歹徒跨上摩托车，摇摇晃晃（125公斤猪肉再加一个人， 摩托车有些吃力）逃离现场，而另外三人则开面包车向观澜街道方向逃逸。
　　
　　 受害人迅速向附近一号岗值勤队员报警，劫匪很快给逮住了。据了解，平时这几名歹徒经常出没在这个区域，以前是以抢劫摩托车为主。已被抓获过几次，现在从牢 狱出来后与时俱进将目标转移到正在涨价的猪肉上。“目前他们一辆赃车最多也仅能卖千余元，而车上的125公斤猪肉，价格至少在3000元以上。”巡防员讲 到，正是因为车辆载重超负荷的缘故，车辆无法高速行使，因此歹徒载在巡防员的手中。
　　
　　 呜呼！抢劫猪肉！我们这个和谐社会到底怎么了？太平盛世几十年，到头来发现吃的肉是别人抢来的。商务部说猪肉涨价是因为石油涨价，石油寡头反过来说猪肉都 涨价了，我们的石油也应该涨了；家园被洪水淹掉了，名嘴说老百姓过年了；老百姓说买不起房子了，国土资源部长也跟着哭穷；女局长在自己别墅被情人杀死了， 让人感兴趣的不是新闻本身，而是女局长所在的单位是闻所未闻的“蔬菜局”；专家说虽然有很多老鼠，但是不会爆发鼠疫，大伙说求你了专家，你不说我们还不担 心呢。......
显示全文...

下一步计划

过完春节这几个月真是太忙了， 大任务一个接着一个，好在现在都告一什段落了。离下一个大任务还有一个多月呢。眼下就只有一些平常的小事做要。
所以从今天开始，接下来要做一个基于snort的NIDS，从0开始，一定要做出成果，搞懂其中原理。我们公司现在还没有IDS，就算到时领导不采纳，我也能学到不少东西嘛。
Let's go!......
显示全文...

喝酒的好处

本人酒量不行，一直都对酒不是很感冒，每次和同事们出去吃饭，都想尽办法不喝酒。
前天晚上，一个同事办结婚喜宴，在深圳一个海鲜大酒楼里，三十多桌。那帮人是相当的疯，逃都逃不掉，被灌的晕晕乎乎的。星期一过来上班，发现好多同事都没 来，一问才知道，原来那家酒店的饭菜有问题，好多同事吃完喜宴回去之后都是上吐下泻，好几个都住进医院了，而我们这些喝晕的，几乎都没事。于是乎我们猜， 应该是我们喝酒喝多了，酒精多了，把那些病毒在胃里都杀掉了。如此说来，吃饭喝点酒还是有好处的。......
显示全文...