当前位置:首页 > 应用展示 > 平台与工具 > 自研软件

软件信息

软件名称: LogPattern
发表日期: 2016-11-29
软件描述: LogPattern程序是针对Linux系统日志进行日志模式提炼的程序,它通过建立树形结构的方法对日志记录进行匹配,并使用剪枝算法缩减规模,将原本庞大的系统日志记录转化为较小规模的日志句式模式集合。该集合包含输入日志记录中所有出现过的日志类型,系统维护人员可以通过观察这些句式模式来确定值得关注的日志类型,并制定相应的处理规则。
LogPattern程序已被包含在中科院超级计算环境的网格环境日志分析框架中。
软件类型:
资源下载: LogPattern.zip   下载:请先登录
相关图片:

软件详述:

 

LogPattern使用手册

 

中国科学院计算机网络信息中心 高性能计算部

 

赵一宁

 

 

 

本程序为提炼系统日志句式模式功能的JAVA开源实现。

 

功能说明

 

系统日志作为Linux系统syslog服务的输出文件,记录了系统中各种事件和重大变动,对于系统维护起到重要作用。然而系统日志记录的日志数量通常较为庞大,且包含大量并不值得关注的普通日志,不利于维护人员查看和发掘关键信息。同时系统日志采用英文句子作为主体内容,具有人类可读、重要信息位置不规则的特点,不利于计算机直接查询。

 

本程序将含有系统日志格式内容的文件作为输入文件,通过建立匹配树和对相同子树剪枝的方法,将大量的系统日志提炼为一个相对较小的句式模式集合。该集合含有输入文件中所有出现过的日志类型,每种类型仅由一个句式模式代表。系统维护人员可以通过提炼过的句式模式集合确定系统过往出现过的事件类型,并有针对性的为特定类型日志制定处理办法或响应规则。

 

本程序已被用于网格环境日志分析框架(LARGE)中,为中科院超级计算环境的运行维护起到积极作用。

 

 

运行环境

 

本程序需要在配置了JAVALinuxWindows环境中运行。

 

 

编译打包

 

解压并进入程序主目录后,执行以下命令进行编译:

 

执行cd ../..返回程序主目录,执行以下命令可将程序打包为可执行jar包:

 

输入文件

 

本程序的输入文件为存有系统日志文件的文件夹(输入文件可为复数)。系统日志每行内容需满足“时间 主机地址 进程名 日志主体”格式。

 

 

用法说明

 

执行本程序前请将需要提炼句式模式的系统日志文件(如messagessecure等)放入一个空文件夹中,然后在命令行模式下在LP.jar所在文件夹输入:

 

程序成功运行结束后,将在LP.jar所在的文件夹生成一个名为“LogPatterns”的文件,内容即为提炼出的句式模式集合,可使用任意文本编辑程序打开该文件。

 

注意事项

 

如果系统日志数量过于庞大,建议首先过滤掉日志文件中的常见普通日志。

 

由于换行符不一致的原因,建议不要使用windows系统的记事本程序(NotePad)直接打开输出文件LogPatterns。可以使用写字板程序(WordPad)或Office软件中的Word程序作为windows环境下的替代。

 

 

 

 

共有0条评论最新评论