Apache服务器日志Log解析

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来

一、Apache服务器日志信息组成说明

1. group-0 是一条初始的log日志信息；

2. group-1 ~ group-15 是对该条日志正则解析后的结果。

一条原始log日志： group-0 : 120.196.145.58 - - [11/Dec/2013:10:00:32 +0800] "GET /__utm.gif HTTP/1.1" 200 35 "http://easternmiles.ceair.com/flight/index.html" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36" "BIGipServermu_122.119.122.14=192575354.20480.0000;Webtrends=120.196.145.58.1386724976245806;uuid=5eb501f9-3586-4239-a15c-fe89aa14d624;userId=099;st=1" 1482 352 - easternmiles.ceair.com 794 远端主机（访客IP地址）： group-1 : 120.196.145.58 远端登录名： group-2 : - 远端用户名： group-3 : - 服务器接收请求时间： group-4 : 11/Dec/2013:10:00:32 +0800 请求的第一行（请求方式、请求的URL、请求所用协议）： group-5 : GET /__utm.gif HTTP/1.1 响应码（最后的请求状态）： group-6 : 200 返回的数据流量（以CLF格式显示的除HTTP头以外传送的字节数）： group-7 : 35 上一个访问的页面（访客来源）： group-8 : http://easternmiles.ceair.com/flight/index.html 访客浏览器信息： group-9 : Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 Cookie信息（包含uuid/userId/sessiontime）： group-10 : BIGipServermu_122.119.122.14=192575354.20480.0000;Webtrends=120.196.145.58.1386724976245806;uuid=5eb501f9-3586-4239-a15c-fe89aa14d624;userId=099;st=1 接收的字节数（包括请求头的数据，并且不能为零）： group-11 : 1482 发送的字节数（包括请求头的数据，并且不能为零）： group-12 : 352 %{X-Forwarded-For}i： group-13 : - 访问主机地址： group-14 : easternmiles.ceair.com 服务器处理本请求所用时间，以微秒为单位： group-15 : 794

二、正则解释

参考正则教程链接：Java 正则表达式 | 菜鸟教程

1.用到的正则表达式解释：

"(.+)": 字符串中用一对括号括起来的表示 一个组 "(.+)(.+)"：这个就表示 两个组，因为有两对括号 "(.+)"：括号中的 . 代表 匹配除 \r\n 之外的任何单个字符 括号中的 + 代表 一次或多次匹配前面的字符或子表达式，也就是多次匹配 . "\\s"：代表字符串中转义"\\"，最终转换成正则表达式时， 即为"\s"，代表匹配任何空白字符，包括空格、制表符、换页符等，如：\f\n\r\t\v "\\("：代表字符串中转义"\\"，转成正则时，代表 \( 即对"("的转义 这个"\\(\\)"与"()"不同： 前一个代表匹配一对括号，后一个代表匹配一个组 "\\[\\]"：代表匹配一对方括号 "[0-9.]"：代表匹配任意一位数字或者一个字符，与上一个例子不同 "[0-9.]+\\s"：代表匹配任意多位数字或者多个字符，并以空白字符结尾 "[^0-9]"：用"^"尖角代表除0-9的任意一个字符 "\\[([^\\[\\]]+)\\]\\s"：代表匹配以"["开头，以"]"和空白字符结尾的一串字符 其中字符是除了"["、"]"方括号以外的任意多个字符

2.将需要匹配的日志信息和浏览器信息字符串，及对应的正则匹配字符串，按组（一行一组）拆分如下：

2.1.日志解析：

待解析的一条日志：（Java字符串） String LOG = "120.196.145.58 " + "- " + "- " + "[11/Dec/2013:10:00:32 +0800] " + "\"GET /__utm.gif HTTP/1.1\" " + "200 " + "35 " + "\"http://easternmiles.ceair.com/flight/index.html\" " + "\"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36\" " + "\"BIGipServermu_122.119.122.14=192575354.20480.0000;Webtrends=120.196.145.58.1386724976245806;uuid=5eb501f9-3586-4239-a15c-fe89aa14d624;userId=099;st=1\" " + "1482 " + "352 " + "- " + "easternmiles.ceair.com " + "794"; 使用的正则表达式：（Java字符串） String APACHE_LOG_REGEX = "^([0-9.]+)\\s" +"([\\w.-]+)\\s" +"([\\w.-]+)\\s" +"\\[([^\\[\\]]+)\\]\\s" +"\"((?:[^\"]|\\\")+)\"\\s" +"(\\d{3})\\s" +"(\\d+|-)\\s" +"\"((?:[^\"]|\\\")+)\"\\s" +"\"((?:[^\"]|\\\")+)\"\\s" +"\"(.+)\"\\s" +"(\\d+|-)\\s" +"(\\d+|-)\\s" +"(\\d+|-)\\s" +"(.+)\\s" +"(\\d+|-)$";

2.2.浏览器解析： 

待解析的一条浏览器信息 String userAgentStr = "\"Mozilla/5.0 " +"(Windows NT 6.1; WOW64) " +"AppleWebKit/537.36 " +"(KHTML, like Gecko) " +"Chrome/31.0.1650.63 " +"Safari/537.36\" "; 用户浏览器信息匹配正则：（Java字符串） String USER_AGENT_REGEX = "^(.+)\\s" +"\\((.+)\\)\\s" +"(.+)\\s" +"\\((.+)\\)\\s" +"(.+)\\s" +"(.+)$";

 

三、代码实现

1. 将原书中的日志解析代码从Mapper类中抽离了出来，封装成独立的功能，供Mapper调用。

2. LogParser类设计成了单例模式，以便重复使用此对象，减少由不断创建对象带来的开销。

3. 代码中有测试用例，可直接运行。

4. 其中的IP解析类在上篇博文：利用纯真IP数据库解析IP地址位置信息

package com.etl.utls; import java.text.DateFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.HashMap; import java.util.Locale; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; import com.etl.utls.IpParser; public class LogParser { //Apache服务器日志信息的正则表达式 private static final String APACHE_LOG_REGEX = "^([0-9.]+)\\s([\\w.-]+)\\s([\\w.-]+)\\s\\[([^\\[\\]]+)\\]\\s\"((?:[^" + "\"]|\\\")+)\"\\s(\\d{3})\\s(\\d+|-)\\s\"((?:[^\"]|\\\")+)\"\\s\"((?:" + "[^\"]|\\\")+)\"\\s\"(.+)\"\\s(\\d+|-)\\s(\\d+|-)\\s(\\d+|-)\\s(.+)\\" + "s(\\d+|-)$"; //用户浏览器信息的正则表达式 private static final String USER_AGENT_REGEX = "^(.+)\\s\\((.+)\\)\\s(.+)\\s\\((.+)\\)\\s(.+)\\s(.+)$"; //测试日志一条 public static final String LOG = "120.196.145.58 " + "- " + "- " + "[11/Dec/2013:10:00:32 +0800] " + "\"GET /__utm.gif HTTP/1.1\" " + "200 " + "35 " + "\"http://easternmiles.ceair.com/flight/index.html\" " + "\"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " + "Chrome/31.0.1650.63 Safari/537.36\" " + "\"BIGipServermu_122.119.122.14=192575354.20480.0000;Webtrends=120.196.145.58.1386724976245806;" + "uuid=5eb501f9-3586-4239-a15c-fe89aa14d624;userId=099;st=1\" " + "1482 " + "352 " + "- " + "easternmiles.ceair.com " + "794"; public static final String CANNOT_GET = "can not get"; //需要解析的字段 private String ipAddress = null; //ip地址 private String uniqueId = null; //uuid private String url = null; //访问的url地址 private String sessionId = null; //会话id private String sessionTimes = null; //服务器响应时间 private String areaAddress = null; //国家 private String localAddress = null; //地区 private String browserType = null; //浏览器类型 private String operationSys = null; //操作系统 private String referUrl = null; //访问的上一个页面url private String receiveTime = null; //服务器接收请求时间 private String userId = null; //用户id //保存cookies信息的map private static Map<String, String> cookies = new HashMap<String, String>(); //实例化的LogParser计数 private static int count = 0; //LogParser唯一标识 private int index = 0; private LogParser() { count++; index = count; } //初始化Log解析器 private void init() { setIpAddress(CANNOT_GET); setUniqueId(CANNOT_GET); setUrl(CANNOT_GET); setSessionId(CANNOT_GET); setSessionTimes(CANNOT_GET); setAreaAddress(CANNOT_GET); setLocalAddress(CANNOT_GET); setBrowserType(CANNOT_GET); setOperationSys(CANNOT_GET); setReferUrl(CANNOT_GET); setReceiveTime(CANNOT_GET); setUserId(CANNOT_GET); cookies.clear(); } /* * 解析一条log日志 * * @param log 一条日志 */ public void parse(String log) { //初始化Log解析器 init(); String ipStr = null; String receiveTimeStr = null; String urlStr = null; String referUrlStr = null; String userAgentStr = null; String cookieStr = null; String hostNameStr = null; //正则解析日志 Pattern pattern = Pattern.compile(APACHE_LOG_REGEX); Matcher matcher = pattern.matcher(LOG); if (matcher.find()) { // for (int i = 0; i <= matcher.groupCount(); i++) { // System.out.println("group-" + i + " : " + matcher.group(i)); // } //根据正则表达式将日志文件断开 ipStr = matcher.group(1); //远端主机（访客IP地址） receiveTimeStr = matcher.group(4); //服务器接收请求时间 urlStr = matcher.group(5); //请求的第一行（请求方式、请求的URL、请求所用协议） referUrlStr = matcher.group(8); //上一个访问的页面（访客来源） userAgentStr = matcher.group(9); //访客浏览器信息 cookieStr = matcher.group(10); //Cookie信息（包含uuid/userId/sessiontime） hostNameStr = matcher.group(14); //访问主机地址 //保存IP地址 ipAddress = ipStr; //解析IP地址 IpParser ipParser = new IpParser(); try { //根据IP地址得出所在区域 areaAddress = ipParser.parse(ipStr).split(" ")[0]; localAddress = ipParser.parse(ipStr).split(" ")[1]; } catch (Exception e) { e.printStackTrace(); } //格式化请求接受时间 DateFormat df = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss Z",Locale.US); try { Date date = df.parse(receiveTimeStr); //将时间转换为字符串 receiveTime = Long.toString(date.getTime()); } catch (ParseException e) { e.printStackTrace(); } //将url中的无效字符串丢弃 urlStr = urlStr.substring(5); //重新拼装成url字符串 url = hostNameStr + urlStr; //解析用户浏览器信息 pattern = Pattern.compile(USER_AGENT_REGEX); matcher = pattern.matcher(userAgentStr); if (matcher.find()) { // for (int i = 0; i <= matcher.groupCount(); i++) { // System.out.println("group-" + i + " : " + matcher.group(i)); // } //获取浏览器类型 browserType = matcher.group(5); //获取操作系统类型 operationSys = matcher.group(2).split(" ")[0]; } //保存上一个页面url referUrl = referUrlStr; //HashMap保存cookie信息 String[] strs = cookieStr.split(";"); for (int i = 0; i < strs.length; i++) { String[] kv = strs[i].split("="); String keyStr = kv[0]; String valStr = kv[1]; cookies.put(keyStr, valStr); } //获取uuid信息 uniqueId = cookies.get("uuid"); //获取账号信息 userId = cookies.get("userId"); //如果没有获取成功，说明用户没有登录 if (userId == null) { userId = "unlog_in"; } //获取sessionTimes sessionTimes = cookies.get("st"); //拼装成sessionId sessionId = uniqueId + "|" + sessionTimes; } } public String getIpAddress() { return ipAddress; } public void setIpAddress(String ipAddress) { this.ipAddress = ipAddress; } public String getUniqueId() { return uniqueId; } public void setUniqueId(String uniqueId) { this.uniqueId = uniqueId; } public String getUrl() { return url; } public void setUrl(String url) { this.url = url; } public String getSessionId() { return sessionId; } public void setSessionId(String sessionId) { this.sessionId = sessionId; } public String getSessionTimes() { return sessionTimes; } public void setSessionTimes(String sessionTimes) { this.sessionTimes = sessionTimes; } public String getAreaAddress() { return areaAddress; } public void setAreaAddress(String areaAddress) { this.areaAddress = areaAddress; } public String getLocalAddress() { return localAddress; } public void setLocalAddress(String localAddress) { this.localAddress = localAddress; } public String getBrowserType() { return browserType; } public void setBrowserType(String browserType) { this.browserType = browserType; } public String getOperationSys() { return operationSys; } public void setOperationSys(String operationSys) { this.operationSys = operationSys; } public String getReferUrl() { return referUrl; } public void setReferUrl(String referUrl) { this.referUrl = referUrl; } public String getReceiveTime() { return receiveTime; } public void setReceiveTime(String receiveTime) { this.receiveTime = receiveTime; } public String getUserId() { return userId; } public void setUserId(String userId) { this.userId = userId; } public int getIndex() { return index; } /* * 测试 */ public static void main(String[] args) { //获取日志解析对象 LogParser logParser = new LogParser(); //解析测试用例日志 logParser.parse(LogParser.LOG); String mapOutKey = logParser.getSessionId() + "&" + logParser.getReceiveTime(); String mapOutValue = logParser.getIpAddress() + "\n" + logParser.getUniqueId() + "\n" + logParser.getUrl() + "\n" + logParser.getSessionId() + "\n" + logParser.getSessionTimes() + "\n" + logParser.getAreaAddress() + "\n" + logParser.getLocalAddress() + "\n" + logParser.getBrowserType() + "\n" + logParser.getOperationSys() + "\n" + logParser.getReferUrl() + "\n" + logParser.getReceiveTime() + "\n" + logParser.getUserId(); System.out.println("mapOutKey: " + mapOutKey + "\nmapOutValue: " + mapOutValue); } }