package DataCollection;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.sql.Connection;
import java.sql.Statement;
import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Date;
import java.util.List;
import java.util.Properties;
import Entity.LogRecord;
import Entity.MatchedRecord;
import Util.JDBCConnection;
/**
* 责采集环境的处理与数据采集，分析处理。所有的采集任务有该类完成， 主要获取本机IP，复制备份并清空日志文件，读取日志文件，解析日志文件，
* 匹配处理日志登录/登出记录获取用户登录时间，在线用户下次匹配。
*
* @author soft01
*
*/
@SuppressWarnings("unused")
public class DataCollector {
private static ArrayList<LogRecord> logins = new ArrayList<LogRecord>();
private static ArrayList<LogRecord> logouts = new ArrayList<LogRecord>();
private static final String URL = "wtmpx200901230001";
private int day = Integer.parseInt(URL.substring(11, 13));
private static Properties pro = new Properties();
private String sourcefile = null;
/** 采集源文件名 */
private String destinationpath = null;
/** 采集源文件临时备份目录 */
private String command = null;
/** 采集源备份指令，在unix下是mv 在DOS下是move该指令还必须依赖shell */
private String historyfile = null;
/** 上次没有匹配的文件名，不含路径，路径采用destinationpath */
/**
* 读取初始化配置文件unix_server.properties
*
* @throws
*
*/
public void init() {
File f = null;
try {
f = new File("unix_server.properties");
pro.load(new FileInputStream(f));
} catch (FileNotFoundException e1) {
System.out.println("配置文件未找到！" + f.getPath());
System.exit(0);
} catch (IOException e2) {
System.out.println("配置文件加载失败！");
System.exit(0);
}
}
/**
* 读取要采集服务器的IP，该IP用属性文件配置。
*
* @return 返回属性文件中配置的本机的IP地址数据
*/
public String getNativeIP() {
String ip = pro.getProperty("ip");
return ip;
}
/**
* 负责调用Runtime执行mv shell指令进行日志文件的备份并清空原始文件。
* 备份的文件名wtmpx+年(4位)+月（2位）+日（2位）+时（2位）， 比如wtmpx2008053013.
*
* @return 返回的是采集数据源的备份文件（包含路径）
*/
public String initlog() throws IOException {
// 获取日期时间，并格式化，便于文件备份使用
Date date = new Date();
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyyMMddHHmm");
String time = simpleDateFormat.format(date);
// 得到采集的数据目录，在unix服务器上是/usr/adm
sourcefile = pro.getProperty("sourcefile");
System.out.println(sourcefile);
destinationpath = pro.getProperty("destinationpath");
command = pro.getProperty("command");
historyfile = pro.getProperty("historyfile");
sourcefile = (sourcefile == null) ? "/home/soft01/DMS/bin/adm/wtmpx"
: sourcefile;// 采集源路径没有设置，则用usr/adm作为缺省路径。
destinationpath = destinationpath == null ? "/home/soft01/DMS/bin/history/"
: destinationpath;// 备份路径没有设置，则备份到当前路径。
command = command == null ? "mv" : command;
String destfile = "wtmpx" + time;// 备份文件名
String cmdstr = command + " " + sourcefile + " " + destinationpath
+ destfile;
System.out.println(cmdstr);
// 判定源是否存在
if (!new File(sourcefile).exists()) {
System.out.println("采集源不存在！");
throw new IOException("采集源不存在！");
}
// 判定目标目录是否存在，不存在就创建。
File tmpdestpath = new File(destinationpath);
if (!tmpdestpath.exists()) {
tmpdestpath.mkdirs();
}
Runtime r = Runtime.getRuntime();
try {
// 内部指令不能单独启动一个进程,必须依赖shell
// 请参考DOS的cmd 与 Unix的sh
Process p = r.exec(cmdstr);
p.waitFor();// 等待指令执行完毕,否则后面打开文件的时候,报文件不存在异常.
} catch (IOException e) {
e.printStackTrace();
System.out.println("采集源备份错误!");
throw new IOException("采集源备份错误!");
} catch (InterruptedException e) {
System.out.println("采集源备份过程出错!");
throw new IOException("采集源备份过程出错!");
}
return destinationpath + destfile;
}
/**
* 主要把备份的日志文件映射为本地内存缓冲，便于后面解析。
*
* @param fileName
* @return 本地文件映射缓冲MappedByteBuffer
*/
public MappedByteBuffer mappingLogBuffer(String fileName) {
return null;
}
/**
* 负责解析缓冲的内存结构，利用参数返回两个Vector结构对象， 一个存放登录数据，一个存放登出数据。
*
* @param logbuffer
* 要解析的本地内存缓冲。
* @param logins
* 返回解析后的登录数据。
* @param logouts
* 返回解析后的登出数据
*/
public void parseLogBuffer(MappedByteBuffer logbuffer,
ArrayList<LogRecord> logins, ArrayList<LogRecord> logouts) {
}
@SuppressWarnings("unchecked")
public void loginsMatch(){
// 获取上次未匹配的登录数据
ObjectInputStream ois = null;
File f = null;
try {
f = new File("logouts.txt");
ois = new ObjectInputStream(new FileInputStream(f));
logins.addAll((ArrayList<LogRecord>) ois.readObject());
//上面未抛出异常就表示数据已加载完毕，就必须删除此文件，防止下次数据重合
f.delete();
} catch (FileNotFoundException e) {
System.out.println("文件未找到！");
return;
} catch (Exception e) {
e.printStackTrace();
} finally {
if (ois != null) {
try {
ois.close();
} catch (IOException e) {
}
}
}
}
public void collect() {
loginsMatch();
DataCollector data = new DataCollector();
String labip = data.getNativeIP();
RandomAccessFile file = null;
try {
file = new RandomAccessFile("/home/soft01/DMS/bin/history/" + URL,
"r");
while (file.getFilePointer() < file.length()) {
byte[] ut_user = new byte[32];
file.read(ut_user);
String userName = new String(ut_user);
file.read(new byte[4]);
byte[] ut_line = new byte[32];
file.read(ut_line);
String deviceName = new String(ut_line);
int pid = file.readInt();
short type = file.readShort();
file.read(new byte[2]);
file.read(new byte[2]);
file.read(new byte[2]);
int ut_second = file.readInt();
int ut_msecond = file.readInt();
long time = ut_second * 1000L + ut_msecond;
file.read(new byte[4]);
file.read(new byte[20]);
file.read(new byte[2]);
byte[] bip = new byte[257];
file.read(bip);
String userip = new String(bip).trim();
file.seek(file.getFilePointer() + 1);
if ((type != 7 && type != 8) || userName.startsWith(".")
|| deviceName.startsWith("ftp")) {
continue;
} else if (type == 7) {
logins.add(new LogRecord(userName, pid, time, labip, type,
userip));
} else if (type == 8) {
logouts.add(new LogRecord(userName, pid, time, labip, type,
userip));
}
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (file != null) {
try {
file.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
matchData(logins, logouts);
}
public void matchData(ArrayList<LogRecord> logins,
ArrayList<LogRecord> logouts) {
List<MatchedRecord> matches = new ArrayList<MatchedRecord>();
LogRecord logout = null;
for (int i = 0; i < logouts.size(); i++) {
logout = logouts.get(i);
LogRecord login = null;
for (int j = 0; j < logins.size(); j++) {
login = logins.get(j);
if (login.getPid() == logout.getPid()
&& login.getUserIP().equals(logout.getUserIP())) {
long duration = logout.getTime() - login.getTime();
if (duration < 0) {
logouts.remove(logout);
} else {
MatchedRecord match = new MatchedRecord();
match.setUserIP(login.getUserIP());
match.setLabIp(logout.getLabip());
match.setUserName(logout.getUserName());
match.setLoginTime(login.getTime());
match.setLog
格式：zip 资源大小：189.2KB
important-java （1508个子文件） 
DataCollector.class 11KB ActionServlet.class 8KB ActionServlet.class 7KB BasicIntegrateImpl.class 7KB AjaxHandlerServlet.class 5KB TokenUtil.class 4KB TokenUtil.class 4KB ComputerClient.class 4KB JDBCConnection.class 4KB JDBCConnection.class 4KB UserQuery.class 3KB ActionServlet.class 3KB Customer.class 3KB UserAction.class 3KB UserAction.class 3KB OrderClient.class 3KB BankServiceAspect.class 3KB ActionServlet.class 3KB userDao.class 3KB IPLogServlet.class 3KB ClientPhoto.class 3KB Controller.class 3KB UserForm.class 2KB TokenAction.class 2KB ClientUser.class 2KB StockDAOJdbcImpl.class 2KB ResultViewer.class 2KB ResultViewer.class 2KB RoadVehicle.class 2KB StockProcessAction.class 2KB CookieCounterServlet.class 2KB ComputerDao.class 2KB StockServiceImpl.class 2KB Order.class 2KB AccountMgmtBeanRemote.class 2KB CustomerDAOJdbcImpl.class 2KB Controller.class 2KB PropertyTag.class 2KB RoadVehicleMgmtBean.class 2KB ControllerServlet.class 2KB OrderDao.class 2KB TicketDaoOptimistical.class 2KB UserDao.class 2KB IntegrationByClient.class 2KB CustomerDAOJdbcImpl2.class 2KB RegisterAction.class 2KB User.class 2KB User.class 2KB ModifyAction.class 2KB StudentBi.class 2KB CourseBi.class 2KB CompanyBi.class 2KB TaxingBeanTest.class 2KB CompanyUni.class 2KB SessionCounterServlet.class 2KB StockServiceImpl.class 2KB UserBeanTag.class 2KB StockServiceImpl.class 2KB Member.class 2KB AddStyleFilter.class 2KB DataIntegratorTh.class 2KB User1.class 2KB StockServiceImpl.class 2KB StockDAOHibernateImpl.class 2KB StockDAOHibernateImpl.class 2KB User.class 2KB Counter.class 2KB SystemAction.class 2KB Employee.class 2KB Item.class 2KB Account2MgmtBean.class 2KB JdbcTemplate.class 2KB StockDAOHibernateImpl.class 2KB loginAction.class 2KB AdminDaoImpl$1.class 2KB Passenager.class 2KB User1MgmtBean.class 2KB AdminDaoImpl$1.class 2KB StockBean.class 2KB Account1MagementBean.class 2KB LoadAction.class 2KB ServerTimeServlet.class 2KB UserDaoClient.class 2KB Course.class 2KB ImageTokenServlet.class 2KB TestJsonTools.class 2KB ImageTokenServlet.class 2KB UserDao$1.class 2KB AJaxServlet.class 2KB UserDao$3.class 2KB LogRecord.class 2KB MatchedRecord.class 2KB JsonDistrictServlet.class 2KB StudentBiMgmtBean.class 2KB UserLog.class 2KB XmlDistrictServlet.class 2KB EmployeeBi.class 2KB CheckAdvice.class 2KB loginAction.class 2KB TestThread.class 2KB共 1508 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16
资源评论
lxw_happy
- 粉丝: 15
最新资源
- 高阶逻辑定理证明：第15届国际会议论文集
- (源码)基于CC++编程语言的简易操作系统.zip
- (源码)基于意图识别的假肢控制系统.zip
- (源码)基于ARM CortexM处理器的迷宫游戏开发.zip
- (源码)基于编程语言的Smart Utility Vehicle.zip
- 基于 MAX78000 与 SSD 目标检测网络的猫咪识别喂食器：借助单片机 CNN 加速器实现神经网络计算
- (源码)基于Python和DGL的图计算实验框架MyPaGraph.zip
- 从零开始设计并训练神经网络，助你透彻理解它
- (源码)基于Python的JSON数据图形化展示系统.zip
- (源码)基于Arduino的传感器读取系统.zip
- 电气工程手册：计算机与数字设备精华
- (源码)基于Arduino框架的IoT环境监控系统.zip
- (源码)基于Python的模拟村庄发展项目-村庄模拟器.zip
- (源码)基于Keil C51编程语言的MCS52单片机打地鼠游戏.zip
- 基于基于常用 CNN 神经网络实现超 30 万条手写数学符号识别
- (源码)基于C++的太阳能飞机控制系统.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
