基于用户access log分析的实时监控与数据统计系统的设计与实现.doc

摘要:本文旨在为客户提供一套可以嵌入客户系统的架构系统，该系统默认部署平台为Linux（默认内核等级大于等于2.6）系统，数据处理处采用python语言设计，涉及服务器、服务器开发技术框架和开源技术有flask、diesel、pandas、SQLalchemy、Tengine、nginx模块、mysql、redis等等。

实现实时监控调用接口的用户的用户行为，当客户调用银行的服务器API接口时，记录日志，并通过一定的算法对对用户数据信息和用户行为信息进行统计分析、标记用户，达到为的业务人员提供直观的参考数据，以应对如识别机器人、恶意刷单、恶意重复操作、非法操作等各种相关的用户风险行为。

关键词：access log；Python；diesel;用户标记；监控；数据

目录

摘要

Abstract

1 绪论-1

1.1 课题研究背景-1

1.2 系统开发目标-1

1.3 论文组织结构-1

2 需求分析-2

2.1 可行性分析-2

2.1.1 技术可行性-2

2.1.2 操作可行性-2

2.1.3 经济可行性-2

2.1.4 社会可行性-2

2.2 系统需求分析-2

2.2.1 系统功能需求-2

2.3 核心技术分析-3

2.3.1 语言-3

2.3.2 Tengine服务器（nginx）-4

2.3.3 diesel-4

2.3.4 flask-5

2.3.5 pandas-5

2.3.6 tornado-5

3 系统架构概要设计-6

3.1 系统架构总体设计-6

3.1.1 系统数据流程图-6

3.1.2 系统架构功能-7

3.2 功能模块设计-7

3.2.1 Reverse proxy server-8

3.2.2 logagent_server-8

3.2.3 storeagent_server-8

3.2.4 report_server-8

3.2.5 数据库操作model模块-8

3.2.6系统自动化部署模块-8

4 详细设计及实现-9

4.1 系统架构详细设计-9

4.2 功能模块详细设计-10

4.2.1 log_server-10

4.2.2 store_server-11

4.2.3 report_server-11

4.3 数据库与数据字段详细设计-16

4.4系统开发环境需求-17

5 系统测试-17

5.1 Report server-17

结    论-22

参 考 文 献-23

致    谢-24