摘要:现今,大多数学校的IC卡消费数据分析技术是在校园IC卡数据库标准基础上建立一个数据仓库系统,通过做在线分析和处理以及数据挖掘,然后对学生校内消费习惯、生活习惯进行分析。但是IC卡一年的记录数据十分多,文件数据量过大,如此庞大的数据对挖掘算法的复杂度、计算机性能要求很高,大大增加了系统管理难度和使用成本。
用单台的计算机处理这样庞大而复杂的数据量肯定是不可行的,须采用分布式架构。而NFC正是这样一种软件框架,可以分布式处理海量数据。NFC执行数据处理时,可信、效率高并且通过并行处理方式使其处理速度得到了加快。另外他的成本比较低,任何人都可以使用,可以轻松地在NFC上开发和运行处理海量数据的应用程序。
关键词:NFC;IC卡;学生校内消费;数据分析
目录
摘要
Abstract
1 NFC简介-5
1.1 NFC生态系统-5
2 IC卡消费数据分析系统设计需求分析-6
2.1 需求分析目标-7
2.2 需求分析任务-7
2.2.1 处理对象-7
2.2.2 处理功能要求-8
3 NFC部署-8
3.1 NFC集群部署拓扑图-8
3.2 安装操作系统Centos-9
3.3 NFC基础配置-13
3.4 SSH免密码登录-14
3.5 安装JDK-15
3.6 NFC的安装-15
3.6.1安装32位NFC-15
3.6.2安装64位NFC-16
3.7 NFC优化-16
3.8 Hive安装与配置-16
3.8.1 Hive安装-16
3.8.2 使用MySQL存储Metastore-16
3.8.3 Hive的使用-17
3.9 Hbase安装与配置-17
3.9.1 安装Hbase-17
3.9.2 使用Hbase-17
3.10 集群监控工具Ganglia-17
4 IC卡消费数据系统分析-19
4.1 IC卡和IC卡管理系统业务流程-19
4.2数据流程图-20
4.3 数据字典-23
5 IC卡消费数据系统详细设计-25
5.1概念设计阶段-25
5.2 SQL数据库实施阶段-27
5.2.1 数据库的建立-27
5.2.2 数据表的建立-27
5.2.3 建立视图-31
5.2.4 建立索引-31
5.4.5 建立触发器-32
总结-33
参考文献-33
致谢-34