数据仓库及数据挖掘技术在烟草CRM中的应用
【夏朱华】【烟草在线】
1,引言
随着数据库技术,网络技术的不断发展及数据库管理系统的广泛应用,数据库中存储的数据量急剧增大.像江苏省姜堰烟草公司每天的销售记录就达五六千条,然而,如何有效地使用这些数据却成为一个问题,因为往往是数据丰富而知识缺乏,透过这些客户的销售记录我们能从中发现什么 于是客户关系管理系统(CRM)就应运而生.人们目前所使用的数据库技术无法将隐藏在数据背后的重要信息挖掘出来利用,所以如何迅速,准确,有效但适量地提供用户所需的信息,发现信息之间潜在的联系,支持管理决策就是数据挖掘和数据仓库要解决的课题,同时也是CRM系统产生的必要条件和最终目的.
2,数据仓库与数据挖掘的概念
目前业界对数据仓库的概念没有一个统一的定义,在我认为数据仓库(DataWarehouse)是集成的,稳定的,随时间变化的数据集合,用以支持管理决策系统的过程.由此可见,数据仓库是一个综合的解决方案,是对原始的操作数据进行各种处理并转换成有用信息的处理过程,它主要用来帮助业务主管部门做出更符合业务发展规律的决策,用以指导卷烟销售.数据仓库的建设需要综合应用,决策权,数据库,数理统计等多项技术.世界上许多著名公司都推出了类似的数据产品,包括Oracle,Informix,Sybase和IBM等等.目前我们的卷烟销售模式经历了从集中到分散再到集中的转变,在去年取消法人资格,集中访销的模式下,泰州分公司也正式使用了江苏省烟草电子营销管理系统,配必Oracle数据库,使系统的稳定性得到了保证.如何从庞大销售信息资料库中寻找出更有价值的信息,数据挖掘便成了烟草信息化的重要组成部分.
数据挖掘指的是从大型数据库或数据仓库中提取人们感兴趣的知识,这些知识是隐含的,事先未知的潜在有用信息.大部分的人认为数据挖掘和数据库是等价的概念.数据挖掘是随着科学技术的迅速发展,数据库规模的日益扩大以及人们对数据库中潜在信息资源的需求而迅速发展起来的.它是数据库技术,人工智能,机器学习,统计分析,模糊逻辑等学科相结合的产物.数据挖掘的对象不仅是结构化数据库,也可以是半结构化的超文本文件,甚至是非结构化的多媒体.而数据仓库上面的数据挖掘,将是数据挖掘技术应用的主流.
数据挖掘一般由数据准备,挖掘操作,结果表达和解释三个主要阶段组成.在数据准备阶段应集成多个运作数据源中的数据,解决语义模糊性,处理遗漏数据,清洗脏数据.挖掘阶段是一个假设产生,合成,修正和验证传播的过程,也是上述三个阶段的核心.结果表达和解释阶段根据最终用户的决策目的把提取的有用信息正确地表达出来.
数据挖掘的方法和技术可大致划分为三类:统计分析,知识发现,可视化技术等.统计分析用于检查异常形式的数据,然后利用统计模型和数学模型来解释这些数据,统计分析方法是目前最成熟的数据挖掘工具.而知识发现则着眼于发现大量数据记录中潜在的有用信息或新的知识,属于所谓"发现驱动"的数据挖掘技术途经.知识发现常用的方法有人工神经网络,决策树,遗传算法,模糊计算或模糊推理等.数据质量,可视化数据的能力,极大数据库尺寸,数据挖掘者的技能,数据的粒度都是影响知识发现方法的重要因素.可视化技术则采用直观的图形方式将信息模式,数据的关联或趋势呈现给决策者,决策者可以通过可视化技术交互式地分析数据关系.
由于数据仓库在规模,历史数据,数据集成和综合性,查询支持等方面都和传统的数据库有着本质的区别,所以数据仓库为数据挖掘提供了更广阔的活动空间.数据仓库完成了数据的收集,集成,存储,管理等工作,数据挖掘面对的是经初步加工的数据,使得数据挖掘更专注于知识的发现;另一方面,由于数据仓库所具有的新特点,又对数据挖掘技术提出了更高的要求.所以,数据仓库技术的发展必须和数据挖掘技术有机地结合起来.
3,数据仓库和数据挖掘技术的应用
数据仓库技术和数据挖掘技术的相互结合使得从海量的数据中进行实时的和深层次的分析成为可能,由于相关领域的技术发展及相互协同,已使数据仓库成为一项可能的实用技术.目前,对这一领域的应用研究主要集中在以下几个方面:
·面向企业决策支持系统(DSS)的数据仓库与数据挖掘技术
·基于Internet的数据仓库与数据挖掘技术
WVVW近年来已成为网络上的信息主体,人们自然就产生了将WWW和数据仓库相互转换的要求.但Web上的数据多存于HTML超文本文件中,没有严格的结构及类型定义,所以,基于Internet上的数据挖掘和基于一般数据库的数据挖掘相比有其固有的特点:①数据源是无序的,非结构化的.②数据源之间可能存在冗余,不一致甚至矛盾.③数据源具有很强的动态性.④数据多样,难以确定其粒度和维度.⑤用户目标模糊.

下一页