|
|
[摘要] 近年来，随着Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于www在全球互连互通，可以从中取得的数据量难以计算，而且www的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在www这个全球最大的数据集合中发现有用信息正在成为数据挖掘研究的热点。
[关键词] web 数据挖掘 电子商务
一、引言
随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业的应用，使海量数据不断产生。随之而来的问题是如此多的数据让人难以消化，无法从表面上看出他们所蕴涵的有用信息。如何从大量的数据中找到真正有用的信息成为人们关注的焦点，数据挖掘技术也正是伴随着这种需求从研究走向应用。
近年来，随着Internet/Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet/WWW在全球互连互通，可以从中取得的数据量难以计算，而且Internet/WWW的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在WWW这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究的热点。
二、Web挖掘概述
数据挖掘就是从数据库中抽取隐含的、以前未知的、具有潜在应用价值的信息的过程。Web挖掘是将数据挖掘的思想和方法应用到Web页面内容、页面之间的结构、用户访问信息等各种Web数据中，从中抽取隐含的、以前未知的、具有潜在应用价值的信息。Web挖掘对在浩瀚的网络中发现有价值的知识、改进网站设计、提供更好的网上服务有重要的作用。
Web挖掘是针对包括Web页面内容，页面之间的结构，用户访问信息等在内的各种Web数据源。在一定基础上应用数据挖掘的方法以发现有用的隐含的知识的过程。Web挖掘与传统的数据挖掘相比有其自身的特点。Web本身是半结构化或无结构的数据，缺乏机器可理解的语义,Web挖掘的对象是大量，异质，分布的Web文档，对Web服务器上的日志、用户信息等数据所开展的挖掘工作也属于Web数据挖掘的范畴。Web信息的多样性决定了挖掘任务的多样性。按照Web处理对象的不同,一般将Web挖掘分为三类: Web内容挖掘，Web结构挖掘和Web使用记录挖掘。
1.Web内容挖掘
Web内容挖掘是指对Web页面及后台交易数据库进行挖掘，从Web文档内容及其描述中的内容信息中获取有价值的知识的过程。它是数据挖掘技术在网络信息处理上的应用，主要方法有IR（information retrieve）和数据库方法。它又可分为Web文本挖掘和Web多媒体挖掘两种数据挖掘方式。Web内容挖掘多为这种方式的挖掘，它和平常的平面文本挖掘的功能及方法比较类似。Web文档多为HTML、XML等自然语言，因此可利用Web文档中的标记，利用这些信息可以提高Web文本挖掘的性能。在对Web文档进行分类分析中，可以基于一组预先分好的文档为每一类文档赋予一个类标签。由于超链接里包括了有关页面内容的高质量信息，因此可以利用这些信息对文档进行分类，并且这种分类比基于关键字的分类更加准确。随着网络带宽的扩大，多媒体信息在网上迅速增加，这对Web内容挖掘提出了新的要求。Web多媒体挖掘的挖掘主要是指基于音频的挖掘、基于图片的静态图像的挖掘和基于视频的动态图像的挖掘。
2.Web结构挖掘
Web结构挖掘是对Web的组织结构和链接关系进行挖掘，从人为的链接关系中获得有价值的知识。由于文档之间互连，WWW能提供除文档内容以外的有用信息。Web结构挖掘通过分析一个网页链接和被链接的网页数量和对象，建立Web自身的链接结构模式。这种模式可以用于网页分类，并由此获得有关不同页面间的相似度和关联度的信息。Web页面除了包含页面以外还包括一个页面指向另一个页面的超链接。超链接里包含大量人类潜在的语义，它可用于分析出权威性语义。当一个Web页面的作者建立指向另一个页面的指针时，可以看作是作者对另一个页面的注解，即对另一个页面的认可。把一个页面的来自不同作者的注解收集起来，可以用来反应页面的重要性。这样，Web结构挖掘有助于用户找到相关主题的权威站点。
3.Web使用记录挖掘
Web使用记录挖掘是对用户访问Web时在服务器上留下的访问记录进行挖掘。它通过挖掘Web日志文件及其相关数据来发现用户访问Web页面的模式，主要技术有Cookies和远程Agent技术。Web使用记录挖掘的对象不是网上的原始数据而是从用户和网络交互过程中抽取出来的二手数据。服务器上的日志文件包括所请求的URL、发送请求的IP和时间，这些日志提供了有关Web动态的丰富信息。因此提取用户留下的这些日志文件进行Web挖掘，提取有关用户的知识，对用户的访问行为、频度、内容进行分析，得到关于用户的行为和方式的模式，从而改进站点的结构，或为用户提供个性化服务。对用户使用记录进行挖掘的方法主要有两种。一种方法是通过对日志文件进行分析，包含两种方式，一是访问前先进行预处理，即将日志数据映射为关系表采用相应的数据挖掘技术，如关联规则或聚类规则来访问日志文件。二是对日志文件直接进行访问以获取用户的导航信息。二是通过对用户的点击事件的收集和分析来发现用户的导航行为。
三、Web挖掘的主要技术
Web数据挖掘中常用的技术有路径分析技术、关联规则、序列模式、分类聚类技术等。
1.关联规则挖掘技术
该技术主要用于从学习者访问序列数据库的序列项中挖掘出相关的规则。在Web数据挖掘中，关联规则挖掘就是要挖掘出学习者在一个访问期间(Session)从服务器问的页面/文件之间的联系，这些页面之间可能并不存在直接的参引(Reference) 关系。在网络日志数据的预处理过程中，将学习者访问的页面路径构成了学习者会话事务集，可以通过关联规则挖掘得到大量的学习者访问请求的URL之间的联系，并将挖掘出的规则按照不同的支持度和置信度进行取舍，从而保留一些有用的规则进行应用。
2.序列模式挖掘技术
序列模式数据挖掘就是要挖掘出交易集之间的有时间序列的模式。在网站服务器日志里，学习者的访问是以一段时间为单位记载的。经过数据净化和事件交易确认以后是一个间断的时间序列，这些序列反映了学习者一定的行为。在网络日志文件的预处理过程中，抽取了学习者对于每个URL浏览所耗用的时间，这种元数据从侧面描绘出每个学习者对于页面上承载的知识点的理解程度和思考难度，引用时间长的证明此页面承载的知识点比较难于理解。通过分析可以得出学习者对特定知识点的掌握程度。但由于网路线路的原因，致使学习者在提出URL请求后，很长时间才将相应的网页打开，所以这种由日志中记录的浏览时间所分析出的各种模式规则并不一定真实反映学习者的学习过程，所以我们利用序列模式挖掘方式预测出学习者后续要访问的页面集，然后将此页面集中的URL预先下载到本地计算机的缓存中去，从而降低了页面的打开时间，也就使得浏览时间的准确性和有效性得到了很大的提高。这种Web页面的预取技术是利用序列模式挖掘方法来实现的。
3.聚类分类技术
聚类技术可以将具有相同特征的数据项聚成一类。聚类分析模式就是将数据划分到不同的组或者簇中，组之间的差别尽可能的大，组内的差别尽可能的小，与一般认为通过学习者的固定信息进行的分类分析不同，聚类前并不知道将要划分成几个组和什么样的组，完全依靠服务器智能化的计算得出，因此聚类分析也可以称为无监督分类。通过聚类得出不同的类后，一旦某学习者的特征模式符合某个类后，推荐引擎自动将此学习者尚未访问的页面或者尚未进行的测试与练习推荐给学习者。这样就可以智能化地将处在不同学习阶段的学习者得到此类应该获得的学习和测试进程。 |
|
发表于 2018-8-20 16:36:16