以文本方式查看主题

-  中文XML论坛 - 专业的XML技术讨论区  (http://bbs.xml.org.cn/index.asp)
--  『 Web挖掘技术 』   (http://bbs.xml.org.cn/list.asp?boardid=69)
----  [转帖]weka使用心得  (http://bbs.xml.org.cn/dispbbs.asp?boardid=69&rootid=&id=56046)


--  作者:DMman
--  发布时间:11/26/2007 10:02:00 PM

--  [转帖]weka使用心得
不知觉又来到了叶子的博客(http://www.langtech.org.cn/html/07/507.html)。再次给自己带来了不少的收获。每次在浏览别人的精彩博文的时候,总不忘转载几篇精华,让自己让大家共同欣赏之!这次,看到叶子对SVM竟然写出了六篇关于SVM的连载!甚感佩服!同时感觉这篇“weka使用以及学习心得”很不错!特转载如下:#此前在首页部分显示#

首先简单介绍一下weka,Weka是基于java,用于数据挖掘和知识分析一个平台。来自世界各地的java爱好者们都可以把自己的算法放在这个平台上,然后从海量数据中发掘其背后隐藏的种种关系;开发并投入使用两年左右的时间,但是已经是很多人受益,特别是摆脱了繁重的海量数据。

  1。安装

我安装的是weka-3-4-10jre,虽然有3。5的版本,但是我们一般校园使用已经足够。安装方法很简单,并且继承了java 运行环境,不用担心任何配置。版本据说提供了function接口,并且支持反编译。用户可用性以及扩展性很强。

  2。操作环境

  安装完成,运行weka图标(那只火鸟,也是weka名称的由来),出现一个小型的GUI,提供了四种操作环境:CLI,Explorer,Experimenter,knowledgeflow。

  其实四种操作基本原理都大同小异,只是提供的environment不一样。看自己平时熟悉使用什么,比如喜欢直接用代码的朋友一定热衷于:CLI,喜欢图标的倾情于:Knowledgeflow,通常功能形控制的:explorer,experimenter感觉和explorer类似,致使支持格式不一样。

  3.一般我们重点使用explorer:

  打开后,我们可以看到顶层的六个标签,分别是:Preprocess、Classify、Cluster、Associate、 Select attributes、Visualize。在preprocess里面有个open控件,是用来打开sourcefile的,weka支持的文档格式为.arff,其实是一个文本数据集。也支持URL或者DB打开方式,并且支持数据转换。

打开数据文件后,可以使用Filter进行一下过滤,相当于“预处理的预处理”。Filter提供了许多算法来过滤数据,比如 filters/unsupervised/instance/normalize应该是一个标准化的算法。当然,也可以编写你自己的算法!
  这时窗体上已经给出这个数据集的一些基本特征了,比如有多少属性,各属性的一些简单统计量,右下方还给出一些可视化效果比如柱状图。通过这些可以初步了解这个数据集了。


  接下来的两个标签页是classify(分类)和cluster(聚类),接触数据挖掘的人对它们一定不会陌生。同样Weka有许多分类和聚类算法可供选择,在这里面称为clasifier和clusterer。不过Weka提供的classify功能似乎还不够灵活,只能定长度和定频率地分类。但这个关系不大,现在很多数据处理软件都可以做到这个,比如excel。Cluster功能强大,提供了许多巧妙的聚类算法,选定一个算法,给出你所需要生成的聚类数目,就可以自动完成。


4。Associate!

   这是一个用于发掘Associate Rules(关联规则)的模块。

  将前面导入的数据使用Associator进行发掘,就可以发现其中无数隐藏的关系。Weka-3 -4提供了Apriori、PredictiveApriori、Tertius三种关联规则发掘算法,不过我感觉这已经够用了。选定一个算法,进行一些必要的设置,包括支持度上界、下界,每次运算的支持度递减值,等等。另外一个重要的参数:所需要生成的关联规则个数。太不可思议了,以前我们能从海量数据中发现一个关联规则就已经沾沾自喜,现在Weka居然问你想生成多少关联规则!
  参数设置完成,点Start,就可以去喝茶了。不一会,10条关联规则已经生成,可以提交给老板了。当然,你还可以分析一下哪些规则比较有用,哪一条有潜在收益,这就需要business sense了。

  另外两个标签页还没怎么看。Select attributes大概是针对单属性的分析?Visualize则提供了许多可视化效果,需要拿出去演示时很方便。也有可能是我用错了。

  Weka实在是一个伟大的工具。基于java,却没有运行其它java程序那种慢吞吞的感觉。也不排除我刚加了一个内存的关系。有了Weka,Data Mining也可以轻轻松松了!


--  作者:DMman
--  发布时间:12/18/2007 6:11:00 PM

--  
补充一下:Select attributes实现了一些特征提取算法,可以对属性的重要性进行排序比较。涉及到一个属性评估器和一个搜索算法


W 3 C h i n a ( since 2003 ) 旗 下 站 点
苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》
54.688ms