ITeye博客

Towan的博客

Towan · 共 10 篇文章

solr查询参数简介

查询参数简介(官方介绍http://wiki.apache.org/solr/CommonQueryParameters): • q (query) - 参数的主查询,默认是所有的“*:*” • fl (Field List) - 指定返回那些字段内容,用逗号或空格分隔多个。例如:“fl=id,name”意味着值列出id, name 字段 • start - 返回记录的起始条数,默认是从0开始。此参数一般用于分页显示。 • rows - 指定返回结果有多少记录, 一般作为每页的最大条数。 • sort - 排序,具体的格式为sort=<fieldname>+<desc|asc>[,<fiel…

2014-06-08 11:28 · 搜索引擎 · 评论(0)

索引的建立、更新策略

一、索引的建立分为三种方式: 1.两遍文档倒排法 第一遍文档扫描时完成一些全局信息统计,如文档集合的数量、每个文档的单词数量、词频等 第二遍文档扫描的主要任务是填补每个单词的倒排列表,完全在内存中进行 2.排序倒排法 步骤为: 排序文档ID赋值、单词ID赋值、更新词典、统计词频、构建三元组、三元组排序、写中间结果文件、合并中间结果文件。 3.归并倒排法 二、索引更新 1.完全重建策略 2.再合并策略 3.原地更新策略 4.混合策略

2014-05-03 17:50 · 搜索引擎 · 评论(0)

网页分类算法

网页自动分类是通过对某一特定的网页样本进行训练获得该类别网页的形式化描述,在此基础上训练分类器,进而对未知类别的网页进行类别判断的技术。 常用的分类器有SVM、朴素贝叶斯、KNN、Rocchio、中心分类算法CBC(Center Based Classification)

2014-05-03 17:26 · 算法 · 评论(0)

网页去重算法

网页去重发生在网页下载后、索引建立前,典型的网页去重算法有SHINGLING、I-MATCH算法、Random Projection、SimHash算法以及SPOTSING算法

2014-05-03 17:20 · 算法 · 评论(0)

关联算法总结

1.FP-growth 基本原理:Frequency Pattern-growth频繁模式增长算法,也是决策树算法,在产生候选项目集的时候采用模式增长的方法递归挖掘全部频繁模式,并且只需扫描事务数据库两次。它采用分而治之的思想:经过一片扫描后,将提供频繁项集的事务数据库压缩成一颗频繁模式树,但仍保留项集的关联信息。然后,将这种压缩后的事务数据库分成一组条件数据库,每个条件数据库关联一个频繁项集,并分别挖掘每一个条件数据库 2.WFP 基于加权的优化算法Weight Frequency Pattern是在FP-Growth算法的基础上发现频繁一项集,然后构建频繁模式增长的兄弟孩子树,通过遍历构…

2014-05-03 16:37 · 算法 · 评论(0)

聚类算法的MapReduce并行化分析

五一假期,还好没有出去,到处都是堵啊。闲在看看分类、聚类算法、关联算法,现总结一下常见的聚类算法并进行MR分析。 1.K-means基本原理:首先随机的选择K个对象,每个对象代表一个簇的初始均值和中心;对剩余的每个对象,根据其与各个簇的均值的距离,将其指派到最相似的簇。然后计算每个簇的新均值,过程不断重复直到准则函数收敛 效率分析:时间复杂度O(nki)、空间复杂度O(k) MapReduce并行化分析:k-means从逻辑上分为三部分:聚类中心初始化、迭代更新聚类中心、聚类标注。三部分都可以MR并行化 2.CLARANS 基本原理:与k-means相似,也是以聚类中心划分聚类的,一旦k个聚…

2014-05-03 16:27 · 评论(0)

java动态编程简述

动态编程指的是改变经典编程方式(源文件-->编译-->二进制文件---->运行方式)的行为. 1.使用Compiler Api 创建类文件,同时允许在程序运行中编译源文件。在动态使用java类时可以启用诊断信息监听器和编译选项。 2.使用Instrumentation构建代理,可以用来监测JVM上的程序,一般是通过在执行某个类文件之前,对类文件的字节码适当修改来实现 3.使用javassist转化类文件。 javassist可以检查、编辑以及创建java二进制数据类。例如,可以清晰在类中统计某项方法耗时。 4用Spring替换类方法,在运行期间用一个类的方法替换另一个类的方法MethodRe…

2014-05-02 17:15 · 评论(0)

mysql数据库实现类似oracle connect by prior的查询

--注下面的语句用到了表 DROP TABLE IF EXISTS `a_sys_org`; CREATE TABLE `a_sys_org` ( `org_id` varchar(32) NOT NULL COMMENT '机构号', `org_name` varchar(256) NOT NULL COMMENT '机构名称', `parent_org_id` varchar(32) NOT NULL COMMENT '父机构号', PRIMARY KEY (`org_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系统机构表'; -…

2014-04-12 12:16 · 评论(0)

java标记接口

标识接口是没有任何方法和属性的接口.它仅仅表明它的类属于一个特定的类型,供其他代码来测试允许做一些事情. 标识接口作用:简单形象的说就是给某个对象打个标(盖个戳),使对象拥有某个或某些特权。比如,你不能杀人,如果老习给你盖个戳,你就可以杀人了。。 使用标记接口可以用instanceof进行类型查询,例如: if(obj instanceof Cloneable) {………} 一些容器例如Ejb容器,servlet容器或运行时环境依赖标记接口识别类是否需要进行某种处理,比如serialialbe接口标记类需要进行序列化操作. java.io.Serializable 未实现此接口的类将无法使其…

2014-04-09 11:48 · 评论(0)

深入理解JAVA I/O机制

Java 的 I/O 类库的基本架构 I/O 问题是任何编程语言都无法回避的问题,可以说 I/O 问题是整个人机交互的核心问题,因为 I/O 是机器获取和交换信息的主要渠道。在当今这个数据大爆炸时代,I/O 问题尤其突出,很容易成为一个性能瓶颈。正因如此,所以 Java 在 I/O 上也一直在做持续的优化,如从 1.4 开始引入了 NIO,提升了 I/O 的性能。关于 NIO 我们将在后面详细介绍。 Java 的 I/O 操作类在包 java.io 下,大概有将近 80 个类,但是这些类大概可以分成四组,分别是: 基于字节操作的 I/O 接口:InputStream 和 OutputStre…

2013-12-18 13:32 · 评论(0)