Solr与Mysql数据库的集成,实现全量索引、增量索引的创建。
基本原理很简单:在Solr项目中注册solr的DataImportHandler并配置Mysql数据源以及数据查询sql语句。当我们通过Solr后台控制页面或者直接访问某个地址(后面给出),Solr就会调用DataImportHandler,连接数据库,根据sql语句查询数据,创建索引。
示例solr版本:solr4.3.1
约定Solr的安装目录,如E:\environment\solr-4.3.1为solr-home。
1. 拷贝jar包
将DataImportHandler所在的jar包和mysql的数据库驱动包Copy到solr-home/dist目录下。默认情况下该目录下已存在DataImportHandler所需的两个jar包。该Solr版本对应的jar包名字是:solr-dataimporthandler-4.3.1.jar、solr-dataimporthandler-extras-4.3.1.jar
2. 修改solr-home\example\solr\collection1\conf\solrconfig.xml文件
a. 增加所需jar包引用配置:
<lib dir="../../../dist/" regex="solr-dataimporthandler-.*\.jar" />
<lib dir="../../../dist/" regex="mysql-connector-java-.*\.jar" />
b. 增加resultHandler配置
<requestHandler name="/dataimport"
class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
3. 在solrconfig.xml的同级目录下创建data-config.xml文件,配置数据库连接和Solr与mysql数据的对应关系和查询语句。
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://127.0.0.1/dbname" user="root" password="root"/>
<document name="search_object">
<entity name="talent"
query="select id, gender, qq, msn, anualSalary, updateTime, addUserId
from talent">
<field column="anualSalary" name="salary"/>
<field column="addUserId" name="userId"/>
<!--Talent Names-->
<entity name="talent_name" query="select value from talentname where talentId='${talent.id}'">
<field column="value" name="name"/>
</entity>
</entity>
</document>
</dataConfig>
4. 重启Solr。
批量导入(full-import):
http://<host>:<port>/solr/dataimport?command=full-import&commit=y
增量导入(delta-import):
http://<host>:<port>/solr/dataimport?command=delta-import&commit=y
导入状态查询(status):
http://<host>:<port>/solr/dataimport
重新装载配置文件(reload-config):
http://<host>:<port>/solr/dataimport?command=reload-config
终止导入(abort):
http://<host>:<port>/solr/dataimport?command=abort
分享到:
相关推荐
利用solr搭建MYSQL集成环境,实现MYSQL数据库索引的添加和修改。
solr6.0+mysql+IK分词集成
solr-5.5.4与spring集成,增加了账号密码身份验证,增加了zk中文分词,增加了增量导入,mysql数据同步,增加了git链接地址
Solr 5.3.1搜索引擎搭建详细教程(包括集成mysql、添加中文分词、添加同义词、查询语法等)
solr8.5.2配置完成版本,包含solr导入mysql数据完整配置,配置了中文分词集成了多个中文分词,配置solr安全登录。
已经配置好数据源,mysql8.0.11,core也配置好,可更改web.xml修改core路径,集成ik分词器
本课程共分26节,内容包括solr概述,文档的导入删除和修改,修改大启动时间和默认时区,主要配置文件详解,solrcore详解与使用,mysql数据导入索引库,定时任务,中文分词,solrcloud创建和使用,路由规则,负载均衡...
Win7 下面 安装solrCloud5.2.1 + tomcat7 + zookeeper3.4.6 集成。 有安装步骤,裁图和说明 1分物超所值 哈哈
集成editormd,支持markdown在线编辑功能 保留原来的富文本编辑器,需携带参数访问,如: http://dreamland.wang/writedream?style=richtext ## 一、项目主要功能 使用SSM框架开发的一个博客系统,包含的功能...
153 Solr 全文搜索引擎-Spring Boot 集成 Solr 154 Solr 全文搜索引擎-完成测试类 CRUD 功能 155 Solr 全文搜索引擎-实现搜索接口 156 Spring Boot 启用 Profile 157 Docker 私服搭建 158 项目的容器化部署1 159 ...
153 Solr 全文搜索引擎-Spring Boot 集成 Solr 154 Solr 全文搜索引擎-完成测试类 CRUD 功能 155 Solr 全文搜索引擎-实现搜索接口 156 Spring Boot 启用 Profile 157 Docker 私服搭建 158 项目的容器化部署1 ...
整合了spring,mybatis,hibernate,activemq,redis,dubbo的一个工程,项目管理工具是maven,数据库用的mysql。
Grafana数据源插件可将此类解决方案与Grafana集成。 入门 安装依赖项 yarn install 在开发模式下构建插件或在监视模式下运行 yarn dev 或者 yarn watch 在生产模式下构建插件 yarn build 了解更多 -Grafana教程是...
课时25:项目介绍与Solr环境搭建 课时26:数据层设计与中文分词器配置 课时27:Spring集成HBase之核心操作 课时28:Spring集成HBase之核心操作(续) 课时29:基于dom4j进行数据文件解析 课时30:数据层设计与实现之...
maven(构建项目),svn(版本控制工具),myeclipse(集成开发环境),nginx(反向代理), FastDFS (图片服务器),tomcat(web服务器),zookeeper(集群管理),mysql(数据库) Junit(测试) ### 技术栈: spring,...
4、将用户自定义词库和岐义纠正词库移到classpath目录下,方便与solr的集成; 5、用户自定义词库和岐义纠正词库支持MySQL数据库存储; 6、增加Ansj for solr插件。(solr 4.10.2下测试成功) 使用说明: 一、词典的...
需要用于本地开发的VM(JS,NodeJS,Java,PHP,Composer,Solr,Memcache,Selenium,Python,MySQL,MSSQL,Ruby等)吗? 没问题cikit init --project=test && cd test && vagrant up 。 是否要在连续集成服务器...
与所有主要Hadoop供应商( , , , )的广泛API集成 Linux-包括用于 / yum安全更新的广泛使用的check_yum.py SSL证书有效期限(天)和验证 天数和验证中的Whois域到期 高级DNS记录检查(MX,NS,SRV等) , 等 ...
⽀持docker fpga 期待更细粒度的资源控制 对⽐Mesos Oozie(任务调度编排) 平台调度的基础保障 hadoop 各种任务的使⽤与调度 对⽐ Azkaban Airflow Slider(调度⽀持 新版已经集成yarn) 2)Enterpise Data Warehouse...