如何使用mysql的全文索引搜索

Question

如题所述

Answer 1

你有没有想过如何使用搜索功能在所有整站中实现！互联网博客和网站，大多数都采用MySQL数据库。MySQL提供了一个美妙的方式实施一个小的搜索引擎，在您的网站（全文检索）。所有您需要做的是拥有的MySQL 4.x及以上。MySQL提供全文检索功能，我们可以用它来 ??实现搜索功能。

首先，让我们为我们的例子中设置一个示例表。我们将创建一个名为第一个表。

CREATE TABLE articles (
id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
title VARCHAR(200),
body TEXT,
FULLTEXT (title,body)
);
在此表中还可以添加一些示例数据。执行后，插入查询。

INSERT INTO articles (title,body) VALUES
('MySQL Tutorial','DBMS stands for DataBase ...'),
('How To Use MySQL Well','After you went through a ...'),
('Optimizing MySQL','In this tutorial we will show ...'),
('1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
('MySQL vs. YourSQL','In the following database comparison ...'),
('MySQL Security','When configured properly, MySQL ...');
一旦样本数据是准备好，我们可以开始我们的全文检索功能。

自然语言全文搜索
尝试我们的示例表上执行下面的SELECT查询。

SELECT * FROM articles
WHERE MATCH (title,body) AGAINST ('database');
你就能看到结果如下：

在下面的数据库比较5 MySQL与YourSQL的...
MySQL教程DBMS 1代表数据库...
我们在上面的SQL查询（标题，正文）反对（“数据库”）的比赛，选择所有的记录，列标题和正文进行全文搜索。

您可以修改该查询，并创建您自己的版本，以自己的数据库中执行全文搜索。

布尔全文搜索
它可能发生，你要指定某些关键字在您的搜索条件。此外，您可能要忽略某些关键字。布尔全文搜索可以用来执行这些要求的全文检索。

检查下面的SELECT查询。

SELECT * FROM articles WHERE MATCH (title,body)
AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);
如果您发现上述选择查询，我们增加了布尔MODE反对（）。这个查询将获取MySQL的关键字，但不YourSQL关键字的所有记录。请注意+和-我们以前指定的关键字！

在执行此功能，MySQL使用什么有时也被称为布尔逻辑作为暗示，其中：+代表与-代表不是[无操作员]暗示或

以下是几个例子布尔搜索条件。

“苹果香蕉
查找行至少包含两个词之一。

“+苹果+果汁”
寻找包含两个单词的行。

“+苹果Macintosh
查找行包含“苹果”，但排名的行，如果它们也包含“麦金塔”。

“+苹果Macintosh的”
查找行包含“苹果”这个词，而不是“麦金塔”。

'+苹果Macintosh的“
查找包含单词“苹果”的行，但如果该行也包含单词“麦金塔”，速度比如果行不低。这是“软”比“+苹果Macintosh电脑”，为“麦金塔”的存在，导致该行不能在所有返回的搜索。

'+苹果+（>营业额<馅饼）“
行包含“苹果”和“营业额”，或“苹果”和“馅饼”（任何顺序）的话，但排名“苹果的营业额”比“苹果馅饼“。

限制
支持全文检索的MyISAM表只。MySQL 4.1中，使用多个字符设置一个单一的表内的支持。然而，在一个FULLTEXT索引的所有列，必须使用相同的字符集和校对规则。MATCH（）列列表必须匹配完全在一些列清单表的FULLTEXT索引定义，除非这场比赛（）是在布尔模式。布尔模式搜索，可以做非索引列，虽然他们很可能是缓慢的。

Answer 2

全文检索在MySQL里面很早就支持了，只不过一直以来只支持英文。缘由是他从来都使用空格来作为分词的分隔符，而对于中文来讲，显然用空格就不合适，需要针对中文语义进行分词。这不，从MySQL5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。

在使用中文检索分词插件ngram之前，先得在MySQL配置文件里面设置他的分词大小，比如，
[mysqld]
ngram_token_size=2

这里把分词大小设置为2。要记住，分词的SIZE越大，索引的体积就越大，所以要根据自身情况来设置合适的大小。

示例表结构：
CREATE TABLE articles (
id INTUNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
titleVARCHAR(200),
body TEXT,
FULLTEXT (title,body) WITH PARSER ngram
) ENGINE=InnoDBCHARACTER SET utf8mb4;

示例数据，有6行记录。
mysql> select * from articles\G
***************************1. row ***************************
id: 1
title: 数据库管理
body: 在本教程中我将向你展示如何管理数据库
***************************2. row ***************************
id: 2
title: 数据库应用开发
body: 学习开发数据库应用程序
***************************3. row ***************************
id: 3
title: MySQL完全手册
body: 学习MySQL的一切
***************************4. row ***************************
id: 4
title: 数据库与事务处理
body: 系统的学习数据库的事务概论
***************************5. row ***************************
id: 5
title: NoSQL精髓
body: 学习了解各种非结构化数据库
***************************6. row ***************************
id: 6
title: SQL 语言详解
body: 详细了解如果使用各种SQL
6 rows inset (0.00 sec)

显式指定全文检索表源
mysql> SETGLOBAL innodb_ft_aux_table="new_feature/articles";
Query OK, 0 rows affected (0.00 sec)

通过系统表，就可以查看到底是怎么划分articles里的数据。
mysql> SELECT *FROM information_schema.INNODB_FT_INDEX_CACHE LIMIT 20,10;
+------+--------------+-------------+-----------+--------+----------+
| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID| POSITION |
+------+--------------+-------------+-----------+--------+----------+
| 中我 | 2 | 2 | 1 | 2 | 28 |
| 习m | 4 | 4 | 1 | 4 | 21 |
| 习了 | 6 | 6 | 1 | 6 | 16 |
| 习开 | 3 | 3 | 1 | 3 | 25 |
| 习数 | 5 | 5 | 1 | 5 | 37 |
| 了解 | 6 | 7 | 2 | 6 | 19 |
| 了解 | 6 | 7 | 2 | 7 | 23 |
| 事务 | 5 | 5 | 1 | 5 | 12 |
| 事务 | 5 | 5 | 1 | 5 | 40 |
| 何管 | 2 | 2 | 1 | 2 | 52 |
+------+--------------+-------------+-----------+--------+----------+
10 rows in set (0.00 sec)

这里可以看到，把分词长度设置为2，所有的数据都只有两个一组。上面数据还包含了行的位置，ID等等信息。
接下来，我来进行一系列检索示范，使用方法和原来英文检索一致。

1. 自然语言模式下检索：
A，得到符合条件的个数，
mysql>SELECT COUNT(*) FROM articles
-> WHERE MATCH (title,body) AGAINST ('数据库' IN NATURALLANGUAGE MODE);
+----------+
| COUNT(*) |
+----------+
| 4 |
+----------+
1 row in set (0.05 sec)

B，得到匹配的比率，

mysql>SELECT id, MATCH (title,body) AGAINST ('数据库' IN NATURAL LANGUAGE MODE)
AS score FROM articles;
+----+----------------------+
| id| score |
+----+----------------------+
| 1 | 0.12403252720832825 |
| 2 | 0.12403252720832825 |
| 3 | 0 |
| 4 | 0.12403252720832825 |
| 5 | 0.062016263604164124 |
| 6 | 0 |
+----+----------------------+
6rows in set (0.00 sec)

2. 布尔模式下搜索，这个就相对于自然模式搜索来的复杂些：
A，匹配既有管理又有数据库的记录，
mysql> SELECT * FROM articles WHERE MATCH (title,body)
-> AGAINST ('+数据库 +管理' IN BOOLEAN MODE);
+----+------------+--------------------------------------+
| id| title | body |
+----+------------+--------------------------------------+
| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库
|
+----+------------+--------------------------------------+
1 rowin set (0.00 sec)

B，匹配有数据库，但是没有管理的记录，
mysql> SELECT * FROM articles WHERE MATCH (title,body)
-> AGAINST ('+数据库 -管理' IN BOOLEAN MODE);
+----+------------------+----------------------------+
| id| title | body |
+----+------------------+----------------------------+
| 2 | 数据库应用开发 | 学习开发数据库应用程序 |
| 4 | 数据库与事务处理 | 系统的学习数据库的事务概论 |
| 5 | NoSQL 精髓 | 学习了解各种非结构化数据库 |
+----+------------------+----------------------------+
3rows in set (0.00 sec)

C，匹配MySQL，但是把数据库的相关性降低，
mysql> SELECT * FROM articles WHERE MATCH (title,body)
-> AGAINST ('>数据库 +MySQL' INBOOLEAN MODE);
+----+---------------+-----------------+
| id| title | body |
+----+---------------+-----------------+
| 3 | MySQL完全手册 |学习MySQL的一切 |
+----+---------------+-----------------+
1 rowin set (0.00 sec)

3，查询扩展模式，比如要搜索数据库，那么MySQL，oracle，DB2也都将会被搜索到，

mysql> SELECT * FROM articles
-> WHERE MATCH (title,body)
-> AGAINST ('数据库' WITH QUERY EXPANSION);
+----+------------------+--------------------------------------+
| id| title | body |
+----+------------------+--------------------------------------+
| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库
| 4 | 数据库与事务处理 | 系统的学习数据库的事务概论
| 2 | 数据库应用开发 | 学习开发数据库应用程序 |
| 5 | NoSQL 精髓 | 学习了解各种非结构化数据库 |
| 6 | SQL 语言详解 | 详细了解如果使用各种SQL|
| 3 | MySQL完全手册 | 学习MySQL的一切 |
+----+------------------+--------------------------------------+
6rows in set (0.01 sec)

当然，我这里只是功能演示，更多的性能测试，大家有兴趣可以进行详细测试。由于N-grm是中文检索常用的分词算法，已经在互联网大量使用，这次集成到mysql中，想必效果上不会有太大的问题。