java调用Hanlp分词器获取词性;自定义词性字典

2024-01-08 04:08:17

若解读用户输入的一段话,找出输入内容的构成(名词、动词、形容词、地名、人名等)以便进一步的处理。

一、配置pom,导包:

   <dependency>
            <groupId>com.hankcs</groupId>
            <artifactId>hanlp</artifactId>
            <version>portable-1.6.8</version>
   </dependency>

二、java代码实现分词:

/***

* hanlp分词

* @param input

*/

public static Map<String, String> getOut(String input){

Map<String, String> resMap = new HashMap<>();


Segment segment = HanLP.newSegment(); //使用Hanlp分词

List<Term> termList = segment.seg(input);


//遍历分词结果

for (Term term : termList) {

String word = term.toString().substring(0, term.length()); //词

String nature = term.toString().substring(term.length() + 1); //词性

if (StringUtils.isNotBlank(word) && StringUtils.isNotBlank(nature)) {

//将词及词性放到Map结果集中

resMap.put(word, nature);

}

}

return resMap;

}


public static void main(String[] args) {

 Map<String, String> out = getOut("我爱吃薯片,它是红薯油炸而来的,紫罗兰熊猫");

System.out.println("out = " + out);

}

运行结果:

out = {紫罗兰=n, 红薯=n, 它=rr, 的=ude1, 来=vf, 薯片=nf, ,=w, 而=cc, 是=vshi, 熊猫=n, 我=rr, 油炸=v, 爱吃=v}

对照hanlp的词性表,得到每个词的词性:

符号描述
a形容词
ad副形词
ag形容词性语素
al形容词性惯用语
an名形词
b区别词
begin仅用于始##始
bg区别语素
bl区别词性惯用语
c连词
cc并列连词
d副词
dg辄,俱,复之类的副词
dl连语
e叹词
end仅用于终##终
f方位词
g学术词汇
gb生物相关词汇
gbc生物类别
gc化学相关词汇
gg地理地质相关词汇
gi计算机相关词汇
gm数学相关词汇
gp物理相关词汇
h前缀
i成语
j简称略语
k后缀
l习用语
m数词
mg数语素
Mg甲乙丙丁之类的数词
mq数量词
n名词
nb生物名
nba动物名
nbc动物纲目
nbp植物名
nf食品,比如“薯片”
ng名词性语素
nh医药疾病等健康相关名词
nhd疾病
nhm药品
ni机构相关(不是独立机构名)
nic下属机构
nis机构后缀
nit教育相关机构
nl名词性惯用语
nm物品名
nmc化学品名
nn工作相关名词
nnd职业
nnt职务职称
nr人名
nr1复姓
nr2蒙古姓名
nrf音译人名
nrj日语人名
ns地名
nsf音译地名
nt机构团体名
ntc公司名
ntcb银行
ntcf工厂
ntch酒店宾馆
nth医院
nto政府机构
nts中小学
ntu大学
nx字母专名
nz其他专名
o拟声词
p介词
pba介词“把”
pbei介词“被”
q量词
qg量词语素
qt时量词
qv动量词
r代词
rg代词性语素
Rg古汉语代词性语素
rr人称代词
ry疑问代词
rys处所疑问代词
ryt时间疑问代词
ryv谓词性疑问代词
rz指示代词
rzs处所指示代词
rzt时间指示代词
rzv谓词性指示代词
s处所词
t时间词
tg时间词性语素
u助词
ud助词
ude1的 底
ude2
ude3
udeng等 等等 云云
udh的话
ug
uguo
uj助词
ul连词
ule了 喽
ulian连 (“连小学生都会”)
uls来讲 来说 而言 说来
usuo
uv连词
uyy一样 一般 似的 般
uz
uzhe
uzhi
v动词
vd副动词
vf趋向动词
vg动词性语素
vi不及物动词(内动词)
vl动词性惯用语
vn名动词
vshi动词“是”
vx形式动词
vyou动词“有”
w标点符号
wb百分号千分号,全角:% ‰ 半角:%
wd逗号,全角:, 半角:,
wf分号,全角:; 半角: ;
wh单位符号,全角:¥ $ £ ° ℃ 半角:$
wj句号,全角:。
wky右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >
wkz左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { <
wm冒号,全角:: 半角: :
wn顿号,全角:、
wp破折号,全角:—— -- ——- 半角:— —-
ws省略号,全角:…… …
wt叹号,全角:!
ww问号,全角:?
wyy右引号,全角:” ’ 』
wyz左引号,全角:“ ‘ 『
x字符串
xu网址URL
xx非语素字
y语气词(delete yg)
yg语气语素
z状态词
zg状态词

三、到这基本的分词及词性已经获取到了,但是又发现这样得到的词性都是固定的,像我输入的这段话"请问怎么哪家公司有边缘计算相关的项目?"中,"边缘计算"被分成了"边缘"(n-名词)、"计算"(v-动词),但是业务需求是"边缘计算"属于某些项目的业务标签,定义在系统的字典表中,这时就要自定义hanlp的词性了。

查了一些文章,基本都是导入一个自定义的txt文件,文件中定义词及词性,但是我这里是通过maven引用的hanlp包,而且自定义的词性也不是固定的,而是从系统的字典表中动态读取的。于是有了以下代码:

/***

* hanlp分词

* @param input

*/

public static Map<String, String> getOut(String input){

Map<String, String> resMap = new HashMap<>();

//使用Hanlp分词;允许用户自定义词性字典

Segment segment = HanLP.newSegment().enableCustomDictionary(true);


//添加自定义词性(此处添加了一个词做测试;真实业务中是读取字典表中的词并添加到自定义词性)

//其中"zingyidongwu"是自定义的词性

CustomDictionary.add("紫罗兰熊猫","zingyidongwu");


List<Term> termList = segment.seg(input);

//遍历分词结果

for (Term term : termList) {

String word = term.toString().substring(0, term.length()); //词

String nature = term.toString().substring(term.length() + 1); //词性

if (StringUtils.isNotBlank(word) && StringUtils.isNotBlank(nature)) {

//将词及词性放到Map结果集中

resMap.put(word, nature);

}

}

return resMap;

}


public static void main(String[] args) {

Map<String, String> out = getOut("我爱吃薯片,它是红薯油炸而来的,紫罗兰熊猫");


System.out.println("out = " + out);

}

运行结果:

out = {紫罗兰熊猫=n, 红薯=n, 它=rr, 的=ude1, 来=vf, 薯片=nf, ,=w, 而=cc, 是=vshi, , 我=rr, 油炸=v, 爱吃=v}

可以看到,这次的分词结果中,"边缘计算"没有被拆分,而且词性也变成了自定义的"ywbq"词性。

文章来源:https://blog.csdn.net/zhaofuqiangmycomm/article/details/135412770
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。