独热编码——文本数据

2023-12-18 15:36:01

【说明】文章内容来《机器学习——基于sklearn》,用于学习记录。若有争议联系删除。

1、简介

????????机器学习算法往往无法直接处理文本数据,需要把文本数据转换为数值型数据,独热编码就是一种解决方法。独热(one-hot)编码又称为一位有效编码。独热编码将文本中的单词编号,构建字典结构的词汇表。其中,key是单词,value是单词的索引。词汇表有n个单词,构成n个词向量。例如,某个单词在词汇序列中的位置为k,对应的词向量的第k个位置为1,其他位置都为0。独热编码保证了每一个取值只会使得一种状态处于激活态,也就是说多种状态中只有一个状态位为1,其他状态位都是0.

独热编码具有操作简单、容易理解的优势。但是独热编码完全割裂了词与词之间的联系;而且当数据量较大时,每个向量的长度过大,会占据大量内存。

2、独热编码的步骤

独热编码的步骤:

(1)确定要编码的对象。例如[“中国”,“美国”,“英国”,“中国”]。

(2)确定分类变量。例如,中国、美国、英国共3个类别。

(3)特征的整数编码。例如中国为0,美国为1,英国为2.

独热编码为

中国美国英国
中国100
美国010
英国001
中国100

3、独热编码实现

(1)方法一:pandas的get_dummies方法,格式如下:

pandas.get_dummies(data, sparse = False)

【参数说明】

  • data:数组类型为Series或DataFrame
  • spare:是否是稀疏矩阵

示例:

import pandas as pd
s = pd.Series(list('abcd'))
print(s)
s1 = pd.get_dummies(s, sparse = True)
print(s1)

【运行结果】

(2)方法二:采用sklearn 的preprocessing模块

示例:

from sklearn.preprocessing import OneHotEncoder
enc = OneHotEncoder()
enc.fit([[0,0,3],[1,1,0],[0,2,1],[1,0,2]])
ans1 = enc.transform([[0,1,3]])
ans2 = enc.transform([[0,1,3]]).toarray()#toarray()方法返回一个Object数组,它就是Object不是其他类
print(ans1)
print(ans2)
#第一个特征(即为第一列)为[0,1,0,1],其中三类特征值[0,1],因此One-Hot Code可将[0,1]表示为:[10,01]
#第二个特征(即为第二列)为[0,1,2,0],有三种值[0,1,2]:采用三个编码:[100,010,001]
#第三个特征[3,0,1,2]表示为[1000,0100,0010,0001]
#0作为第一特征编码为10,1作为第二特征编码为010,3作为第三特征编码为0001

文章来源:https://blog.csdn.net/qq_41566819/article/details/135060144
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。