微软技术领域内容榜~加油共勉~

2023-12-18 15:34:09

这次的文章上了微软技术领域内容榜17名,继续加油,总结学习过程的笔记与点滴感悟,与君共勉!
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述


相关知识

? ?? ?当涉及到文本数据处理和可视化的任务时,我们可以通过了解下面的知识和使用Python的一些主要库和工具来完成这些任务。

1. 文本数据处理

? ?? ?包括读取文本文件、对文本进行分词、去除停用词等基本文本处理步骤。

  • 读取文本文件:
  • 在Python中,我们使用open函数打开文件,指定文件名、打开模式(这里是’r’表示读取)、以及字符编码(通常是’utf-8’)。
with open('filename.txt', 'r', encoding='utf-8') as file:
    text_data = file.read()
  • 分词和去除停用词:
  • 使用Natural Language Toolkit(NLTK)库进行分词和去除停用词。分词是将文本拆分成单词的过程,而停用词是指那些在文本中频繁出现但没有实际含义的词汇,可以通过NLTK提供的停用词列表进行去除。
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

stop_words = set(stopwords.words('english'))

words = word_tokenize(text_data)
filtered_words = [word.lower() for word in words if word.isalpha() and word.lower() not in stop_words]

2. 文本可视化

? ?? ?通过词云制作实现文本数据的可视化呈现。

  • 使用wordcloud生成词云图:
  • WordCloud是一个用于生成词云图的库,它根据文本中单词的频率生成具有可视化效果的图形。在示例代码中,我们通过WordCloud生成词云图,并使用matplotlib展示。
from wordcloud import WordCloud
import matplotlib.pyplot as plt

wordcloud = WordCloud().generate(' '.join(filtered_words))

plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

使用 wordcloud 库生成词云图的过程主要分为以下几个步骤:

  1. 安装 wordcloud 库:
    ? ?? ?在命令行或终端中运行以下命令安装 wordcloud

    pip install wordcloud
    
  2. 导入库:

    from wordcloud import WordCloud
    import matplotlib.pyplot as plt
    
  3. 准备文本数据:
    ? ?? ?获取需要生成词云的文本数据,确保文本数据是字符串形式。

  4. 创建 WordCloud 对象并生成词云:

    wordcloud = WordCloud(width=800, height=400, background_color='white').generate(text_data)
    

    ? ?? ?在这里,我们创建了一个 WordCloud 对象,指定了词云的宽度、高度和背景颜色。可以根据需要调整其他参数,比如字体、最大词汇量等。

  5. 可选步骤 - 自定义词云形状:
    ? ?? ?如果你想要词云的形状为特定图形,可以使用自定义形状的图片。首先,你需要准备一张形状的图片,然后使用 WordCloudmask 参数指定该图片。

    from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
    from PIL import Image
    
    # 读取形状图片
    mask = np.array(Image.open("your_shape_image.png"))
    
    # 使用形状图片生成词云
    wordcloud = WordCloud(mask=mask, background_color="white").generate(text_data)
    
  6. 显示或保存词云图:

    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis("off")
    
    # 显示词云图
    plt.show()
    
    # 或保存词云图
    wordcloud.to_file("wordcloud_output.png")
    

    ? ?? ?使用 plt.show() 可以在运行脚本时显示词云图,而 to_file 方法可以保存词云图为图片文件。
    ? ?? ?总体来说,使用 wordcloud 库生成词云图是一个相对简单的过程,主要涉及创建 WordCloud 对象并调整相关参数,然后通过 imshow 方法显示或通过 to_file 方法保存生成的词云图。


3. Python编程

? ?? ?可看Python专栏
? ?? ?要求通过Python实现上述功能,因此需要熟悉Python编程语言及其相关库和模块。

4. 词频统计

? ?? ?对文本中各个词汇的出现频率进行统计分析。

  • 使用Counter进行词频统计:
  • Counter是Python的一个内置库,用于统计可哈希对象的出现次数。在这里,我们使用Counter来统计文本中单词的出现频率。
from collections import Counter
word_freq = Counter(filtered_words)

5. 人名提取

? ?? ?从文本中提取人物名称,这可能需要使用一些自然语言处理(NLP)的技术或者规则来实现。

  • 使用spaCy进行实体识别:
  • spaCy是一个自然语言处理库,它提供了实体识别功能,可以用于从文本中提取人名等实体。在示例代码中,我们加载了英文的spaCy模型,并使用它来获取文本中的人物名称。
import spacy

nlp = spacy.load('en_core_web_sm')
doc = nlp(text_data)

person_names = [ent.text for ent in doc.ents if ent.label_ == 'PERSON']

6. 自然段划分

? ?? ?将文本划分成自然段,可能涉及到对文本的分段或分句处理。

  • 使用正则表达式进行自然段划分:
  • 正则表达式是一种强大的文本匹配工具,可以根据特定的模式来划分文本。在这里,我们使用\n\n来划分自然段,表示两个换行符之间的文本。
import re

paragraphs = re.split('\n\n', text_data)

7. 人物出现频率分布分析

? ?? ?分析文本中人物出现的频率分布情况,可以通过统计每个人物在文本中出现的次数来实现。

  • 统计人物出现频率:
  • 通过使用Counter,我们可以轻松地统计从文本中提取的人物名称的出现频率,从而进行人物出现频率分布分析。
character_freq = Counter(person_names)

8. 词云生成

? ?? ?使用wordcloud模块生成词云图,这需要将词频等信息传递给词云模块,并对生成的图像进行一定的定制。
综合来看,这涉及到文本处理、数据统计、可视化和一定的自然语言处理方面的知识和技能。

  • 定制词云图:
  • 在生成词云图时,可以通过调整WordCloud的参数来定制图形的外观,包括图像的大小、背景颜色等。示例代码中展示了如何设置词云的宽度、高度和背景颜色。
wordcloud = WordCloud(width=800, height=400, background_color='white').generate_from_frequencies(word_freq)

plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

文章来源:https://blog.csdn.net/m0_53054984/article/details/135061754
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。