大数据毕业设计:新闻情感分析系统 舆情分析 NLP 机器学习 爬虫 朴素贝叶斯算法(附源码+论文)?

2024-01-08 01:34:50

毕业设计:2023-2024年计算机专业毕业设计选题汇总(建议收藏)

毕业设计:2023-2024年最新最全计算机专业毕设选题推荐汇总

🍅感兴趣的可以先收藏起来,点赞、关注不迷路,大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助同学们顺利毕业?。🍅

1、项目介绍

技术栈:
Python语言、django框架、 vue框架、 scrapy爬虫框架、 jieba分词、 nlp算法、 爬虫抓取
机器学习、朴素贝叶斯算法、TextRank算法、情感分类、情感分析

2、项目界面

(1)新闻数据分析

在这里插入图片描述

(2)新闻详情页
在这里插入图片描述

(3)新闻数据浏览
在这里插入图片描述

(4)新闻词性分析

在这里插入图片描述

(5)后台管理

在这里插入图片描述

3、项目说明

技术栈:
Python语言、django框架、 vue框架、 scrapy爬虫框架、 jieba分词、 nlp算法、 爬虫抓取
机器学习、朴素贝叶斯算法、TextRank算法、情感分类、情感分析

功能:
新闻列表 新闻详情 新闻分类 新闻搜索
新闻摘要抽取 关键词分析 情感分析 朴素贝叶斯算法 词性分析
新闻数据爬虫、爬虫新闻数据直接存储到数据库
后台新闻数据管理、用户管理

新闻数据爬取情感分析系统是一个基于Python语言和相关技术栈开发的系统。它主要包括以下功能:

  1. 新闻列表:展示新闻的标题、摘要和发布日期等信息。
  2. 新闻详情:点击新闻标题可以查看新闻的详细内容。
  3. 新闻分类:对新闻进行分类,使用户能够按照不同主题浏览新闻。
  4. 新闻搜索:用户可以通过关键词搜索新闻,快速找到感兴趣的内容。
  5. 新闻摘要抽取:通过TextRank算法对新闻内容进行摘要抽取,提供用户快速了解新闻的概要。
  6. 关键词分析:使用jieba分词工具对新闻内容进行分词,并提取关键词,帮助用户了解新闻的重点内容。
  7. 情感分析:使用nlp算法对新闻内容进行情感分析,判断新闻的情感倾向。
  8. 朴素贝叶斯算法:利用朴素贝叶斯算法进行新闻分类和情感分析。
  9. 词性分析:对新闻内容进行词性标注,帮助用户了解词语的语法属性。
  10. 新闻数据爬虫:使用scrapy爬虫框架对新闻网站进行数据抓取,获取最新的新闻数据。
  11. 爬虫抓取:将爬虫抓取到的新闻数据直接存储到数据库中,方便后续分析和展示。
  12. 后台新闻数据管理:提供后台管理界面,方便管理员对新闻数据进行管理和维护。
  13. 用户管理:提供用户管理功能,包括用户注册、登录、权限管理等。

通过以上功能,新闻数据爬取情感分析系统可以帮助用户快速浏览和搜索新闻,并提供关键词分析、情感分析等功能,帮助用户更好地理解和分析新闻内容。

4、核心代码


# -*- coding: utf-8 -*-
from __future__ import unicode_literals

from ..sim.bm25 import BM25


class TextRank(object):

    def __init__(self, docs):
        self.docs = docs
        self.bm25 = BM25(docs)
        self.D = len(docs)
        self.d = 0.85
        self.weight = []
        self.weight_sum = []
        self.vertex = []
        self.max_iter = 200
        self.min_diff = 0.001
        self.top = []

    def solve(self):
        for cnt, doc in enumerate(self.docs):
            scores = self.bm25.simall(doc)
            self.weight.append(scores)
            self.weight_sum.append(sum(scores)-scores[cnt])
            self.vertex.append(1.0)
        for _ in range(self.max_iter):
            m = []
            max_diff = 0
            for i in range(self.D):
                m.append(1-self.d)
                for j in range(self.D):
                    if j == i or self.weight_sum[j] == 0:
                        continue
                    m[-1] += (self.d*self.weight[j][i]
                              / self.weight_sum[j]*self.vertex[j])
                if abs(m[-1] - self.vertex[i]) > max_diff:
                    max_diff = abs(m[-1] - self.vertex[i])
            self.vertex = m
            if max_diff <= self.min_diff:
                break
        self.top = list(enumerate(self.vertex))
        self.top = sorted(self.top, key=lambda x: x[1], reverse=True)

    def top_index(self, limit):
        return list(map(lambda x: x[0], self.top))[:limit]

    def top(self, limit):
        return list(map(lambda x: self.docs[x[0]], self.top))


class KeywordTextRank(object):

    def __init__(self, docs):
        self.docs = docs
        self.words = {}
        self.vertex = {}
        self.d = 0.85
        self.max_iter = 200
        self.min_diff = 0.001
        self.top = []

    def solve(self):
        for doc in self.docs:
            que = []
            for word in doc:
                if word not in self.words:
                    self.words[word] = set()
                    self.vertex[word] = 1.0
                que.append(word)
                if len(que) > 5:
                    que.pop(0)
                for w1 in que:
                    for w2 in que:
                        if w1 == w2:
                            continue
                        self.words[w1].add(w2)
                        self.words[w2].add(w1)
        for _ in range(self.max_iter):
            m = {}
            max_diff = 0
            tmp = filter(lambda x: len(self.words[x[0]]) > 0,
                         self.vertex.items())
            tmp = sorted(tmp, key=lambda x: x[1] / len(self.words[x[0]]))
            for k, v in tmp:
                for j in self.words[k]:
                    if k == j:
                        continue
                    if j not in m:
                        m[j] = 1 - self.d
                    m[j] += (self.d / len(self.words[k]) * self.vertex[k])
            for k in self.vertex:
                if k in m and k in self.vertex:
                    if abs(m[k] - self.vertex[k]) > max_diff:
                        max_diff = abs(m[k] - self.vertex[k])
            self.vertex = m
            if max_diff <= self.min_diff:
                break
        self.top = list(self.vertex.items())
        self.top = sorted(self.top, key=lambda x: x[1], reverse=True)

    def top_index(self, limit):
        return list(map(lambda x: x[0], self.top))[:limit]

    def top(self, limit):
        return list(map(lambda x: self.docs[x[0]], self.top))


5、源码获取方式

🍅由于篇幅限制,获取完整文章或源码、代做项目的,查看我的【用户名】、【专栏名称】、【顶部选题链接】就可以找到我啦🍅

感兴趣的可以先收藏起来,点赞、关注不迷路,下方查看👇🏻获取联系方式👇🏻

文章来源:https://blog.csdn.net/vx_biyesheji0001/article/details/135444751
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。