【毕业设计】基于 K-means 算法的校园微博热点话题发现系统 - 资源下载

5 有用

106 下载

【毕业设计】基于 K-means 算法的校园微博热点话题发现系统

文件列表（压缩包大小 4.99M)

免费

概述

基于 K-means 算法的校园微博热点话题发现系统

一、研究目的

微博由其 “短平快 ” 的信息能力和快速传播能力，已广泛流行于高校学生的常生活中。但微博上的负面舆情信息给社会、学校和个人带来巨大的危害。由于微博的多而快特点，无法依赖人工对相关信息进行收集、筛选和发掘热点话题。因此研究并开发校园微博热点话题发现系统，对高校舆情工作有重要的意义。

二、研究内容

本文从微博独有的短文本特征及国内外相关微博研究出发，通过对校园微博进行分类处理后使用K-means聚类算法对校园微博短文本聚类，并改进热度计算公式，通过话题热度提取校园微博热点话题，实现对校园微博热点话题的监控。本文通过几个模块设计并现了校园微博热点话题发现系统，包括微博数据爬取模块、微博数据预处理模块、微博热点话题分析模块、微博热点话题展示模块等模块。最后以广州中医药大学的生活类微博 — 广中医I栋为研究对象，对校园微博各模块功能及相关技术进行介绍，并对相关模块进行测试验证，分析校园微博热点话题特点，总结系统的优点和不足，提出下一步改进的设想。

三、研究结果

本文以校园微博作为研究主体，结合微博的特点，通过研究热点话题相关技术，实现了一套校园微博热点话题发现系统。该系统主要由数据获取、微博数据预处理、K-means 聚类分析等模块组成。该系统为校园舆情人员及时发现热点话题带来了很大的帮助。

本文主要实现内容如下：

（1）使用Python爬虫技术并发获取微博页面，并使用 Python相关库快速提取微博文本内容。

（2）观察校园微博的特点和传统文本的区别，根据校园微博短文本的特点进行数据预处理操作。

（3）针对于向量空间模型的高维度以及微博文本表示的稀疏性，通过改进的TF-IDF算法实现有效的降维和特征选择，解决了VSM特征向量的稀疏性问题。

（4）针对于传统K-means 算法存在的局部最优解问题，改进了 Kmeans 算法初始簇心选择，提高了 K-means聚类的准确性。

（5）根据校园微博的特点，改进了热度计算的算法，提高了获取热点话题的准确性。

（6）实现热点话题发现系统可通过可视化界面进行操作，方便舆情管理人员从界面上获取热点话题信息。

四、目录

摘要
ABSTRACT 第 1 章绪论 1.1 国内外研究现状与意义 1.2 本文创新点 1.3 论文写作思路第 2 章相关技术介绍 2.1 网络爬虫技术 2.2 中文分词技术 2.3 特征选择及权重计算 2.3.1 特征选择 2.3.2 特征权重计算 2.4 文本表示 2.4.1 布尔模型 2.4.2 概率模型 2.4.3 向量空间模型 2.5 文本聚类算法 2.5.1 距离算法 2.5.2 K-means 聚类算法 2.5.3 二分 K-means 聚类算法第 3 章校园微博热点话题发现系统设计与实现 3.1 系统设计目标及要求 3.1.1 系统设计目标 3.1.2 系统设计要求 3.2 系统详细架构设计 3.3 系统功能模块设计与实现 3.3.1 微博数据获取模块 3.3.2 微博文本预处理模块 3.3.2 校园微博热点话题发现模块第 4 章系统功能测试 4.1 系统运行环境和参数 4.2 实验数据及处理 4.3 系统可视化界面 4.3.1 数据获取界面 4.3.2 热点话题排行榜 4.3.3 热点话题热度直方图 4.3.4 敏感词展示总结与展望参考文献致谢附录