理工酷

爬虫及数据动态分析管理

环境配置

jdk1.8 Maven 3.3.9 Mysql 5.6 SpringBoot 1.4.3 Shiro 1.2.5 Gson 2.3.1 Mybatis 3.2.7 Webmagic 0.6.1   Echarts类库   freemarker

web端框架

Springboot/Mybatis/Shiro/maven/Echarts

• shiro 权限及安全设计
• Springboot 快速构建Spring全家桶，无XML实现。
• maven 项目构建管理

爬虫

爬虫模块运用WebMagic框架爬取学校官网信息持久化Mysql中。相对于python还是比较臃肿，但是也是非常好用且方便的。

数据处理

利用HanLp进行自然语言处理、分词、统计等。

数据展现

Echarts图表展示

有待改进

• 爬虫只能整站爬取，且与Web端模块分离
• HanLp自然语言处理，文章数据量大加载过慢。

来源https://github.com/kxinds/GraduationProject