基于tensorflow的nlp深度学习项目 介绍 本项目支持的NLP任务包括 分类、匹配、序列标注、文本生成等. 对于分类任务，目前支持多分类、多标签分类，通过选择不同的loss即可。 对于匹配任务，目前已支持交互模型和表示模型。 对于NER任务，目前已支持rnn+crf,idcnn+crf以及bert+crf 数据 训练数据(目前data下均内置了样例数据): （1）对于分类任务的数据使用csv格式，csv头部包括列名‘target’和‘text’; （2）对于匹配任务的数据使用csv格式，csv头部包括列名‘target’,‘text’ 或者 ‘target’,‘text_a’,‘text_b’ （3）对于NER任务的数据，参考"data/ner/train_data",或者使用其它格式的数据的话，修改task/ner.py中的read_data方法即可。 预训练数据(目前在分类和匹配任务上已支持): 如果使用到bert作为预训练(直接下载google训练好的模型即可)，直接运行"sh scripts/prepare.sh" 如果使用elmo作为预训练，需要准备一份corpus.txt训练语料放在language_model/bilm_tf/data/目录下 然后执行指令进行预训练： cd language_model/bilm_tf sh start.sh 快速开始 [依赖] 各类任务的参数定义在conf/model/内的以任务名命名的yml文件中"conf/model/***.yml" 目前已支持的常见任务如下： [分类] [匹配] [序列标注] [翻译] 模块 encoder cnn fasttext text_cnn dcnn idcnn dpcnn vdcnn rnn rcnn attention_rnn capsule esim han matchpyramid abcnn transformer common loss attention lr ... utils data process 来源https://github.com/zhufz/nlp_research

基于弱标签视频数据实现监控视频中的交通事故检测 一、研究目的 本课题为哈工大（深圳）毕业设计，主要基于弱标签视频数据实现监控视频中的交通事故检测，从三种思路实现弱监督交通事故检测，完成算法的定性和定量分析，并基于多实例学习的深度排序回归网络实现最终的交通事故检测，完成端到端的检测系统。 二、研究方法及成果 （1）本文实现了基于三种不同特征学习思路的弱监督交通事故检测方法—— 基于SVM 和视频级整体特征的学习方法，基于唯正常视频与自编码器的特征重构方法以及基于空间自注意力机制和LSTM 网络的帧序列学习方法。接着我们验证了它们在URAD 上的性能，并从定性和定量的角度分析了这些算法的利弊。对于其中基于空间注意力机制的检测算法，我们提出使用隔帧采样和Ranking的方式进行改进，提高了其双类上的检测性能。 （2）通过定性分析和定量实验，本文指出在弱监督交通视频事故检测任务中使用AUC 进行评估时双类到单类所存在的数值落差，并由此提出单类AUC 的评测方法，来更好地刻画算法对于视频中事故位置的定位能力。 （3）本文分别基于C3D 特征与I3D 的RGB 和FLOW 模式下的特征实现了基于多实例学习的深度排序算法，接着验证了几种常见的特征融合手段；然后，我们通过结合Min-Max 归一化和哈达玛积的方式成功融合了RGB 和FLOW 特征下的预测分数，并得到了更高的单类AUC 性能。 （4）本文基于哈达玛积融合后的检测方法实现了一个可用于视频交通事故检测的可视化的端到端系统，其检测速度达43 FPS。 三、项目结构 AE：基于自编码器的正常行为重构的检测方法 C3D：C3D特征抽取代码 I3D：I3D特征抽取代码 SVM：基于SVM和视频级特征学习的检测方法 SpatialAttention：改进后的基于空间自注意力机制和LSTM的帧序列学习方法 Vanilla：基于多实例学习的深度排序检测算法及其各种特征融合的改进 auc_result：各个实验的AUC结果 gif：最终端到端检测系统的动态事故打分的GIF示例 Feature_Vector_Visualize.py：特征向量可视化 data_util.py：数据加载、段分数到帧分数的转换等辅助功能 generate_scores_gif.py：产生动态打分的GIF图 RN_Metric.py：RGB和FLOW模式下模型的AUC测试，同时包含Min-Max后以及哈达玛积融合改进后的AUC测试 注：特征文件和训练好的模型文件比较大，目前无法上传。 来源：https://github.com/Wolfybox/WeaklySupervisedMethodResearch

模块设计架构 音乐播放模块的大体架构 MusicServie负责维护音乐播放 管理 MediaPlayer 管理 播放队列 Client 与 MusicService的通讯 MusicService 会开启一个广播接收者，根据相应的广播Action，处理相应的事件 抽取音乐播放Action类， 即发送特定的Action来控制音乐播放 Client 通过广播接收者，来更新音乐播放相关UI : 进度、播放状态等 Client 通过Action类，向Service的广播接收者发送特定的Action，来实现音乐的控制。 阅读模块的大体架构 知乎阅读：StickHeader的实现， 对于知乎文章的展示， 利用RxJava请求文章内容，文章的CSS样式， 然后拼接 Html内容，进行展示 段子：普通的RecyclerView列表 图片：通过分类window来切换图片请求的URI 图片的查看，简单的实现缩放退出 整个APP的收藏模块 利用第三方关系型数据库， 泛型， 实现了简单的对象存储 最简单的收藏就是： 收藏：把对象存入数据库， 删除收藏： 把对象从数据库中删除 APP 中RecylerView的使用 通过对Adapter和ViewHolder的抽取 整个具体UI的展现， 可以说是面向 ItemHandler 的编程。 via:https://github.com/SusionSuc/Boring

基于在线民宿 UGC 数据的意见挖掘 一、研究目的 包含数据挖掘和NLP 相关的处理，负责数据采集、主题抽取、情感分析等任务。目的是克服用户打分和评论不一致，实时对在线民宿的满意度评测，包含在线评论采集和情感可视化分析。 二、研究方法 搭建了百度地图POI查询入口，可以进行自动化的批量查询 POI 信息的功能；构建了基于在线民宿语料的 LDA 自动主题聚类模型，利用主题中心词能找出对应的主题属性字典；以用户打分作为标注，然后 litNlp 自带的字符级 TextCNN 进行情感分析，将情感分类概率分布作为情感趋势，最后通过 POI 热力图的方式对不同地域的民宿满意度进行展示。 三、研究结论 基于用户 UGC 的在线民宿满意度挖掘，负责数据采集、主题抽取、情感分析等任务。开发的目的是克服用户打分和评论不一致，实现了在线评论采集和用户满意度分析。 来源https://github.com/CarryChang/Customer_Satisfaction_Analysis

秀视频--小程序社交软件 线上版 1.简介： 随着微信的普及、小视频的流行，我们设计一款基于微信小程序端的视频社交软件 + 后台管理系统作为自己专科毕业设计----秀视频-微信小程序端的后台管理系统。（短视频社交小程序，用户可以在小程序上发布自己的短视频 并且经过我们的平台自带的滤镜或者背景音乐，制作出独具特色的短视频。） 该小程序实现了点赞、评论、下载、分享、转发等功能。主要实现了人员的管理、短视频的管理、背景音乐的管理、登陆注册、权限验证、单点登陆等等。 从需求分析、功能设计、前端到后台、再到数据库的设计。一点点的积累，一点点的完善，预计小程序端+后台管理系统开发周期一个月。 对一个开发人员来说，如果想单纯的做出这些功能，其实并不难。 难的是对于这些功能细节的把控，项目整体的友好程度，用户的体验效果；对并发的考虑、对恶意请求、流畅度等细节的考虑。 1.1相关技术 前端: h5+css+javascript+jquery+bootstrap+themeleaf+ H plus 后端: springcloud+springboot+sping+springmvc+mybatis+mysql+redis+shiro 组件: bootsrap-table,webUploader,pagehelper+layer 项目部署: docker + linux 中间件: eureka 消息队列: rabbitmq 测试: swagger2 开发风格： 分布式系统架构，前后分离开发风格，RESTful api 1.2代码介绍 scetc-show-videos-admin 后台管理系统 scetc-show-videos-cloud eureka服务发现与注册 scetc-show-videos-config 分布式配置中心 scetc-show-videos-dev 小程序后台 scetc-show-videos-page 小程序界面 1.3需求分析 1.3.1用户需求 用户个人信息管理、视频编辑（加入滤镜或者背景音乐）、上传、浏览、点赞、关注、下载等功能。 1.3.2管理员需求 毕业设计选题环节中，系统管理员的需求为： 用户管理（新增用户、删除用户及用户登录系统数据的初始化操作）、视频管理（视频分类、新增视频、对违法视频进行删除操作）、背景音乐管理（对音乐库中音乐的增删）、滤镜管理、用户管理（新增各权限级的管理员、删除管理员、对子集权限组管理员系统登录数据的初始化操作）以及消息通知（发布不同对象的系统消息、对所有消息进行查看及删除操作） 项目设计 2.1 微信小程序端 前台的设计、后台的管理、安全性 前端：基于微信小程序的开发文档 后端：基于springboot微服务架构 + mysql数据库 + redis缓存数据库 + ffmpeg 组件：wxsearch微信小程序搜索组件 音视频工程工具+mybatis 数据持久层框架+redis数据库 2.2 后台管理系统端 后台管理系统的开发、安全性 mybatis 数据持久层框架+redis数据库 网站前端：bootstrap前端框架 + javascript + css +html +jquery +ajax+themeleaf 短视频：审核、删除 背景音乐：添加和修改 管理员管理：用户管理、视频访问量、点击率的记载分析 3.模块设计 3.1.1 用户端模块 用户模块主要页面： 个人管理、视频编辑、管理、上传、浏览、下载等。 3.1.3 管理员模块 管理员模块主要页面： 个人管理、人员管理、视频管理、音乐管理、审核发布、用户列表管理。 3.2 界面设计 3.2.1 用户页面 学生界面设计布局： 横向栏导航、页面内容。 转载自https://github.com/RAOE/show-videos

微书--小程序阅读应用 扫码体验 该项目借助微信小程序的便捷特性，为用户提供快速，并且舒适的阅读体验。 负责项目的原型设计，和小程序代码的开发。 实现了书城、我的书单、以及在线阅读器功能，目前该项目已经吸引了一批身边爱好阅读的好友用户。 运行 安装mongodb windows系统可以参考我写的教程，mac自己捣鼓，总之你需要创建一个名为myapp的数据库，本地可以不开启认证，后端运行起来后可以正常连接mongo就行。 ps: Mongo的连接配置都在 api/server/datasources.json 里，具体情况自行修改 安装redis 参考教程，安装成功之后启动redis，后端运行起来可以正常连接redis就可以了 ps：redis的连接配置写在了 api/server/models/my-app-user.js 里 快捷启动 因为以前也是用的 windows ，所以为了避免每次都敲代码启动 mongo 和 redis ，所以在 autorun/windows下写了一些脚本 但是这个不是立即就能使用的，需要自行改下mongo和redis的启动路径，具体的自己去看，如果你配置好的话可以在cmd中直接运行 ./autorun/windows/start.bat ，便可以出现图像化界面，启动各种程序。 启动后端程序 如果打印出Web server listening at: http://localhost:9001，恭喜你启动成功了 打开 http://localhost:9001/explorer/ 就能看到项目下的所有接口 运行小程序 下载一个开发者工具，然后打开项目下的 weixin 目录即可 ps：为了方便运行登录接口都是使用的mock数据，如果你有自己的小程序ID，可以到 api/server/models/my-app-user.js 自行修改 python 目录说明 运行 第一次下载项目可以运行 npm run init， 修改mongo配置文件就可以运行python， 执行python可以运行npm run start 项目截图： 小程序 后台管理系统 转载自https://github.com/Andyliwr/mbook ps: 这个项目只是一个毕业设计，作者已经将它商业化并上线，公开的只是它早期的代码，如果想要商业合作，可以联系作者邮箱 andyliwr@outlook.com

简介 本文描述了基于网络爬虫的新闻订阅系统的设计与实现的过程，主要工作如下： 1.编写一个网络爬虫,使其能够对网络中指定站点的新闻进行自动收集并存入数 据库； 2.数据的去重和网络爬虫的反爬虫策略应对； 3.提供一个新闻展示页面，把爬取到的新闻展示给用户； 4.提供新闻订阅页面，用户可以在页面输入指定订阅的关键词； 5.编写微信推送服务，把用户订阅的新闻通过微信推送给用户 目 录 第一章 引言………………………………………….. 1 1.1 项目的背景和意义 ……………………………………….1 1.2 研究开发现状分析………………………………………..1 1.2.1 个性化新闻服务现状 ……………………………….1 1.2.2 网络爬虫研究现状 …………………………………….2 1.2.3 项目的范围和预期结果 ……………………………2 1.3 论文结构简介 ………………………………………………3 第二章 技术与原理…………………………………….. 4 2.1 技术选型 ………………………………………………….4 2.1.1 Python 语言介绍 …………………………………..4 2.1.2 Scrapy 框架介绍 ………………………………………4 2.1.3 Django 框架介绍 …………………………………..5 2.1.4 MongoDB 数据库介绍 …………………………..5 2.1.5 AJAX 介绍 ……………………………………………..5 2.2 相关原理介绍 ………………………………………………6 2.2.1 网络爬虫介绍 …………………………………………..6 2.2.2 关键词提取技术 ……………………………………….6 2.2.3 智能推送技术 …………………………………………..7 第三章 系统需求分析…………………………………… 9 3.1 新闻订阅系统用例析取 …………………………………9 3.2 新闻订阅系统用例规约 ……………………………….9 3.2.1 新闻订阅………………………………………………9 3.2.2 新闻推送 ……………………………………………..11 第四章 新闻采集与订阅系统的设计…………….. 13 4.1 系统架构及原理 ……………………………………..13 4.2 系统模块设计 …………………………………………..15 4.2.1 爬虫采集模块设计 ………………………………..15 4.2.2 爬虫去重模块设计 ………………………………..16 4.2.3 防反爬虫模块设计 ………………………………..16 4.2.4 爬虫存储模块设计 ………………………………..17 4.2.5 消息推送模块设计 ………………………………..17 4.2.6 消息订阅与展示模块设计 ………………………17 4.3 数据库设计 ……………………………………………….18 第五章 新闻采集与订阅系统的实现…………….. 19 5.1 系统框架实现 …………………………………………..19 5.2 爬虫采集模块实现 …………………………………….21 5.3 防反爬虫模块实现 …………………………………….22 5.4 爬虫存储模块实现 ……………………………………..22 5.5 消息推送模块实现 …………………………………….23 5.6 消息订阅与展示模块实现 ………………………..25 第六章 系统部署……………………………………… 30 6.1 部署机器概述 …………………………………………..30 6.2 配置环境 …………………………………………………30 6.3 系统运行 …………………………………………………31 第七章 总结与展望……………………………………. 33 7.1 总结 …………………………………………………….33 7.2 展望 …………………………………………………….33 参考文献 …………………………………………… 34 致谢 …………………………………………… 35 附录 …………………………………………… 36 via:https://github.com/BillBillBillBill/NewsCrawler

项目启动步骤 1.使用 db/shopping.sql 中的 sql 语句创建数据库与数据库表 把你的数据库的账号密码改成root或者修改 ShopConfig.java中的数据库连接的账号和密码 2. 将项目导入 eclipse。 3. 打开 comfig包下的 ShopConfig 文件，右键单击该文件并选择 Debug As ---> Java Application。 除此之外，项目还可以与其它普通java web 项目一样，使用 tomcat jetty 与 web server 来启动。 4. 打开浏览器输入 localhost 即可查看运行效果 注意： 如果安装了 JavaSE 1.6 或更高版本，请先将tomcat下运行的项目jetty-server-xxx.jar删除 ，否则会有冲突。 idea启动项目 本地安装mysql（驱动用的是mysql-connector-java-8.0.13.jar，最好检查你本地数据库的版本是否兼容） 安装jdk6以上，文档用的是jdk8 安装idea，文档用的版本是 IDEA 2018.3 本地安装git 1 clone 项目 git clone https://github.com/jphuang/shopping.git 2 打开idea 3 file->open 选择shopping所在的文件夹，点OK 我的是在（F:\code\shopping ） 这个文件夹 项目配置 工程 路径 网络路径 工件（artifacts） 转载自https://github.com/jphuang/shopping

功能 第一次打开APP引导页，缓冲加载 天气信息的显示 广告，推送 桌面小工具 新闻资讯的查看 蓝牙串口传输温度 开发环境：Android studio 数据获取：易源数据SDK cityInfo 城市信息 time 时间 now 现在的天气 f1~f6 近一星期的天气预报信息 alarmList 预警信息 hourDataList 半小时更新一次的天气信息 aqi 空气质量 界面 via:https://github.com/w77996/Weather

FYim（flutter-yim）是基于 Flutter 技术开发的一款跨平台聊天社交应用，主要包含 IM（仿微信）、电影（仿豆瓣）、小说（仿书旗小说）、音乐（仿网易云音乐）四大模块。 git分支 0.0.1：flutter_app。Flutter最初的样子，用于测试开发环境是否匹配成功。 0.1.0：集成flutter_boost。项目测试，此分支后暂时只支持android。 1.x：module_movie，module_novel，module_cloud_music 2.x：module_movie => module_douban 开发环境 FlutterBoost需要修改源码： BoostFlutterView.java ViewCompat android.support => androidx BoostFlutterFragment.java 片段android.support => androidx BoostFlutterNativeView.java 去掉分离的@Override YIM主模块（仿微信） Yim电影模块（仿豆瓣） Yim音乐模块（仿网易云音乐） 来源:https://github.com/gdut-yy/OpenFlutterYim

这里简单说明一下项目下下来直接跑起的方法。前提先搞好python环境和vue环境,保证你有一个账户密码连上数据库mysql。 1、pip install requirements.txt 安装python包 2、修改mysql数据库的账户密码（weibosystem/ssettings）里面 3、创建数据库 python manage.py makemigrations python manage.py migrate 4、创建后台xadmin账户python manage.py createsuperuser 5、登录后台，http://localhost:8000/xadmin/SpiderAPI/target/ 在爬虫API里面的爬虫设置，输入一个用户uid + cookie，然后即可开始在首页localhost:8000数据爬虫id爬虫 系统介绍 extra_apps：xadmin后台管理系统 scrapydserver：Scrapy爬虫 src：django app里面写接口 webview：前端Vue代码 weibosystem：django wsgi/url等配置 前端使用：vue-cli + vue + vuex + axios 后端使用：python + django + xadmin + request + scrapy + scrapyd + snownlp（模型已训练好，但并不是特别准确） 系统功能介绍 ① 输入微博oid，爬取个人微博信息，情感分析处理后并展示（oid获取方式，进入个人微博首页如： https://weibo.com/u/1797112632 ，其中1797112632就是oid。）有些用户自定义了域名，右击查看网页源代码，搜索['oid']即可找到oid。下图是本系统爬取个人信息界面： ② 输入单条微博id，爬取个人微博信息（获取单条微博id的方式，打开微博客户端，随便找到一条微博，进入微博正文，点击右上角三个点，然后可以看到分享给微信好友，QQ好友等，在下面一栏有收藏等，往右边拖，找到复制链接，复制并粘贴出来。如 https://m.weibo.cn/1769965211/4366947749433348 ，其中4366947749433348就是单条微博id。）情感分析处理后并展示。本系统展示单条微博例子如下： ③ 输入微博id，或者多个微博id和Cookie启动持续爬虫。前提先运行Scrapyd服务。这个功能使用Scrpay爬虫，然后把数据存到Django的Model中。 ④ 独立出来的文本情感分析API，输入任意一段中文，返回情感分析值，词频，关键词。 ⑤ 数据库已爬虫的用户，其中持续爬虫模块点击进去就是③中的多用户爬虫，默认设置了组别是1，如需修改进入xadmin后台，修改即可，上面的点击个人账号，点击单条微博，也是进入信息展示界面。点击组别进入的多用户爬虫界面如下图： ⑥ xadmin后台管理系统 系统启动注意事项 按照技术文档操作完了之后，workon进入虚拟环境： 1、数据库自动生成，使用如下命令： python manage.py makemigrations python manage.py migrate 2、初始化Cookies 爬虫之前一定要先进入xadmin后台，使用数据库自动生成后，xadmin的登录账号密码就没了，参考这里初始化账号：https://blog.csdn.net/a_little_snail/article/details/76984933 ， 然后重设Cookie，获取新浪微博Cookie，可参考 https://blog.csdn.net/A_xiao_mili/article/details/77947802 这里。 via:https://github.com/Superbsco/weibo-analysis-system

开发环境 jdk1.8+tomcat8.5+mysql5.7 项目介绍 实现一个web应用，作为智能家居系统的服务端，接收来自客户端的数据，并能够通过web页面实时显示室内传感器的值，可以使用文本，建议使用曲线图；实现一个物联网客户端，模拟各种设备。客户端产生数据，发送至服务器，服务器根据协议对数据作出处理。 需要模拟的设备有： 温度传感器：数量1，采集房间温度信息。 湿度传感器：数量1，采集房间湿度信息。 空调：数量1，可以根据服务器发来的指令进行调节（制冷、制热、送风）、设置温度、风速；还可以根据服务器的指令上传自己的当前状态，如模式、温度、风速。 灯光：数量4，两盏灯只能开关，两外两盏灯可以调节亮度，调光范围为：0到100。 窗户：可以根据服务器发来的指令打开或者关闭窗户。 要求： 1、设计通信协议完成数据的双向传输，应用层协议应包含数据部分。 2、数据传输方式使用mqtt协议，需要安装EMQ消息服务器。 3、系统支持多客户端接入，在协议设计上能够区分来自不同客户端的消息，能够针对不同家庭进行控制设备。 转载自https://github.com/ytu-shh/smartHome