计算机

计算机 · 圈子

8557 位酷友已加入

计算机圈子中包含常用的技术文档、源代码、模型、数据集、学习教程、技术报告等干货资料,加入圈子可以上传、下载资料,也可以使用提问来寻求资料或分享你认为有价值的站外链接~

关注推荐最新

热门标签

计算机

计算机·圈子   首发

阿托 更新了
资源

可与Discord API进行交互的JavaScript库

可与Discord API进行交互的JavaScript库 概述 discord.js是功能强大的Node.js模块,可以帮助你轻松地与Discord API进行交互。 面向对象 可预测的抽象 高效 Discord API的100%覆盖率 安装 需要Node.js 14.0.0或更高版本。 忽略有关未满足的对等依赖项的所有警告,它们都是可选的。 没有语音支持:npm install discord.js 具有语音支持(@ discordjs/opus):npm install discord.js @discordjs/opus 具有语音支持(opusscript):npm install discord.js opusscript 音频引擎 首选的音频引擎是@ discordjs/opus,因为它的性能明显优于opusscript。 当两者均可用时,discord.js将自动选择 @ discordjs/opus。只有在使用@ discordjs/opus不便的开发环境中才使用opusscript。 对于生产机器人,尤其是它们要在多台服务器上运行时,应将 @ discordjs/opus视为必需。 可选安装包 zlib-sync:用于WebSocket数据压缩和填充(npm install zlib-sync) erlpack:可大大加快WebSocket数据(反)序列化的速度(npm install discord / erlpack) 为了更快地进行语音数据包加密和解密,可以安装下列安装包中任意一个: sodium(npm install sodium) libsodium.js(npm install libsodium-wrappers) bufferutil:可实现更快的WebSocket连接(npm install bufferutil) utf-8-validate:与bufferutil结合使用,可以更快地处理WebSocket(npm install utf-8-validate) 用法举例 来源https://github.com/discordjs/discord.js

资源

【Demo】采用Pytorch的入门语义分割项目

采用Pytorch的入门语义分割项目 支持的网络有Unet和Segnet;遥感语义分割;Unet;Segnet;Remote sensing semantic segmentation; 环境配置 windows10 Anaconda 3 pytorch 1.0 tensorflow tensorboard tensorboardX (用于可视化) 如何运行 所有的相对路径均在代码中配置 打开终端,输入 调用Segnet 或者 调用Unet 或者 进行推断inference(需要有已经训练好的模型才可以推断) 包含文件 train_Seg.py 调用Segnet进行训练网络 主函数 train_Unet.py 调用Unet进行训练网络 主函数 predict.py 对模型进行inference预测 models/seg_net.py Segnet网络定义 models/u_net.py Unet网络定义 utils/DataArgument.py 数据预处理文件,对数据切割,旋转加噪顺便做数据增强 数据集 数据集下载 https://www.cs.toronto.edu/~vmnih/data/ 数据集处理 进入utils文件夹,使用下面语句(相对路径要提前配置好) DataArgument.py实现了对大图进行切割(成256 x 256),切割后旋转,加噪声等操作来生成训练数据。 已处理好的数据集下载 百度网盘 提取码:rjzy 下载后解压至 ./data/train/label 和 ./data/train/src 实验结果 来源https://github.com/fuweifu-vtoo/Semantic-segmentation

资源

用于选择日期和日期范围的Vue组件。

验证日期范围 用于选择日期和日期范围的Vue组件。使用Moment.js进行日期操作。支持中国农历。 使用 npm npm install vue-date-range 日历 日期范围 浏览器 从dist /下载vue-date-range.min.js并导入网页。例子: .sync 对于Vue2.3.0 +,我们可以使用.sync修饰符: v-model 我们还可以使用v-model修饰符(可以在2.2.0+中进行配置): 道具 日历 open-transition:是否打开转换。默认为true。 show-lunar:显示月球或不显示。默认为false。 禁用今天之前的天数:是否禁用今天之前的天数。 days-disabled-start:此天后禁用几天。 days-disabled-end:在此日期之前禁用天数。 disabled-func:用于决定是否禁用这一天。 设置一周的第一天。默认值为0(星期日)。 month-year-format:月份和年份的显示格式。默认值为“ MM-YYYY”。 lang:语言 range:选定的日期范围。例如: 每月特定天数:最初选定月份的任意一天。如果未设置,则等于value或syncDate或range.startDate或moment()。 日期范围 这个组件是建立在之上的Calendar,因此它Calendar除了具有所有其他道具外,sync-date 还具有其特定的道具: glowChangeOnStep0:如果设置为true,则将在选择一个日期后发出结果。或者在选择两个日期后发出结果。默认为false。 sync-range:默认日期范围。可用作范围(Vue 2.3.0+)的“双向绑定”。例如: 定制风格 这是一天的html结构示例: 跨度标签将具有不同的类(v-date-selected,v-date-passive,v-date-in-range,v-date-start-day,v-date-end-day)根据所选择的日期。 可以使用这些类设置自定义样式。例如: 转载自:https://github.com/ParadeTo/vue-date-range

计算机

计算机·圈子   首发

阿托 更新了
资源

基于PaddlePaddle的端到端图像分割套件

基于PaddlePaddle的端到端图像分割套件 PaddleSeg PaddleSeg是基于飞桨PaddlePaddle开发的端到端图像分割开发套件,涵盖了高精度和轻量级等不同方向的大量高质量分割模型。通过模块化的设计,提供了配置化驱动和API调用两种应用方式,帮助开发者更便捷地完成从训练到部署的全流程图像分割应用。 特性 高精度模型:基于百度自研的半监督标签知识蒸馏方案(SSLD)训练得到高精度骨干网络,结合前沿的分割技术,提供了50+的高质量预训练模型,效果优于其他开源实现。 模块化设计:支持15+主流 分割网络 ,结合模块化设计的 数据增强策略 、骨干网络、损失函数 等不同组件,开发者可以基于实际应用场景出发,组装多样化的训练配置,满足不同性能和精度的要求。 高性能:支持多进程异步I/O、多卡并行训练、评估等加速策略,结合飞桨核心框架的显存优化功能,可大幅度减少分割模型的训练开销,让开发者更低成本、更高效地完成图像分割训练。 模型库 模型\骨干网络 ResNet50 ResNet101 HRNetw18 HRNetw48 ANN ✔ ✔ BiSeNetv2 - - - - DANet ✔ ✔ Deeplabv3 ✔ ✔ Deeplabv3P ✔ ✔ Fast-SCNN - - - - FCN ✔ ✔ GCNet ✔ ✔ GSCNN ✔ ✔ HarDNet - - - - OCRNet ✔ ✔ PSPNet ✔ ✔ U-Net - - - - U2-Net - - - - Att U-Net - - - - U-Net++ - - - - DecoupledSegNet ✔ ✔ EMANet ✔ ✔ - - ISANet ✔ ✔ - - DNLNet ✔ ✔ - - 数据集 Cityscapes Pascal VOC ADE20K Pascal Context COCO stuff 安装 1.安装PaddlePaddle 版本要求 PaddlePaddle >= 2.0.0 Python >= 3.6+ 由于图像分割模型计算开销大,推荐在GPU版本的PaddlePaddle下使用PaddleSeg。推荐安装10.0以上的CUDA环境。安装教程请见PaddlePaddle官网。 2.安装PaddleSeg 支持用API调用的方式构建定制化的分割框架,灵活开发。 3. 下载PaddleSeg仓库 支持用配置化驱动的方式完成全流程分割应用,简单快捷。 4. 验证安装 运行以下命令,如果可以正常进行训练,说明您已经安装成功。 使用教程 快速入门 API使用教程 数据集准备 配置项 Loss使用 API参考 添加新组件 模型压缩 模型导出 实践案例 Cityscapes SOTA 来源https://github.com/PaddlePaddle/PaddleSeg

资源

信息安全总览及Web应用安全研究报告-甲子光年-2020.10

内容 信息安全是指采取技术和管理的安全保护手段,保护各类信息资源中的硬件、软件、通信网络、服务、数据等组成部分,保证各类信息设施正常运作,使其免受各种类型安全威胁的干扰和破坏,确保信息的机密性、完整性、可用性、可控性和可审查性。 随着信息化建设的逐步推进,企业的核心业务也越发依托信息系统,数据已成为企业的核心资产。新兴技术的不断涌现使得企业自身业务越发依赖于互联网,安全风险也随之上升,信息安全正成为企业的普适性设施。 我国信息安全市场目前正在高速增长,不过信息安全建设水平和发达国家有明显差距。企业面临的威胁和危险不容小觑。 目录 一 信息安全总览 信息安全市场发展现状 现代企业信息安全体系 信息安全细分领域供应商 二 重点安全领域介绍之Web应用安全 Web应用安全定义 安全威胁分析 安全产品介绍 案例剖析 未来发展趋势 发布单位:甲子光年 发布时间:2020年10月

计算机

计算机·圈子   首发

阿托 更新了
资源

【Demo】CCKS2019中文命名实体识别任务

CCKS2019中文命名实体识别任务 从医疗文本中识别疾病和诊断、解剖部位、影像检查、实验室检验、手术和药物6种命名实体。 现已实现基于jieba和AC自动机的baseline构建、基于BiLSTM和CRF的序列标注模型构建。 bert的部分代码源于https://github.com/charles9n/bert-sklearn.git 感谢作者。此部分代码也可从本站下载参考。 模型最终测试集得分0.81,还有较大改进空间。可以当做一个baseline。 来源https://github.com/MenglinLu/Chinese-clinical-NER

资源

Google BERT模型的sklearn包装器

Google BERT模型的sklearn包装器 scikit-learning包装器可以基于pytorch端口根据汉字微调Google的BERT模型,以执行文本和令牌序列任务。 包括可配置的MLP作为文本和文本对任务的最终分类器/回归器 包括用于NER,PoS和分块任务的令牌序列分类器 包括针对科学和生物医学领域的[SciBERT](https://github.com/allenai/scibert "SciBERT")和[BioBERT](https://github.com/dmis-lab/biobert "BioBERT")预训练模型。 在Google Colab中尝试! 安装 要求 python >= 3.5 and pytorch >= 0.4.1 基本操作 model.fit(X,y) 即微调 BERT X:列表,pandas数据框或文本,文本对或标记列表的numpy数组 y:列表,pandas数据框或标签/目标的numpy数组 模型选项 超参数调整 GLUE数据集 GLUE(Generalized Language Understanding Evaluation) 的train和dev数据集与bert-base-uncased模型一起使用,并再次与Google论文和GLUE排行榜中的报告结果进行了比较。 MNLI(m/mm) QQP QNLI SST-2 CoLA STS-B MRPC RTE BERT base(leaderboard) 84.6/83.4 89.2 90.1 93.5 52.1 87.1 84.8 66.4 bert-sklearn 83.7/83.9 90.2 88.6 92.32 58.1 89.7 86.8 64.6 CoNLL-2003命名实体识别(NER) NER CoNLL-2003共享任务的结果 dev f1 test f1 BERT paper 96.4 92.4 bert-sklearn 96.04 91.97 测试的跨度级别统计信息: NCBI生物医学NER NER将bert-sklearn与SciBERT和BioBERT一起用于[NCBI disease Corpus](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3951655/ "NCBI disease Corpus")名称识别任务。 测试集上f1的该任务的先前SOTA是87.34。 test f1 (bert-sklearn) test f1 (from papers) BERT base cased 85.09 85.49 SciBERT basevocab cased 88.29 86.91 SciBERT scivocab cased 87.73 86.45 BioBERT pubmed_v1.0 87.86 87.38 BioBERT pubmed_pmc_v1.0 88.26 89.36 BioBERT pubmed_v1.1 87.26 NA 测试 使用pytest运行测试: 来源https://github.com/charles9n/bert-sklearn

资源

基于PySpark与MySQL的复杂网络链路预测

link-prediction 基于PySpark和MySQL实现复杂网络的(错误)链路预测。结合PySpark的RDD操作实现图的出入度、某两个节点的共同邻居等的计算。 Spark配置: scala-2.11.5 spark-1.2.0 jdk1.8.0_31 虽然现在Spark版本迭代更新很快,但对于初学PySpark的同学,本项目仍有一定参考价值。 参考论文: 吕琳媛. 复杂网络链路预测[J]. 电子科技大学学报, 2010, 39(5):651-661. 相比NetworkX,结合Spark的图计算能更快一些,由于PySpark里没有GraphX模块,所以基于RDD的基本操作算子,实现一些图的基本计算。 Data 6个CSV文件,对应6个复杂网络(三种网络:Internet网络、生物信息网络、社交媒体网络,每种网络有两个。即总共3个有向图网络,3个无向图网络),数据存储的形式是边集数组。 对于有向图来说,每行数据有两个元素表示一条有向边arc。第一个元素是该边的起始节点,第二个元素是该边的终点; 对于无向图来说,每行数据也是两个元素,代表组成该无向边edge的两个节点。 代码有一段是将数据从CSV文件中读取并保存在MySQL中。 转载自:https://github.com/ysh329/link-prediction

资源

基于Flume,Kafka,SparkSql模拟的实时日志分析系统

NetWordCount是基于socket、SparkStreaming模拟的实时日志分析系统 程序说明 mySQL表结的代码 程序结构 dao:mysq数据库操作类 entity:实体类,分别对应数据库中4个表 log:统计分析,程序入口 util:ip转地址的工具,如何使用可以参考:http://f.dataguru.cn/thread-476384-1-1.html 运行 将工程下的Socket子工程打包运行,模拟日志的动态生成 在IDEA中运行Log类的main方法 mysql数据库的结果 [size=10.5000pt]IP: PV: 浏览器: 详情请参考:http://f.dataguru.cn/thread-590937-1-1.html KafkaMQ是基于Flume、Kafka、SparkStreaming模拟的实时日志分析系统 系统架构说明 代码说明 SimulateLog 模拟日志的动态生成,将日志写入到文本文件中。 KafkaSink 自定义的flume sink,将flume收集的日志发送到kafka broker NetworkWordCount 运行说明 1.把KafkaMQ打包,运行SimulateLog,产生日志写到文本文件中,这里数据还是日志文件,跟题目要求有点不一致。 java -cp KafkaMQ.jar com.paradeto.simulatelog.SimateLog ./access_log.txt 2000 ./out.txt 2.安装zookeeper和kafka,启动zookeeper,启动kafka,创建名为kafka的topic略 3.安装flume,将KafkaMQ.jar拷贝到flume的lib目录下,运行以下代码,实时收集日志 flume-ng agent --conf ./ --conf-file ./kafka-conf --name agentkafka -Dflume.root.logger=INFO,console kafka-conf如下所示: 在idea中运行KafkaLog 结果如下 详情请参考:http://f.dataguru.cn/thread-569488-1-1.html 转载自:https://github.com/ParadeTo/MessageQueue

  • 1
  • 97
  • 98
  • 99
  • 168
前往