我正在学习ANN，它是Udacity DeepLearning课程的一部分。 我的一项作业涉及使用L2损失将泛化引入具有一个隐藏ReLU层的网络。我想知道如何正确地引入它，以便所有权重都受到惩罚，而不仅仅是输出层的权重。 没有泛化的网络代码在下面。 引入L2的一种明显方法是将损失计算替换为以下内容（如果beta为0.01）： 但是在这种情况下，它将考虑输出层权重的值。我们如何适当地惩罚进入隐藏的ReLU层的权重，还是对输出层进行惩罚会以某种方式控制隐藏权重？

CIFAR-10数据集 介绍 CIFAR-10数据集包含10个类别的60000个32x32彩色图像，每个类别6000个图像。有50000张训练图像和10000张测试图像。 数据集分为五个训练批和一个测试批，每个批次具有10000张图像。测试批包含每个类别中1000个随机选择的图像，训练批按随机顺序取其余图像，但是一个训练批中各类图像的数量不一定相等。但总的训练批中，每个类的图像各5000张。 以下是数据集中的10个类，以及每个类中的10张随机图像： 这些类是完全独立的，互相之间没有重叠。 数据集布局 Python / Matlab版本 存档包含文件data_batch_1，data_batch_2，...，data_batch_5和test_batch。每个文件都是由cPickle生成Python的“ pickled”对象。这是一个python2例程，它将打开这样的文件并返回字典： 和python3版本： 以这种方式加载的每个批处理文件都包含一个具有以下元素的字典： Data：uint8s的10000x3072 numpy数组。阵列的每一行都存储一个32x32彩色图像。前1024个条目包含红色通道值，后1024个包含绿色，最后1024个包含蓝色。图像以行优先顺序存储，因此数组的前32个条目是图像第一行的红色通道值。 labels：10000个数字列表，范围为0-9。索引i处的数字表示数组数据中第i个图像的标签。 数据集包含另一个文件batchs.meta。它也包含一个Python字典对象。它具有以下内容： label_names：由10个元素组成的列表，为上述的labels数组中的数字标签提供有意义的名称。例如，label_names [0] ==“飞机”，label_names [1] ==“汽车”，等等。 二进制版本 二进制版本包含文件data_batch_1.bin，data_batch_2.bin，...，data_batch_5.bin和test_batch.bin。这些文件的每个格式如下： 也就是说，第一个字节是第一张图片的标签，它是0-9范围内的数字。接下来的3072个字节是图像的像素值。前1024个字节是红色通道值，中1024个字节是绿色通道值，最后1024个字节是蓝色通道值。这些值以行优先顺序存储，因此前32个字节是图像第一行的红色通道值。 尽管没有任何分隔行，但是每个文件包含10000个像这样的3073字节 "rows"的图像。因此，每个文件的长度应恰好为30730000字节。 还有一个文件，名为batchs.meta.txt。这是一个ASCII文件，它将0-9范围内的数字标签映射到有意义的类名称。它只是10个类名的列表，每行一个。第i行上的类名称对应于数字标签i。 来源 https://www.cs.toronto.edu/~kriz/cifar.html

实验要求 1.了解网络爬虫的基本知识与概念，掌握网络爬虫的基本方法。 2.利用所学知识进行初步的上机实践。 从网页http://www.whalebj.com/xzjc/default.aspx 每隔10秒抓取数据。 实验结果

我知道双向LSTM有一个向前和向后的传递，这和单向LSTM相比有什么好处？

在Keras中，我们可以将输出model.fit返回到历史记录，如下所示： 现在，如何将历史记录对象的历史属性保存到文件中以供进一步使用（例如，绘制迭代的acc或损失图）？

目前，我使用以下代码： 它告诉Keras，如果损失在2次迭代内没有改善，就停止训练。但是我要在损失小于某个恒定的“ THR”后停止训练： 有什么建议吗？

我想制作一个使用ReLU函数的简单神经网络。有人可以告诉我如何使用numpy实现该功能吗？

基于移动设备的眼球追踪技术及其应用 一、研究目的 在本文中，我们主要验证在移动设备上进行实时眼球追踪的可行性，并提出使用眼球追踪进行移动设备控制。 二、研究方法 我们首先对眼球追踪技术进行测试，验证了现行眼球追踪算法在移动设备上进行眼球运动方向追踪的准确性。随后基于视频播放场景，在原有的控制技术基础上，实现了基于眼球运动方向的视频播放控制。相较于之前的研究，我们不仅验证了眼球追踪技术在移动设备上应用的准确性，同时提出了其适用的场景和相应的解决方案。 三、研究结论 针对用户观看视频过程中有时不便手动控制这一现象，我们率先将眼球追踪技术与视频播放控制结合起来，改善了用户使用体验。而经过实验验证，基于眼球运动方向进行操作控制的平均准确率达到 70.5%，这一新颖的控制方式被证明是可靠的。 四、目录 第一章 绪论 1.1 研究背景 1.2 本文工作 1.3 论文结构 第二章 相关工作 2.1 眼睛行为分析 2.1.1 视线估计 2.1.2 眼球运动 2.2 基于眼睛交互 2.2.1 隐式交互 2.2.2 显式交互 2.3 移动设备控制 第三章 瞳孔检测与眼球追踪 3.1 面临挑战 3.2 环境影响 3.2.1 距离 3.2.2 照明条件 3.3 眼睛检测 3.3.1 Harr特征选择 3.3.2 计算积分图像 3.3.3 Adaboost 训练 3.3.4 级联分类器 3.4 瞳孔中心定位 3.4.1 梯度方法 3.4.2 运行结果 3.5 眼球运动方向追踪 第四章 系统实现与性能评估 4.1 系统实现 4.1.1 视频播放器 4.1.2 基于眼球控制实现视频播放 4.2 性能评估 4.2.1 实验设置 4.2.2 眼球追踪模块 4.2.3 视频控制模块 第五章 总结与展望 参考文献 致 谢 来源https://github.com/njuzyh/EyeTrack

基于LSTM网络与自注意力机制对中文评论进行细粒度情感分析 题目介绍 在线评论的细粒度情感分析对于深刻理解商家和用户、挖掘用户情感等方面有至关重要的价值，并且在互联网行业有极其广泛的应用，主要用于个性化推荐、智能搜索、产品反馈、业务安全等。本次比赛我们提供了一个高质量的海量数据集，共包含6大类20个细粒度要素的情感倾向。参赛人员需根据标注的细粒度要素的情感倾向建立算法，对用户评论进行情感挖掘，组委将通过计算参赛者提交预测值和场景真实值之间的误差确定预测正确率，评估所提交的预测算法。 实验环境 tensorflow 1.8.0-gpu, python-3.5.6 模型架构 参数设置 学习率: 3e-4 学习率尝试过1e-4、3e-4、1e-3等，发现取3e-4时F1值和1e-3差不多，但是取3e-4时模型的最终loss更低。 dropout: 1.0 dropout尝试过0.5、0.75以及1.0，发现取1.0的时候效果最好，0.5的时候效果最差。 句子截断长度：350个词语 句子截断长度取350个词语时，仅5%的评论被截断，其余不足350个词语的评论在词嵌入的时候补0。 词向量维度：300 词向量维度尝试过250、300、350等，但是对模型的性能提升不大，一般都选用300。（维度过高会延长训练时间） batchSize：32 完成情况 单个模型最好的F1指标为：75.04 整体20个模型的综合F1指标为：68 来源https://github.com/viewlei/fsauor2018 提示：该题目可检索“AI Challenger 2018：细粒度用户评论情感分析”获得更多的资料和信息

我正在使用Adam优化器训练一个用于图像定位的网络，有人建议我使用指数衰减。我不想尝试，因为Adam优化器本身会降低学习速度。我应该这样做吗？有任何理论依据吗？

我想了解TimeDistributed层在Keras中的作用。 但我做了一些实验，得到了我无法理解的结果。 在LSTM层的连接上，TimeDistributed和Just Dense层的结果相同。 对于这两个模型，我得到的输出均为（None，10，1）。