系统简介 利用深度学习自然语言处理模型，学习《全唐诗》所录诗歌，自动创作符合要求的绝句诗歌 系统功能 五言诗生成：无输入，自由发挥创作五言诗 七言诗生成：同上 藏头诗生成：根据用户输入的1~4个字，生成对应的藏头五\七言诗 使用了循环神经网络（GRU）和position embedding生成古诗。输入第一个汉字，生成剩余诗句，并且在生成过程中依概率在topk中选字。 效果 五言绝句 玉照上阳宫，清秋凝素风。日寒人未到，云尽雁还来。 七言绝句 月落寒天末风清，夜深吹落向南平。故人世乱唯应见，此夕空流万里情。 藏头诗（小鸟依人、我爱调参） 小径微凉风，鸟来林下生。依稀有相思，人事竟无情。 我有相思物，爱君花下衣。调琴一别曲，参差不见稀。 运行方法 直接python demo.py即可使用预训练模型。main.py用于训练，参数详见代码。 模型介绍 框架模型：GRU+MLP GRU是RNN的一种，用以处理和生成序列。是对LSTM的改进，使用同一门控控制遗忘和记忆，有更高的训练效率。 将GRU每一步得到的结果再通过一个输入为GRU的隐状态维数，输出为字典维度的MLP，并通过softmax归一化为概率。 训练过程 我们认为诗歌的生成过程是auto-regressive的，即每一个字的生成概率仅与前面的内容有关。因此使用前面基于循环神经网络的方法建模。 训练时，我们使用了teacher forcing的方法：即输入首字，并将模型输出与真实的第二字对比计算交叉熵损失；输入真实的第二字，并将模型的输出与真实的第三字对比…… 生成时，通过给定的每句首字（未给定则依首字频率采样），通过如图所示的传统步骤生成诗歌。我们用位置向量来确定句子位置。 汉字和位置嵌入 word embedding 方法 将字视为向量，在高维空间中使不同字的意义能够充分体现 采用在《四库全书》上预训练的embedding，生成300维字向量。《Analogical Reasoning on Chinese Morphological and Semantic Relations》 position embedding 方法： 将字在句中的位置信息也作为特征，充分利用诗歌的格式要求 能够有效的提高诗句的整体性，降低断句错误发生的概率 采用《Attention is All You Need》中的方法，生成100维位置向量，输入时并（concatenate）到word embedding后。 via:https://github.com/Sleepychord/ChinesePoemGeneration

我已经按照以下步骤使用Keras库训练了情感分类器模型。 1.使用Tokenizer对象/类将文本语料库转换为序列 2.使用model.fit（）方法建立模型 3.评估这个模型 现在，使用该模型进行评分，我能够将模型保存到文件中并从文件中加载。但是我还没有找到一种方法来将Tokenizer对象保存到文件中。没有这个，我每次需要评分，哪怕一个句子时都必须处理语料库。有没有解决的办法？

我想替换或修改tensorflow中的OP或部分图的梯度。 如果我能在计算中使用现有的梯度，那就更理想了。 在某些方面，这与tf.stop_gradient()所做的相反：我不想在计算梯度时添加一个被忽略的计算，而是想要一个只在计算梯度时使用的计算。 一个简单的例子是，通过将梯度与常数相乘来简单地缩放梯度（但不将正向计算乘以常数）。 另一个例子是将梯度剪切到给定的范围。

最近考虑将适用于iOS开发人员的机器学习版本与我的应用程序结合在一起。因为这是第一次使用与ML相关的任何东西，所以阅读Apple提供的不同型号说明时，感觉很迷。 这些模型具有相同的用途，唯一的区别是实际文件的大小。这些模型之间有什么区别，如何知道哪一个最合适？

在用户手册中，显示了不同的kernel_initializer https://keras.io/initializers/ 主要目的是初始化神经网络中的权重矩阵。 有人知道默认的初始化程序是什么吗？该文档未显示默认值。

我正在使用Lasagne为MNIST数据集创建CNN。 我目前拥有的CNN架构是： 这将输出以下图层信息： 并输出可学习参数的数量为217,706 我想知道这个数字是如何计算的？ 如果可能，是否可以概括每层学习参数应如何计算？

假设你需要创建一个激活函数，而仅使用预定义的张量流构建块是不可能的，那该怎么办？有没有更简单的方法？

我有一个简单的NN模型，用于使用Keras（Theano后端）从用python编写的28x28px图像中检测手写数字： 这样运行良好，我得到了约90％的准确度。然后，我执行以下命令，通过执行print(model0.summary（)）来获得网络结构的信息。 我不明白如何达到7850个总参数，这实际上意味着什么？

在MNIST LSTM示例中，我不理解“隐藏层”的含义。当表示一段时间后展开的RNN时，它是虚构层吗？ 为什么在大多数情况下num_units = 128？

我正在尝试通过PyTorch训练分类器。但是，当我向模型提供训练数据时，我遇到了训练问题。我收到此错误： 这是我的代码的关键部分：

是否有函数调用或其他方法来计算tensorflow 模型中的参数总数？ 参数的意思是：可训练变量的N个dim向量有N个参数，NxM矩阵有N*M参数等。 因此，本质上，我想在tensorflow会话中对所有可训练变量的维数的乘积求和。