理工酷

乍一看上面的图像，你可能会感觉这看起来很像强化学习，这是正确的。 控制器（本身就是神经网络）提出了解决问题的神经网络架构。在这种架构下，将对数据进行常规训练，然后计算最终的验证损失（或尝试优化的任何指标） 该损失值用于向强化学习过程提供正反馈奖励（或负反馈奖励）。给定奖励，将更新控制器网络的权重，并提出下一个候选架构。 这种过程可能会非常复杂，因为此过程在提出体系结构和评估其任务性能之间存在很长的反馈循环。此外，给定一些参数的可能架构的空间有多种组合。因此，神经体系结构搜索中的许多研究都致力于使搜索过程更加有针对性. 但是在培训的早期阶段，这种体系结构仍然是可以接受的。

举例

可以尝试通过首先在小型数据集上找到合适的网络“构建块”，然后将其转移到较大的数据集来解决此问题。 这是一个持续的研究领域，现在有很多人对此非常感兴趣。

转载自：https://www.quora.com/Is-it-possible-to-create-a-neural-network-that-produces-other-neural-networks