神经 人体
神经网络基础部件-卷积层详解
本文深度讲解了卷积计算的原理，并详细介绍了构成所有卷积网络主干的基本元素，包括卷积层本身、填充(padding)和步幅 (stride)的基本细节、用于在相邻区域汇聚信息的汇聚层(pooling)，最后给出卷积层和汇聚层的代码示例和CNN框架结构图。 ......
MATLAB人工神经网络ANN代码
本文介绍基于MATLAB实现人工神经网络（ANN）回归的详细代码与操作。 在之前的文章MATLAB实现随机森林（RF）回归与自变量影响程度分析中，我们对基于MATLAB的随机森林（RF）回归与变量影响程度（重要性）排序的代码加以详细讲解与实践。本次我们继续基于MATLAB，对另一种常用的机器学习方法 ......
Python TensorFlow深度神经网络回归：keras.Sequential
本文介绍基于Python语言中TensorFlow的Keras接口，实现深度神经网络回归的方法。 1 写在前面 前期一篇文章Python TensorFlow深度学习回归代码：DNNRegressor详细介绍了基于TensorFlow tf.estimator接口的深度学习网络；而在TensorFl ......
神经网络基础部件-BN层详解
训练深度神经网络的复杂性在于，因为前面的层的参数会发生变化导致每层输入的分布在训练过程中会发生变化。这又导致模型需要需要较低的学习率和非常谨慎的参数初始化策略，从而减慢了训练速度，并且具有饱和非线性的模型训练起来也非常困难。网络层输入数据分布发生变化的这种现象称为内部协变量转移，BN 就是来解决这个... ......
Java实现BP神经网络MNIST手写数字识别
Java实现BP神经网络，内含BP神经网络类，采用MNIST数据集，包含服务器和客户端程序，可在服务器训练后使客户端直接使用训练结果，界面有画板，可以手写数字 ......
神经网络基础部件-激活函数详解
本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。从机器学习的角度来看，神经网络其实就是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得多层神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要... ......
Graph Neural Network——图神经网络
本文是跟着李沐老师的论文精度系列进行GNN的学习的，详细链接请见：零基础多图详解图神经网络（GNN/GCN）【论文精读】 该论文的标题为《A Gentle Introduction to Graph Neural Networks》，是对GNN的简介。那么论文的第一张图呢把鼠标放上去某一个结点将会表 ......
【机器学习】李宏毅——类神经网络训练不起来怎么办
如何判断导数值为零的点的类型 当发现训练数据集误差不再下降的时候，不是只有卡在局部最小值的情况，还有另外一种情况是处于鞍点，鞍点位置处虽然其导函数为零，但是其既不是局部最大值也不是局部最小值，如图： 因此，我们把局部最小值和鞍点这种点统称为驻点（critical point），但这两种情况是截然不同 ......
【机器学习】李宏毅——Recurrent Neural Network(循环神经网络)
假设我们当前要做一个人工智能客服系统，那该系统就需要对用户输入的话语进行辨认，例如用户输入： I want to arrive Taipei on November 2nd 那么该系统就能够辨认出来Taipei是目的地，而后面是时间。那么我们可以用一个简单的前向网络来实现这个事情，输出为这个单词属于 ......
PGL图学习之图神经网络ERNIESage、UniMP进阶模型[系列八]
通过以上两个版本的模型代码简单的讲解，可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节点和... ......
图神经网络之预训练大模型结合：ERNIESage在链接预测任务应用
通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节... ......
神经网络量化基础
模型量化是指将神经网络的浮点算法转换为定点。量化有一些相似的术语，低精度（Low precision）可能是常见的。
低精度模型表示模型权重数值格式为 FP16（半精度浮点）或者 INT8（8位的定点整数），但是目前低精度往往就指代 INT8。
常规精度模型则一般表示模型权重数值格式为 FP32（... ......