神经网络learning神经 机器
详解redis网络IO模型
前言 "redis是单线程的" 这句话我们耳熟能详。但它有一定的前提，redis整个服务不可能只用到一个线程完成所有工作，它还有持久化、key过期删除、集群管理等其它模块，redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从网络连接(accept) -> 读取请求内容(read) ......
kestrel网络编程--开发Fiddler
1 文章目的 本文讲解基于kestrel开发类似Fiddler应用的过程，让读者了解kestrel网络编程里面的kestrel中间件和http应用中间件。由于最终目的不是输出完整功能的产品，所以这里只实现Fiddler最核心的http请求和响应内容查看的功能。本文章是KestrelApp项目里面的一 ......
kestrel网络编程--开发redis服务器
1 文章目的 本文讲解基于kestrel开发实现了部分redis命令的redis伪服务器的过程，让读者了解kestrel网络编程的完整步骤，其中redis通讯协议需要读者自行查阅，文章里不做具体解析。 2 开发顺序 创建Kestrel的Redis协议处理者 配置监听的EndPoint并使用Redis ......
网络编程与通信原理
应用层：HTTP超文本传输协议，基于TCP/IP通信协议来传递数据；传输层：TCP传输控制协议，采用三次握手的方式建立连接，形成数据传输通道；网络层：IP协议，作用是把各种传输的数据包发送给请求的接收方； ......
Backbone 网络-DenseNet 论文解读
在 DenseNet 中，让网络中的每一层都直接与其前面层相连，实现特征的重复利用；同时把网络的每一层设计得特别“窄”（特征图/滤波器数量少），即只学习非常少的特征图（最极端情况就是每一层只学习一个特征图），达到降低冗余性的目的。 ......
二阶段目标检测网络-FPN 详解
FPN(feature pyramid networks) 是何凯明等作者提出的适用于多尺度目标检测算法。原来多数的 object detection 算法（比如 faster rcnn）都是只采用顶层特征做预测，但我们知道低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是... ......
二阶段目标检测网络-Faster RCNN 详解
backbone 为 vgg16 的 faster rcnn 网络结构如下图所示，可以清晰的看到该网络对于一副任意大小 PxQ 的图像，首先缩放至固定大小 MxN，然后将 MxN 图像送入网络。 ......
二阶段目标检测网络-Mask RCNN 详解
Mask RCNN 是作者 Kaiming He 于 2018 年发表的论文。Mask RCNN 继承自 Faster RCNN 主要有三个改进：
1，feature map 的提取采用了 FPN 的多尺度特征网络
2，ROI Pooling 改进为 ROI Align
3，在 RPN 后面，增加了... ......
二阶段目标检测网络-Cascade RCNN 详解
Cascade RCNN 是作者 Zhaowei Cai 于 2018 年发表的论文 Cascade R-CNN: Delving into High Quality Object Detection。Cascade R-CNN 来解决 IoU 选择的问题。它由一系列不断增加 IoU 阈值的检测器组... ......
【机器学习】李宏毅——类神经网络训练不起来怎么办
如何判断导数值为零的点的类型 当发现训练数据集误差不再下降的时候，不是只有卡在局部最小值的情况，还有另外一种情况是处于鞍点，鞍点位置处虽然其导函数为零，但是其既不是局部最大值也不是局部最小值，如图： 因此，我们把局部最小值和鞍点这种点统称为驻点（critical point），但这两种情况是截然不同 ......
【机器学习】李宏毅——Recurrent Neural Network(循环神经网络)
假设我们当前要做一个人工智能客服系统，那该系统就需要对用户输入的话语进行辨认，例如用户输入： I want to arrive Taipei on November 2nd 那么该系统就能够辨认出来Taipei是目的地，而后面是时间。那么我们可以用一个简单的前向网络来实现这个事情，输出为这个单词属于 ......
【机器学习】李宏毅——Unsupervised Learning
读这篇文章之间欢迎各位先阅读我之前写过的线性降维的文章。这篇文章应该也是属于Unsupervised Learning的内容的。 Neighbor Embedding Manifold Learning（流形学习） 在实际的数据中，很可能会存在这一种分布： 左边这个分布可以看成原先在二维平面上的分布 ......
Graph Neural Network——图神经网络
本文是跟着李沐老师的论文精度系列进行GNN的学习的，详细链接请见：零基础多图详解图神经网络（GNN/GCN）【论文精读】 该论文的标题为《A Gentle Introduction to Graph Neural Networks》，是对GNN的简介。那么论文的第一张图呢把鼠标放上去某一个结点将会表 ......
论文解读（PCL）《Probabilistic Contrastive Learning for Domain Adaptation》
论文信息 论文标题：Probabilistic Contrastive Learning for Domain Adaptation论文作者：Junjie Li, Yixin Zhang, Zilei Wang, Keyu Tu论文来源：aRxiv 2022论文地址：download 论文代码：do ......
【机器学习】李宏毅——Explainable ML(可解释性的机器学习)
在前面的学习之中，我们已经学习了很多的模型，它能够针对特定的任务，接受我们的输入并产生目标的输出。但我们并不满足于此，我们甚至希望机器告诉我们，它是如何得到这个答案的，而这就是可解释的机器学习。 Why we need Explainable ML 首先我们要明确，即使我们训练出来的模型能够得到一个 ......
机器学习——人脸性别识别
一、选题背景 人脸识别技术是模式识别和计算机视觉领域最富挑战性的研究课题之一，也是近年来的研究热点，人脸性别识别作为人脸识别技术的重要组成部分也受到了广泛地关注。人脸性别识别就是向计算机输入人脸图像，经过某种方法或运算，得出其性别。这种识别对人眼来说很简单，但对计算机却并不是一件容易的事情。 二、机 ......
【机器学习】李宏毅——Transformer
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。 ......
【机器学习】李宏毅——线性降维
降维，可以用下面这张图来很简单的描述，就是将不同的、复杂的多种树都抽象成最简单的树的描述，也就是我们不关心这棵树长什么样子有什么特别的特征，我们只需要降维，知道它是一棵树即可。 维度下降实际上就是找到一个function，使得输入x得到输出z，而输出z的维度要比输入x的维度小。具体有几种方面，下面就 ......
【机器学习】李宏毅——Anomaly Detection（异常检测）
本篇文章主要介绍了Anomaly Detection（异常检测）的思路具体实现方法，以及可能在实际应用中遇到的各种情况。 ......
【机器学习】李宏毅——Adversarial Attack（对抗攻击）
本文主要介绍了Adversarial Attack（对抗攻击）当前的研究现状，包括如何攻击、攻击的类别，以及原始模型如何进行防御等相关知识点。 ......
【机器学习】李宏毅——Flow-based Generative Models
本文主要介绍了Flow-based Generative Models的概念，以及其内部各个模块的主要思想，可结合我之前写过的生成模型的博客共同阅读。 ......
【机器学习】李宏毅——自注意力机制(Self-attention)
前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？ 这一类的场景包括文字识别、语音识别、图网络等等。 那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式： 每个向量对应一个输出：输出的数目与 ......
【机器学习】李宏毅——AE自编码器(Auto-encoder)
1、What 在自编码器中，有两个神经网络，分别为Encoder和Decoder，其任务分别是： Encoder：将读入的原始数据（图像、文字等）转换为一个向量 Decoder：将上述的向量还原成原始数据的形式 而目标是希望还原出来的结果能够与原始数据尽可能的接近。其中的向量可称为Embedaing ......
VmWare安装Centos后配置Net网络SSH链接问题看这一遍就够了
由于个人的阿里云Linux云服务器快要到期，之前购买了3年才280元的样子， 目前涨价到1700~2600元，实在不划算，想省些钱给娃买玩具更香，决定重新在个人电脑上使用虚拟机， 方便测试使用Linux和Docker等。 1：首先安装VmWare(网络上教材比较多，这里不说明了) 2:启动时在安装对 ......
深度学习-网络训练流程说明
1.背景 分类神经网络模型：Mobilenetv3。 深度学习框架：PyTorch。 Mobilenetv3简单的手写数字识别： 任务输入：一系列手写数字图片，其中每张图片都是28x28的像素矩阵。 任务输出：经过了大小归一化和居中处理，输出对应的0~9数字标签。 项目参考代码：https://gi ......
搞定实体识别、关系抽取、事件抽取，我用指针网络
PointerNet_Chinese_Information_Extraction 代码地址：https://github.com/taishan1994/PointerNet_Chinese_Information_Extraction 利用指针网络进行信息抽取，包含命名实体识别、关系抽取、事件抽 ......