decomposition attention better matrix
AHB Matrix
常用的AHB Bus结构 AHB Matrix AHB Bus Matrix，即总线矩阵，其实际上就是一个互连（Interconnect）。用于连接满足该总线协议的外设，包括Master和Slave。基于该模块，我们可以快速的完成“连连看”工作。将设计好的IP封装成AHB协议，然后挂载上去即可。这样 ......
Matrix Calculus
1 Scalar Function \(\text{If }f(\mathbf{x})\in\mathbf{R},\mathrm{then}\) \[df=\frac{\partial f}{\partial x}dx+\frac{\partial f}{\partial y}dy+\frac{\p ......
tf.keras.layers.Attention: Dot-product attention layer, a.k.a. Luong-style attention.
tf.keras.layers.Attention( View source on GitHub ) Dot-product attention layer, a.k.a. Luong-style attention. Inherits From: Layer, Module tf.keras.la ......
CodeForces 1917E Construct Matrix
洛谷传送门 CF 传送门 \(2 \nmid k\) 显然无解。 若 \(4 \mid k\)，发现给一个全 \(2 \times 2\) 子矩形全部异或 \(1\) 不会对行异或和和列异或和造成影响。那么我们找到 \(\frac{k}{4}\) 个全 \(0\) 的 \(2 \times 2\) ......
Codeforces1917E - Construct Matrix
Codeforces1917E - Construct Matrix 首先考虑因为 \(n\) 为偶数，所以 \(k\) 为奇数时不可能满足条件。 其次，如果 \(4|k\)，那么实际上在矩阵中一直放 \(2\times 2\) 的全为 \(1\) 的矩阵就可以了。 随后，如果 \(k \equiv ......
Self-attention小小实践
目录公式 1 不带权重的自注意力机制公式 2 带权重的自注意力机制 公式 1 不带权重的自注意力机制 \[Attention(X) = softmax(\frac{X\cdot{X^T}}{\sqrt{dim_X}})\cdot X \]示例程序： import numpy as np emb_di ......
CodeForces 1913E Matrix Problem
洛谷传送门 CF 传送门 考虑费用流，对于每一行建两个点 \(i_0, i_1\)，分别代表这一行的所有 \(0, 1\)。同样每一列建两个点 \(j_0, j_1\)。源点分别向 \(i_0, i_1\) 连流量为这一行要求的 \(0\) 或 \(1\) 的个数，费用为 \(0\)。同理连汇点。 ......
CF Edu160E Matrix Problem
场上疯狂想求任意解+改动解至最优。。想不下去的时候一定要再读一遍题跳出来啊。 限制每一行每一列的 \(1\) 的个数，这很匹配啊！！ 考虑网络流，左侧 \(n\) 个节点连流量 \(a_i\)，右侧 \(m\) 个节点连流量 \(b_i\)。 对于原矩阵中为 \(0\) 的项 \((i,j)\)，若 ......
Is every covariance matrix positive definite?
Well, to understand why the covariance matrix of a population is always positive semi-definite, notice that: \[\sum_{i, j=1}^n y_i \cdot y_j \cdot \op ......
CF1913 E Matrix Problem 题解
Link CF1913 E Matrix Problem Question 给定一个 \(n\times m\) 的 01 矩阵，你可以把矩阵中的任意一个元素 01 翻转 需要最后的矩阵满足，每行 \(1\) 的个数有 \(A[i]\) 个，每列 \(1\) 的个数有 \(B[i]\) 个 Solu ......
covariance matrix in signal processing
cross-covariance In the case of complex random variables, the covariance is defined slightly differently compared to real random variables. For comple ......
Is Attention Better Than Matrix Decomposition?
Is Attention Better Than Matrix Decomposition? * Authors: [[Zhengyang Geng]], [[Meng-Hao Guo]], [[Hongxu Chen]], [[Xia Li]], [[Ke Wei]], [[Zhouchen Li ......
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation * Authors: [[Meng-Hao Guo]], [[Cheng-Ze Lu]], [[Qibin Hou]], [[Zhengning ......
CCNet: Criss-Cross Attention for Semantic Segmentation
CCNet: Criss-Cross Attention for Semantic Segmentation * Authors: [[Zilong Huang]], [[Xinggang Wang]], [[Yunchao Wei]], [[Lichao Huang]], [[Humphrey S ......
Dual Attention Network for Scene Segmentation：双线并行的注意力
Dual Attention Network for Scene Segmentation * Authors: [[Jun Fu]], [[Jing Liu]], [[Haijie Tian]], [[Yong Li]], [[Yongjun Bao]], [[Zhiwei Fang]], [[H ......
Attention Is All You Need
Attention Is All You Need * Authors: [[Ashish Vaswani]], [[Noam Shazeer]], [[Niki Parmar]], [[Jakob Uszkoreit]], [[Llion Jones]], [[Aidan N. Gomez]], ......
Expectation-Maximization Attention Networks for Semantic Segmentation 使用了EM算法的注意力
Expectation-Maximization Attention Networks for Semantic Segmentation * Authors: [[Xia Li]], [[Zhisheng Zhong]], [[Jianlong Wu]], [[Yibo Yang]], [[Zho ......
CBAM: Convolutional Block Attention Module
CBAM: Convolutional Block Attention Module * Authors: [[Sanghyun Woo]], [[Jongchan Park]], [[Joon-Young Lee]], [[In So Kweon]] doi:https://doi.org/10. ......
PSANet: Point-wise Spatial Attention Network for Scene Parsing双向注意力
PSANet: Point-wise Spatial Attention Network for Scene Parsing * Authors: [[Hengshuang Zhao]], [[Yi Zhang]], [[Shu Liu]], [[Jianping Shi]], [[Chen Cha ......
Deformable ConvNets V2: More Deformable, Better Results 可变形卷积v2
Deformable ConvNets V2: More Deformable, Better Results * Authors: [[Xizhou Zhu]], [[Han Hu]], [[Stephen Lin]], [[Jifeng Dai]] DOI: 10.1109/CVPR.2019. ......
Object Tracking Network Based on Deformable Attention Mechanism
Object Tracking Network Based on Deformable Attention Mechanism Local library 初读印象 comment:: （DeTrack）采用基于可变形注意力机制的编码器模块和基于自注意力机制的编码器模块相结合的方式进行特征交互。基于 ......
BiFormer: Vision Transformer with Bi-Level Routing Attention 使用超标记的轻量ViT
alias: Zhu2023a tags: 超标记 注意力 rating: ⭐ share: false ptype: article BiFormer: Vision Transformer with Bi-Level Routing Attention * Authors: [[Lei Zhu] ......
A Deformable Attention Network for High-Resolution Remote Sensing Images Semantic Segmentation可变形注意力
A Deformable Attention Network for High-Resolution Remote Sensing Images Semantic Segmentation * Authors: [[Renxiang Zuo]], [[Guangyun Zhang]], [[Rong ......
GCGP：Global Context and Geometric Priors for Effective Non-Local Self-Attention加入了上下文信息和几何先验的注意力
Global Context and Geometric Priors for Effective Non-Local Self-Attention * Authors: [[Woo S]] 初读印象 comment:: （GCGP）提出了一个新的关系推理模块，它包含了一个上下文化的对角矩阵和二维相 ......
矩阵范数（matrix norm）
向量范数是很常见的，在很多教科书里都能见到。矩阵范数是对向量范数的一种推广。下面转载一篇讲解矩阵范数的文章，里面有对弗罗贝尼乌斯范数的定义，比较适合扫盲。原文如下： 矩阵范数（matrix norm）是数学上向量范数对矩阵的一个自然推广。 矩阵范数的特性 以下 K 代表实数或复数域。现在考虑 空间， ......
flutter better_player 增加投屏按钮
better_player 播放器默认不可以修改UI 需要增加投屏按钮 则需要自定义UI 但是自定义UI 需要布局 有需要定义手势动作 还需要监听播放事件 有没可能服用原来的一切 仅仅增加一个投屏按钮呢？ 答案是肯定的 第一步设置主题 默认安卓和IOS 我们设置自定义 BetterPlayerCon ......
Fully Attentional Network for Semantic Segmentation：FLANet
Fully Attentional Network for Semantic Segmentation * Authors: [[Qi Song]], [[Jie Li]], [[Chenghong Li]], [[Hao Guo]], [[Rui Huang]] 初读印象 comment:: (F ......
Flash-attention 2.3.2 支持 Windows了，但是我的2080ti是不支持的。
不久前Flash-attention 2.3.2 终于支持了 Windows，推荐直接使用大神编译好的whl安装 github.com/bdashore3/flash-attention/releasesstable diffusion webui flash-attention2性能测试 安装环境 ......
【论文解读】System 2 Attention提高大语言模型客观性和事实性
本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正... ......
The Devil Is in the Details: Window-based Attention for Image Compression
目录简介 简介 基于CNN的模型的一个主要缺点是 cNN结构不是为捕捉局部冗余而设计的，尤其是非重复纹理，这严重影响了重建质量。受视觉转换器（ViT）和Swin Transformer最新进展的启发，我们发现将局部感知注意机制与全局相关特征学习相结合可以满足图像压缩的期望。 介绍了一种更简单有效的基 ......