robustness similarity improving attention
SHARPNESS-AWARE MINIMIZATION FOR EFFICIENTLY IMPROVING GENERALIZATION论文阅读笔记
Intro 在训练集上最小化损失很可能导致泛化性低，因为当今模型的过参数化会导致training loss的landscape异常复杂且非凸，包含很多local/global minima，因此优化器的选择至关重要。loss landscape的几何性质（特别是minima的flatness）与泛化 ......
An improved LSTM-based model for identifying high working intensity load segments of the tractor load spectrum
一区top Computers and Electronics in Agriculture 题目： “基于改进 lstm 的拖拉机载荷谱高工作强度载荷段识别模型” (pdf) “An improved LSTM-based model for identifying high working in ......
基于融合语义信息改进的内容推荐算法。Improved content recommendation algorithm integrating semantic information.
引言 路漫漫其修远兮，吾将上下而求索。每天一篇论文，做更好的自己。 本文读的这篇论文为发表于2023年5月28日的一篇名为《基于融合语义信息改进的内容推荐算法》（基于融合语义信息改进的内容推荐算法）的文章，文章主要介绍了基于内容的推荐技术在电子商务和教育领域的广泛应用，以及传统基于内容推荐技术在语义 ......
tf.keras.layers.Attention: Dot-product attention layer, a.k.a. Luong-style attention.
tf.keras.layers.Attention( View source on GitHub ) Dot-product attention layer, a.k.a. Luong-style attention. Inherits From: Layer, Module tf.keras.la ......
初中英语优秀范文100篇-048My English Has Improved-我的英文水平提高了
PDF格式公众号回复关键字:SHCZFW048 记忆树 1 When I entered junior middle school,there were so many subjects that I had to stay up every night to review what I had l ......
初中英语优秀范文100篇-041Computer Improves My English Study-电脑有助于我英语学习
PDF格式公众号回复关键字:SHCZFW041 记忆树 1 Nowadays, we cannot live without computers for one day. 翻译 现在，我们一天都无法离开电脑。 简化记忆 电脑 句子结构 1Nowadays是副词，表示“现在”，作状语。 2we can ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
Self-attention小小实践
目录公式 1 不带权重的自注意力机制公式 2 带权重的自注意力机制 公式 1 不带权重的自注意力机制 \[Attention(X) = softmax(\frac{X\cdot{X^T}}{\sqrt{dim_X}})\cdot X \]示例程序： import numpy as np emb_di ......
论文精读：ST2Vec：道路网络中的时空轨迹相似性学习（ST2Vec: Spatio_Temporal Trajectory Similarity Learning in Road Networks）
论文精读：ST2Vec 道路网络中的时空轨迹相似性学习 《ST2Vec: Spatio-Temporal Trajectory Similarity Learning in Road Networks》 论文链接：https://doi.org/10.48550/arXiv.2112.09339 一 ......
Hierarchical Clustering-based Personalized Federated Learning for Robust and Fair Human Activity Recognition-2023
任务：人类活动识别任务Human Activity Recognition HAR 指标：系统准确性、公平性、鲁棒性、可扩展性 方法：1. 提出一个带有层次聚类（针对鲁棒性和公平的HAR）个性化的FL框架FedCHAR；通过聚类（利用用户之间的内在相似关系）提高模型性能的准确性、公平性、鲁棒性。 2 ......
Is Attention Better Than Matrix Decomposition?
Is Attention Better Than Matrix Decomposition? * Authors: [[Zhengyang Geng]], [[Meng-Hao Guo]], [[Hongxu Chen]], [[Xia Li]], [[Ke Wei]], [[Zhouchen Li ......
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation * Authors: [[Meng-Hao Guo]], [[Cheng-Ze Lu]], [[Qibin Hou]], [[Zhengning ......
CCNet: Criss-Cross Attention for Semantic Segmentation
CCNet: Criss-Cross Attention for Semantic Segmentation * Authors: [[Zilong Huang]], [[Xinggang Wang]], [[Yunchao Wei]], [[Lichao Huang]], [[Humphrey S ......
Dual Attention Network for Scene Segmentation：双线并行的注意力
Dual Attention Network for Scene Segmentation * Authors: [[Jun Fu]], [[Jing Liu]], [[Haijie Tian]], [[Yong Li]], [[Yongjun Bao]], [[Zhiwei Fang]], [[H ......
Attention Is All You Need
Attention Is All You Need * Authors: [[Ashish Vaswani]], [[Noam Shazeer]], [[Niki Parmar]], [[Jakob Uszkoreit]], [[Llion Jones]], [[Aidan N. Gomez]], ......
Expectation-Maximization Attention Networks for Semantic Segmentation 使用了EM算法的注意力
Expectation-Maximization Attention Networks for Semantic Segmentation * Authors: [[Xia Li]], [[Zhisheng Zhong]], [[Jianlong Wu]], [[Yibo Yang]], [[Zho ......
CBAM: Convolutional Block Attention Module
CBAM: Convolutional Block Attention Module * Authors: [[Sanghyun Woo]], [[Jongchan Park]], [[Joon-Young Lee]], [[In So Kweon]] doi:https://doi.org/10. ......
PSANet: Point-wise Spatial Attention Network for Scene Parsing双向注意力
PSANet: Point-wise Spatial Attention Network for Scene Parsing * Authors: [[Hengshuang Zhao]], [[Yi Zhang]], [[Shu Liu]], [[Jianping Shi]], [[Chen Cha ......
Object Tracking Network Based on Deformable Attention Mechanism
Object Tracking Network Based on Deformable Attention Mechanism Local library 初读印象 comment:: （DeTrack）采用基于可变形注意力机制的编码器模块和基于自注意力机制的编码器模块相结合的方式进行特征交互。基于 ......
BiFormer: Vision Transformer with Bi-Level Routing Attention 使用超标记的轻量ViT
alias: Zhu2023a tags: 超标记 注意力 rating: ⭐ share: false ptype: article BiFormer: Vision Transformer with Bi-Level Routing Attention * Authors: [[Lei Zhu] ......
A Deformable Attention Network for High-Resolution Remote Sensing Images Semantic Segmentation可变形注意力
A Deformable Attention Network for High-Resolution Remote Sensing Images Semantic Segmentation * Authors: [[Renxiang Zuo]], [[Guangyun Zhang]], [[Rong ......
GCGP：Global Context and Geometric Priors for Effective Non-Local Self-Attention加入了上下文信息和几何先验的注意力
Global Context and Geometric Priors for Effective Non-Local Self-Attention * Authors: [[Woo S]] 初读印象 comment:: （GCGP）提出了一个新的关系推理模块，它包含了一个上下文化的对角矩阵和二维相 ......
Rethinking and Improving Relative Position Encoding for Vision Transformer: ViT中的位置编码
Rethinking and Improving Relative Position Encoding for Vision Transformer * Authors: [[Kan Wu]], [[Houwen Peng]], [[Minghao Chen]], [[Jianlong Fu]], ......
Fully Attentional Network for Semantic Segmentation：FLANet
Fully Attentional Network for Semantic Segmentation * Authors: [[Qi Song]], [[Jie Li]], [[Chenghong Li]], [[Hao Guo]], [[Rui Huang]] 初读印象 comment:: (F ......
Flash-attention 2.3.2 支持 Windows了，但是我的2080ti是不支持的。
不久前Flash-attention 2.3.2 终于支持了 Windows，推荐直接使用大神编译好的whl安装 github.com/bdashore3/flash-attention/releasesstable diffusion webui flash-attention2性能测试 安装环境 ......
【论文解读】System 2 Attention提高大语言模型客观性和事实性
本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响。为了帮助纠正... ......
The Devil Is in the Details: Window-based Attention for Image Compression
目录简介 简介 基于CNN的模型的一个主要缺点是 cNN结构不是为捕捉局部冗余而设计的，尤其是非重复纹理，这严重影响了重建质量。受视觉转换器（ViT）和Swin Transformer最新进展的启发，我们发现将局部感知注意机制与全局相关特征学习相结合可以满足图像压缩的期望。 介绍了一种更简单有效的基 ......
论文笔记: Attributed Graph Clustering: A Deep Attentional Embedding Approach
论文笔记: Attributed Graph Clustering: A Deep Attentional Embedding Approach 中文名称: 属性图聚类：一种深度注意力嵌入方法 论文链接: https://arxiv.org/abs/1906.06532 背景: 图聚类是发现网络 ......
Attention 2015-今
现在attention的热度已经过去了，基本上所有的attention都是transformer的kqv形式的，甚至只要说道attention，默认就是transformer的attention。 为避免遗忘历史，我这里做一个小总结。繁杂的att我就不去了解了，只了解下经典的。 以下以\(h_i\) ......
Performance Improvements in .NET 8 & 7 & 6 -- Thread【翻译】
线程 .NET 的最近版本在线程、并行、并发和异步等方面做出了巨大的改进，例如 ThreadPool 的完全重写（在 .NET 6 和 .NET 7 中），异步方法基础设施的完全重写（在 .NET Core 2.1 中），ConcurrentQueue 的完全重写（在 .NET Core 2.0 中 ......