标记nlp
带你上手基于Pytorch和Transformers的中文NLP训练框架
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ......
基本经典的NLP书籍
以下是几本经典的自然语言处理（NLP）书籍： 1. "Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recog ......
标记用例tag
通过 Tag 对用例分组： 环境分组： 测试环境、预发布环境 阶段分组： 冒烟用例 版本分组： V1.1、V1.2 设置标签 根据标签执行 结合 Maven 执行 结合测试套件执行 import org.junit.jupiter.api.Tag; import org.junit.jupiter. ......
可持久化线段树标记永久化？可刺激化修道士表舅已经黑！
关于可刺激化修道士表舅已经黑。 因为傻逼 lxd 告诉我我的表舅已经黑写法是错误的，所以稀里糊涂的让他改成了他的那种写法。但是我的也是对的。 比如区间加和区间查和，维护一个 $tag$，表示表舅的值。然后在区间加的时候，经过的区间的 $sum$ 的值可以直接加，但是只有在 ```cpp if (x ......
超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据
# “超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！” # 1.简介 1. `目标`：基于`pytorch`、`transformers`做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调 ......
全套解决方案：中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
# 全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！ # 1.简介 1. `目标`：基于`pytorch`、`transformers`做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转 ......
正则查找html中的标记语言
查找以<link href="https:// 开头以" rel="prefetch">结束的标签 ^<link href="https://.*?" rel="prefetch">$ ......
统计数据源(NLP/AI/ML): Indeed.com(全球超过60个市场28种语言的招聘站:可视化统计数据https://www.hiringlab.org/data/)
Indeed.com: 全球招聘站可视化统计数据: (全球超过60个市场28种语言的招聘站:可视化统计数据https://www.hiringlab.org/data/) Indeed has websites in over 60 markets and 28 languages. The ful ......
llm 多模态通用大模型（nlp/cv）知识讲解
模型算法(最难，模型结构与训练方法) 数据（最耗时，数据与模型效果之间的关系） 算力（GPU显卡+模型量化） 模型参数量、训练数据量： 模型参数量决定 整个模型的理论效果 训练数据量决定 整个模型的实际效果 多模态：用于表示某种信息的模式（图片、文字、语音、视频） 通过各种预训练模型将信息的不同模式 ......
标记永久化
标记永久化： * 要求修改必须顺序无关 * 满足区间贡献独立 * 多标记好像也不适用 * 如果对于指定区间的修改可以在与当前区间仅仅是相交而不是包含的情况下可以直接完成，就不需要`pushup` ......
nlp入门（五）隐马尔科夫模型
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 一、马尔科夫模型概念 1.1 马尔科夫模型：具有马尔可夫性质并以随机过程为基础的模型 1.2 马尔科夫性质：过去状态只能影响现在状态，影响不了将来的状态 1.3 马尔科夫过程：随机过程满足马尔科夫性质，状态转移矩 ......
NLP语义相似度尝试
要实现这么一个需求，预设一个评分标准，然后根据用户的行为或者一段描述进行打分，很自然的想到了这几年很火的NLP，调研了一番做个记录。 1.方案选择 python上有很多很成熟的库来实现，本次选用SentenceTransformers。 2.环境搭建 安装python:太新的版本可能造成各种库不兼容 ......
NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践
# NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践 文本匹配多用于计算两个文本之间的相似度，该示例会基于 ESimCSE 实现一个无监督的文本匹配模型的训练流程。文本匹配多用于计算两段「自然文本」之间的「相似度」。 例如，在搜索引 ......
NLP文本匹配任务Text Matching 有监督训练：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践
NLP文本匹配任务Text Matching 有监督训练：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践 ......
GPT之路(一) AI基础之自然语言处理NLP工作原理
这篇随笔主要是介绍AI基础知识，自然语言处理NLP 1.自然语言处理NLP工作原理 自然语言处理(Natural Language Processing,NLP)是指计算机与人类自然语言进行交互的技术领域，它涉及到语音识别、文本分析、机器翻译、情感分析、自然语言生成等多个方面。NLP是人工智能的一个 ......
JSON数据压缩传输（一）- 无标记数组
服务端 string[] fields = dto.fields.Split(','); var resluts=new List<dynamic>(); //只取前端使用的字段foreach (var item in data) { var obj = new System.Dynamic.Exp ......
7个顶级开源数据集来训练自然语言处理（NLP）和文本模型
随着围绕NLP的大量兴奋和研究，将这些技术应用于现实世界场景的机会越来越多。熟悉NLP并非易事，这些开源数据集可以帮助您提高技能。 ......
nlp入门（四）新闻分类实验
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源： 搜狗新闻语料库 由于链接失效，现在使用百度网盘分享 链接：https://pan.baidu.com/s/1RTx2k7V3Ujgg9-Rv8I8IRA?pwd=ujn3 提取码：ujn3 停用词 来 ......
nlp入门（三）基于贝叶斯算法的拼写错误检测器
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：norvig.com/big.txt 贝叶斯原理可看这里：机器学习算法学习笔记 - 过客匆匆，沉沉浮浮 - 博客园 (cnblogs.com) 一、数据预处理 将输入的数据全部变为小写方便后续处理 de ......
nlp入门（二） ：商品信息可视化与文本分析实战
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：麦卡里价格建议挑战Mercari Price Suggestion Challenge | Kaggle 如果不会使用魔法可以使用百度云 链接：https://pan.baidu.com/s/1EM2M ......
TextBrewer:融合并改进了NLP和CV中的多种知识蒸馏技术、提供便捷快速的知识蒸馏框架、提升模型的推理速度，减少内存占用
TextBrewer:融合并改进了NLP和CV中的多种知识蒸馏技术、提供便捷快速的知识蒸馏框架、提升模型的推理速度，减少内存占用 ......
NLP | WMT数据集说明
**网址**：https://www.statmt.org/  其中下面这个是WMT每年的链接：  这个是图标编辑器 填充的时候不想填充纯色，要填充渐变色，可以点击“填充”，就可以了 先通过打关键帧模拟 ......
DataWhale NLP第二期 第一次打卡
> 理解赛题，跑通竞赛实践全流程 > 跑通实践基线Baseline，获得自己的成绩 > 提交任务一打卡，查看个人成绩排行榜 ## 赛题理解 [赛题链接](https://challenge.xfyun.cn/topic/info?type=text-detector&option=ssgy&ch=y ......
聊聊自然语言处理NLP
## 概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene Co ......
自然语言处理（Natural Language Processing，NLP）
自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、处理和生成人类自然语言。NLP 的目标是让计算机能够像人类一样有效地理解和交流，从而实现更自然、更智能的人机交互。 NLP的理解概括： 文本理解和分析： NLP技术能够从 ......
script的加载方式标记
在 HTML 中，可以通过以下几种方式来指定 JavaScript 脚本的加载方式： <script> 标签的 async 属性：async 属性用于指定脚本的异步加载。当指定了 async 属性时，脚本将会在加载时不阻塞 HTML 解析，并在加载完成后立即执行。多个异步脚本的执行顺序是不确定的。 ......
【Python&目标识别】Labelimg标记深度学习（yolo）样本
人工智能、ai、深度学习已经火了很长一段时间了，但是还有很多小伙伴没有接触到这个行业，但大家应该多多少少听过，网上有些兼职就是拿电脑拉拉框、数据标注啥的，其实这就是在标记样本，供计算机去学习。所以今天跟大家分享下如何使用Labelimg去自己标记深度学习样本。 ......
nlp入门
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 一、字符串处理 这里是一些自然语言中常用的python字符串操作，python内置无需安装 1.1 strip函数：去掉首尾特定字符 示例： text = " abcdef125s wr2258abcd " pr ......
NLP | safetensors是什么文件
safetensors是谷歌开发的一种TensorFlow Lite模型文件格式，用于在移动设备上运行模型。`.safetensors` 文件是用 numpy 保存的，这意味着它们只包含张量数据，没有任何代码，加载 .safetensors 文件更安全和快速。如果你想在手机上打开本地后缀为safet ......