pyspark环境redis es
Jax报错：Windows系统环境下WSL中运行Jax会导致nvidia-smi报错退出，无法使用nvidia-smi和gpustat
环境： Window11下的WSL： 运行jax，导致nvidia-smi无法使用，不过经过测试发现虽然nvidia-smi报错无法使用，但是GPU已经可以正常使用，调用jax的GPU运行也保持正常，只不过无法使用nvidia-smi对GPU状态进行查询。 ......
Mysql环境配置与安装
一、下载Mysql 从官网下载MySQL，这里我选用的是Mysql8.0.34版 选择Windows(x86,32-bit),MSI Instraller，进行下载： 选择No thanks，just start my diwnload，进行下载 二、安装MYSQL 下载完成后直接双击进行安装，打开 ......
es集群无缝迁移扩容
新节点加入老集群 cluster.name: soc-cluster node.name: node-2test path.data: /home/secure/elastic/data path.logs: /home/secure/elastic/logs network.host: 0.0.0 ......
Flink Sql线上环境踩坑记录
背景：Flink Sql程序本机测试执行没问题，上到生产环境就报各种诡异得问题，搞得头都大了。。。特此记录下解决过程。 问题原因主要两点： 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. ......
Java环境配置
前言（文章摘抄如：https://blog.csdn.net/xhmico/article/details/122390181）java 环境配置，网上教程很多，那我为什么还要写？ 首先为了完善我的知识体系 今后一些软件的安装教程也可能会用到 想写一个更加详细的，因为这并不仅仅是写给 IT 行业的， ......
MySQL与Redis数据双写一致性工程落地案例
复习-面试题 多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。 其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。 后面的线程进来发现已经有缓存了，就直接走缓存。 canal canal [kə'næl]，中文翻译为 水道/管 ......
redis
Nosql 为什么使用Nosql 我们处于大数据时代！！普通的数据库无法进行数据分析 数据库历史发展 单机MySQL时代 单机MySQL时代（90年代）,一个网站的访问量一般不会太大，单个数据库完全够用 出现的问题： 数据量增加到一定程度，单机数据库就放不下了 数据的索引（B+ Tree）,一个机器 ......
支持NVIDIA GPU —— 如何运行docker环境下的Jax环境
项目地址： https://github.com/NVIDIA/JAX-Toolbox 具体的安装命令： 地址： https://github.com/NVIDIA/JAX-Toolbox/pkgs/container/jax linux/amd64 docker pull ghcr.io/nvid ......
redis设置密码和开启远程访问
改密码 默认redis安装后，密码是默认的，通过查看安装目录的config文件，可以查到：requirepass 这个设置，默认是啥就是啥。 需要修改密码的话，把这个注释拿掉，将requirepass 改为你需要的密码即可。 可以运行redis-cli 输入： auth 你的密码 测试一下。 red ......
Redis的高可用之持久化
Redis 高可用 在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。 但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术），还需要考虑数据容量的扩展、数据安 ......
手把手教你在 Windows 环境中搭建 MQTT 服务器
前言 前些天要对接一家硬件商的设备数据，对方使用的 MQTT 协议点对点透传，所以又赶紧搭建 MQTT 服务器，写 .NET 程序接收数据等等，今天分享一下如何搭建 MQTT 服务器。 MQTT 协议是什么？ MQTT（Message Queuing Telemetry Transport）是一种轻 ......
oneforall配置环境，报错cannot import name 'sre_parse' from 're' 解决方法
高版本python中re模块没有了sre_parse模块， 可以修改python中的exrex.py 代码，直接导入sre_parse模块 ......
Redis 高可用
redis高可用 高可用分类 实现高可用的记住包括持久化，主从复制，哨兵和Cluster集群。 持久化 持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失 主从复制 主从复制是高可用redis的基础，哨兵和集群都是在主从复 ......
CentOS7 Suricata生产环境部署
一、部署PF_RING step1:安装依赖 [root@localhost ~]# yum install -y flex bison kernel-devel kernel-headers gcc gcc-c++ make wget [root@localhost ~]# git clone h ......
查看虚拟环境中安装包位置
1 确保你已经激活了虚拟环境。你可以在终端或命令提示符中运行虚拟环境的激活命令，例如： 在Windows上，使用以下命令激活虚拟环境： venv\Scripts\activate 在Linux或macOS上，使用以下命令激活虚拟环境： source venv/bin/activate 2 显示当前虚 ......
Window 环境安装Redis ，并配置为开启自启动
前言：本文章只讲解如何在Window 环境下安装以及配置Redis，其它教程会在另外的文章详细介绍。 1、我们先来大致了解一下什么是Redis Redis （全称：REmote DIctionary Server） 是一个由 Salvatore Sanfilippo 写的 key-value 存储系 ......
redis
redis2023年10月12日13:541、redis安装yum -y install redissystemctl restart redis 2、修改配置文件bind：远程连接port：端口号requirepass：登陆密码 数据库索引可以登陆到数据库中使用命令查看（get key） dock ......
cas5配置redis
POM文件加载redis依赖，重新maven clean package <dependency> <groupId>org.apereo.cas</groupId> <artifactId>cas-server-support-redis-ticket-registry</artifactId> ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
Springboot 多环境配置、${key:default_value}的作用与使用
多环境配置 方式一 创建多个配置文件 application.yml #主配置文件 application-dev.yml #开发环境的配置 application-prod.yml #生产环境的配置 application-test.yml #测试环境的配置 # application.yml s ......
redis的key越多，会影响性能吗？
1. 什么是Redis大key问题 Redis大key问题指的是某个key对应的value值所占的内存空间比较大，导致Redis的性能下降、内存不足、数据不均衡以及主从同步延迟等问题。 到底多大的数据量才算是大key？ 没有固定的判别标准，通常认为字符串类型的key对应的value值占用空间大于1M ......
Redis是单线程的，但是为什么还那么快
Redis是单线程的，但是为什么还那么快 Redis是纯内存操作，执行速度非常快 采用单线程，避免不必要的上下文切换可竞争条件，多线程还要考虑线程安全问题 使用I/O多路复用模型，非阻塞IO 能解释下I/O多路复用模型？ Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度， ......
ES实践
多索引关联 1 ES多索引关联查询方案汇总 https://www.cnblogs.com/eternityz/p/17051671.html 2 干货 | Elasticsearch多表关联设计指南 https://blog.csdn.net/laoyang360/article/details/ ......
Es官方文档整理-3.Doc Values和FieldData（转）
转自：https://www.cnblogs.com/ydxblog/p/8304297.html 1.Doc Values 聚合使用一个叫Doc Values的数据结构。Doc Values使聚合更快、更高效且内存友好。 Doc Values的存在是因为倒排索引只对某些操作是高效的。倒排索引的优势 ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
docker安装配置redis
安装redis docker pull redis 配置数据路径 mkdir -p /home/redis/data docker启动 docker run -d -v /home/redis/data:/data --name redis -p 6379:6379 redis redis-se ......
测试环境使用问题及其优化对策实践
一、前言 我们经常听到研发人员和测试人员抱怨：“测试环境怎么又不能用了！”、“测试环境现在部署的是master包！”、“测试环境数据又被人改了？”、“测试环境怎么部署的这么慢！”、“测试环境里的公共服务，你用的时候我只能等着？”、“测试环境挂了，我自动化脚本全失败了！”测试环境是是测试实施的基础，测 ......
openEuler欧拉部署Redis
一、系统优化 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 关闭selinux sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenf ......
Qt Windows环境下如何添加MYSQL数据库驱动
问题现象 使用Qt提供的数据库驱动列表函数，获取数据库驱动时，没有MYSQL数据库，因此无法正常使用这个数据库 想使用这个数据库，该如何操作呢？以下内容就是实现数据库驱动添加的方法 1.准备数据库软件 step1 在MySQL官网下载MySQL Community Server软件，选择适合自己的版 ......
webpack优化，用lodash-es代替lodash
lodash为了良好的浏览器兼容性, 它使用了旧版es5的模块语法; 而lodash-es则使用了es6的模块语法, 这让webpack之类的打包工具可以对其进行tree shake以删除未使用的代码来优化打包尺寸. 下面的代码直接从lodash中引入trimStart方法 import { tri ......