springboot消息kafka
Kafka高级应用：如何配置处理MQ百万级消息队列？
在大数据时代，Apache Kafka作为一款高性能的分布式消息队列系统，广泛应用于处理大规模数据流。本文将深入探讨在Kafka环境中处理百万级消息队列的高级应用技巧。 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理配置分区 // 自定 ......
SpringBoot集成redisson操作redis
1 引入maven 只需引入redisson-spring-boot-starter就可以了，不过这里需要注意springboot与redisson的版本，因为官方推荐redisson版本与springboot版本配合使用。版本不匹配会导致这种问题。 将 Redisson 与 Spring Boot ......
Kafka消费端抛出异常Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment; it is likely that the consumer was kicked out of the group的解决方案
总结/朱季谦 在一次测试Kafka通过consumer.subscribe()指定偏移量Offset消费过程中，因为设置参数不当，出现了一个异常提示—— [2024-01-04 16:06:32.552][ERROR][main][org.apache.kafka.clients.consumer. ......
钉钉消息通知遇到的坑
发送限流规则： 1、企业开发者每分钟最多可调用接口1500次，ISV开发者每分钟最多可调用接口1000次。 2、企业发送消息单次最多只能给5000人发送，ISV发送消息单次最多能给1000人发送。 3、给同一员工一天只能发送一条内容相同的消息通知。 4、企业每天给每个员工最多可发送500条消息通知， ......
Springboot配置openssl生成的证书
js中使用了navigator.mediaDevices.getUserMedia来调用摄像头拍照，必须要求url是localhost或https。所以需要将SSL引入工程。 第一步：安装openssl生成SSL证书 先在http://slproweb.com/products/Win32OpenS ......
debezium+kafka实现oracle数据同步（debezium-connector-oracle）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
SpringBoot系列---【springboot集成phoenix调用hbase】
springboot集成phoenix调用hbase 1.环境 jdk8 hbase-2.1.0 2.新建springboot，添加pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org ......
springboot项目中application.properties无法变成小树叶问题解决
1.检查我们的resources目录的状态，看看是不是处在普通文件夹的状态，如果是的话，我们需要重新mark一下 右键点击文件夹，选择mark directory as → resources root 此时我们发现配置文件变成了小树叶 2.如果执行了上述方法还是不行的话，可以尝试重新指定配置文件， ......
kafka3.6单点部署使用
一、kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是并没有完全遵循JMS规范。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点 ......
消息类型 顺序消息
普通消息 | RocketMQ https://rocketmq.apache.org/zh/docs/featureBehavior/01normalmessage/ 普通消息 普通消息为 Apache RocketMQ 中最基础的消息，区别于有特性的顺序消息、定时/延时消息和事务消息。本文为您介 ......
SpringBoot：优化项目打包大小的方法
https://blog.csdn.net/qq_44973159/article/details/130106544 瘦身SpringBoot：优化项目打包大小的方法1、打jar包的痛点2、瘦身思路3、开始打包4、如何启动项目1、打jar包的痛点现有的应用开发中，不论是单体架构、微服务架构，如果项 ......
Winform中使用Fleck实现Websocket服务端并读取SQLite数据库中数据定时循环群发消息
场景 Winform中使用Websocket4Net实现Websocket客户端并定时存储接收数据到SQLite中： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/135359035 Winform中操作Sqlite数据增删改查、 ......
Flink CDC写入数据到kafka几种格式
Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......
springboot的bean以及一些注解@Primary、@Qualifier
1、bean的加载顺序 spring容器载入bean顺序是不确定的，在一定的范围内bean的加载顺序可以控制。 spring容器载入bean虽然顺序不确定，但遵循一定的规则： 1、按照字母顺序加载（同一文件夹下按照字母数序；不同文件夹下，先按照文件夹命名的字母顺序加载） 2、不同的bean声明方式不 ......
记录Springboot项目部署到服务器
搞了一个月，开发了一个缩减版的管理系统，主要功能：对于进入海康门禁的老师，需要填报使用记录。用Springboot开发真的是便捷，专注于业务开发，不关心底层和架构。 第一步：搭建配置服务器 服务器：虚拟机Windows2016Server 64bit，内存32G，磁盘400G Mysql：8.0.3 ......
Kafka Connect用法
1.情景展示 传统的消息中间件，如果我们想要应用到自己的系统当中，就必须在框架里面进行集成。 也就是说，必须将连接消息中间件的代码（如：生产者和消费者）嵌入到我们的web系统中，这就是所谓的硬编码。 这种硬编码的方式，侵入性强，开发成本相对较高，它要求开发人员不仅要关注业务，还要兼顾技术实现。 这也 ......
Java公众号开发，推送消息出现中文乱码
问题描述 使用wx-java-mp-spring-boot-starter做微信公众号开发，推送中文消息的时候，发现推送消息的文字都变成了问号， 推送文字代码： WxMpXmlOutMessage.TEXT().content(""登录成功"").fromUser(wxMessage.getToUs ......
3 种 Springboot 全局时间格式化方式
3 种 Springboot 全局时间格式化方式 原文地址 https://developer.aliyun.com/article/771395 版权声明： 本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者 ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
【Kafka学习-3】Kafka命令
【Kafka学习-3】Kafka命令 Kafka的命令都是基于bin目录下的脚本来使用的。 Topic命令 Topic的命令脚本是kafka-topics.sh，常见命令参数说明： --bootstrap-server <String: server toconnet to> 连接的Kafka Br ......
Kafka干货之「零拷贝」
一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Stream ......
图解Kafka Producer常用性能优化配置参数
1 基本参数 bootstrap.servers：Kafka broker服务器地址列表，,分开，可不必写全，Kafka内部有自动感知Kafka broker的机制 client.dns.lookup：客户端寻找bootstrap地址的方式，支持两种方式： resolve_canonical_boo ......
02.SpringBoot3+JDK17+Shiro+Basic认证方式
SpringBoot3+JDK17+Shiro+Basic认证方式 依赖 注意： 由于JDK17使用的是Jakarta EE规范，而截止2023年12月29日Shiro2.0还处于(alpha)测试阶段，所以只能使用目前最新的版本shiro1.13，但是Shiro1.13版本目前默认使用的是Java ......
openstack共享组件——消息队列rabbitmq（3）
一、MQ 全称为 Message Queue, 消息队列（ MQ ） 是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程 ......
JavaWeb - Day14 - SpringBoot原理、bean的管理
01. SpringBoot-配置优先级 在我们前面的课程当中，我们已经讲解了SpringBoot项目当中支持的三类配置文件： application.properties application.yml application.yaml 在SpringBoot项目当中，我们要想配置一个属性，可以通 ......
6、SpringBoot2之整合Mybatis
创建名为springboot_mybatis的新module，过程参考3.1节 6.1、引入相关依赖 注意：虽然本文使用的是 spring boot 2.7.18 和 MySQL 5.7 ，但是出于可移植性、可扩展性和兼容性方面的考虑， druid 的启动器使用的是 spring boot 3 版本 ......
SpringBoot中使用Swagger
添加pom.xml配置 <!-- https://mvnrepository.com/artifact/com.github.xiaoymin/knife4j-spring-boot-starter --> <dependency> <groupId>com.github.xiaoymin</gro ......
高性能内存消息队列 Disruptor
01 什么是 Disruptor disruptor 是 lmax 开源的一个高性能并发内存队列，和日常使用的 ArrayBlockingQueue 的性能对比如下图 02 高性能的原因 2.1 避免伪共享内存 什么是 CPU 高速缓存？ 首先介绍一下 CPU 缓存的定义： 在计算机系统中，CPU高 ......
ElasticSearch集成SpringBoot实践
Search API Search Request，用于搜索文档，聚合，相关的任何操作，还提供了高亮显示结果文档的方法 //创建，如果没有参数，会对所有索引运行 SearchRequest searchRequest = new SearchRequest(); //大多数搜索参数都能添加到Sear ......
SpringBoot原理学习
一、IoC/DI相关 1. 如何进行依赖注入？ ①依赖注入的三种方式 Ⅰ. 属性注入 /** * Field 注入/属性注入 * */ // @Resource(name = "mySQLDbServiceImpl") // @Autowired @Qualifier(value = "mySQLD ......