过程grafana kafka3 kafka
第二章 Spring Boot 整合 Kafka消息队列 生产者
系列文章目录 第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证 第二章 Spring Boot 整合 Kafka消息队列 生产者 第三章 Spring Boot 整合 Kafka消息队列 消息者（待续） 前言 Kafka 是一个消息队列产品，基于Topic partitions ......
【JVM】记录一次线上服务频繁FGC的排查过程
一.背景 最近在Grafana关注到线上推送服务push-service在运行一段时间后，内存占用非常高，并且频繁发生FGC，这里记录下问题排查过程 二.排查过程 推送服务主要作用为，消息推送，因此JVM内存这里分配的是 Xmx 和Xms 均为2G 1. 首先在Grafana上的监控指标，可以看到F ......
面向过程(函数)和对象(类)
【一】面向过程 (函数) 核心在于：过程 过程其实就是将程序流程化 可以说是一条流水线，分步骤的解决问题，先干什么再干什么，分的很清楚 优点 复杂度的问题流程化，进而简单化（一个复杂的问题，分成一个个小的步骤去实现，实现小的步骤将会非常简单） 缺点 一套流水线或者流程就是用来解决一个问题，生产汽水的 ......
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享参考文章 Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性： 发布或者订阅数据流。 容错存储机制。 处理流数据。 老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, k ......
通过设置ssh秘钥来免去繁琐的输入密码的过程
原理 通过 ssh-gen 生成秘钥, 服务器保存你的公钥, 每次你去访问服务器的时候, 服务器使用公钥解锁你的私钥, 鉴权就通过了. 所以你要做的就是生成秘钥, 然后将公钥保存在服务器. 流程 ssh-gen -t rsa 一路是是是, 有密码输入一个密码; 参考这个博客 ......
记一次首页并发白屏优化过程
一个服务于近300家500强企业的企业培训软件， app应用的首页居然反复出现白屏，请求超时，负载过高，挤占其他业务服务器资源，最终整个程序无响应的现象，更难想象压测 5线程时， tps 仅有 20 ， 诺大的一个公司，居然这么少的处理效率，平时赶上X踏，X耀，X金这种动则好几万人的集团公司有在线抽 ......
数据库 - 已成功与服务器建立连接，但在登录过程中发生错误。（提供程序：SSL提供程序，错误：0-证书链是由不受信任的颁发机构颁发的。)”asp.net core:8.0
asp.net core:8.0，本地开发一切正常，发布线上docker后出现如下错误： Microsoft.Data.SqlClient.SqlException (0x80131904): A connection was successfully established with the se ......
org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method could not be invoked with the incoming message
问题描述 kafka在yml文件中未开启批量消费时，程序正常运行；但一开启正常消费后，就直接报错；排查问题的过程中一直觉得是配置文件里的问题，最后发现是消费者接受的参数类型错误 问题本质 消费者开启批量消费数据后，不能用单个实体类接收参数，而应该用list 解决方法 修改消费者函数参数类型 ......
关于代码逐过程的思考
始终要明确一个过程中只能完成一次操作，这样才能有序进行。当然错误情况主要集中与边界条件的处理。 这道题，最开始 点击查看代码 class Solution { public: ListNode *getIntersectionNode(ListNode *headA, ListNode *headB ......
计算机启动过程(万字长文)
一、计算机启动的基本流程 当电源通电后，计算机系统的启动过程始于主板上的固件，通常是BIOS（基本输入/输出系统）或UEFI（统一可扩展固件接口）。基本流程如下： 1、电源通电 用户按下计算机电源按钮，电源开始供给计算机各个组件。此时，CPU并没有直接开始执行指令。 2、BIOS/UEFI 自检： ......
MySQL如何快速获取存储过程的定义
1. show create procedure 2. 两个系统表 information_schema.routines 可查询出存储过程的内容，但是入参和出参没包含 information_schema.PARAMETERS 可查询入参和出参 select concat(p1,ifnull(p2 ......
ogg-kafka
环境搭建 Oracle 环境搭建 源端 OGG 依赖 Oracle 环境，可安装 Oracle instant client，如果源端和数据库在同一台服务器则不需要此小节的步骤。 下载地址：https://www.oracle.com/database/technologies/instant-cl ......
kafka 服务开机自启动
Kafka 服务开机自启动 问题： 服务器更新Linux 内核需要重启服务器，重启后kafka 服务不会自动启动， 需要人工手工启动Kafka服务 服务器类型： SUSE 12SP5 类型服务器 SUSE 12SP3 类型服务器 KYLIN10SP1 国产化操作系统服务器 解决方案： 使用syste ......
TiDB 多集群告警监控-中章-融合多集群 Grafana
author：longzhuquan 背景 随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有两个详细的监控 Dashboard、Grafana，但对于运维来说几十套集群的监控、告警、巡检均需消 ......
k8s集群手动更换证书过程
第一步部分老的证书 1. 生成etcd证书，更换etcd证书，重启etcd服务。2. 替换/etc/calico的证书为etcd的证书重启calico-node服务。3. 更换calico的pod的证书为新生成的calico-node和calico-kube-controllers.4. 更换k8s ......
[转帖]解Bug之路-记一次中间件导致的慢SQL排查过程
https://zhuanlan.zhihu.com/p/242265937 解Bug之路-记一次中间件导致的慢SQL排查过程 前言 最近发现线上出现一个奇葩的问题，这问题让笔者定位了好长时间，期间排查问题的过程还是挺有意思的，正好博客也好久不更新了，就以此为素材写出了本篇文章。 Bug现场 我们的 ......
Kafka - 面试题
Kafka是什么？它用于什么场景？答案：Kafka是一个分布式流平台，用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据，例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些？它们的作用是什么？答案：Kafka的主要组 ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1
https://juejin.cn/post/7314144983019323433 如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1 2023-12-20 1,287 阅读5分钟 本系列将分成三个部分，您将学习如何使用 Helm 在 Kubernete ......
Feign源码解析4：调用过程
背景 前面几篇分析了Feign的初始化过程，历经艰难，可算是把@FeignClient注解的接口对应的代理对象给创建出来了。今天看下在实际Feign调用过程中的一些源码细节。 我们这里Feign接口如下： @FeignClient(value = "echo-service-provider") / ......
存储程序和程序控制：开发经验分享及操作过程详解
存储程序和程序控制是计算机行业中非常重要的一部分。它涉及到如何将程序和数据存储在计算机内存中，并通过程序控制来实现各种功能。本文将分享我的开发经验，并详细解释如何进行存储程序和程序控制的操作过程。 ......
MySQL记录锁、间隙锁、临键锁（Next-Key Locks）加锁过程
innodb一定存在聚簇索引，默认以主键作为聚簇索引 有几个索引，就有几棵B+树(不考虑hash索引的情形) 聚簇索引的叶子节点为磁盘上的真实数据。非聚簇索引的叶子节点还是索引（id主键值），指向聚簇索引B+树。 锁类型: 共享锁(S锁):假设事务T1对数据A加上共享锁，那么事务T2可以读数据A，不 ......
半小时搞定Yolov5安装配置及使用（详细过程）
之前在学习目标检测的时候，正值Yolov5发布，当时试用了下感觉还不错，最近有时间 使用最新的Yolov5源码，重新整理下安装配置到使用过程。。实践整个过程半小时即可搞定（前提已有Anaconda） 总体来看Yolov5的速度和效率较之前yolov4等系列都快，准确度更高。。 在下载配置Yolov5 ......
Kafka 万字精讲｜工作五年这些你都知道吗？
本文以 Kafka 官方文档的内容为基石，结合参考文献处文章和笔者自身实践凝练而成，涵盖内容全面，详略得当。
这也是《一文搞懂》系列的第一篇技术长文，期待您的关注。 ......
使用ssh过程中遇到的一系列问题
目录VScode 报错Bad owner or permissions解决方法一：更改config文件权限解决方法二：更改默认ssh为git下的ssh修改系统环境变量刷新系统环境变量SSH简介Termux软件简介Termux安装后初始配置及安装OpenSSHWindows端用SSH客户端连接Term ......
kafka入门(七)：kafka实现高吞吐量
kafka 高吞吐量 顺序写入磁盘 Kafka 使用 磁盘来存储和缓存消息。 Kafka 只能在日志文件的尾部追加新的消息，也就是 顺序写入磁盘。 顺序写入磁盘，让 Kafka 能实现更高的吞吐量。 页缓存 Kafka中大量使用页缓存，这是Kafka 实现高吞吐的重要因素之一。 页缓存，是操作系统实 ......
使用HTTP状态码进行开发过程中的错误处理的有效指导
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
互联网项目架构演变过程(单体架构-模块化架构-微服务架构)
1. 单体架构 1. 传统的架构分为三层架构：web控制层，业务控制层，数据库访问层 2. 业务没有拆分，所有的代码写在一个项目工程中 3. 一旦有一个模块导致服务不可用，可能会影响整个项目 2. 模块化架构 模块化项目就是把传统架构的项目进行业务拆分成多个app，最终打包成一个项目进行部署 3. ......
演示JVM中对象分配内存过程和OOM发生原因
工具：jvisualvm 测试代码： public static void main(String[] args) throws Exception{ List<byte[]> list = Lists.newArrayList(); System.in.read(); while (true){ ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 2
在 Part 1 中，我们一起了解了什么是 Prometheus 和 Grafana，以及使用这些工具的前提条件和优势。在本部分，将继续带您学习如何安装 Helm 以及如何使用 Prometheus Helm Charts。 开始使用 Helm 和 Helm Chart ArtifactHub 为 ......