小记flink

为什么要用GraphDB 1、图数据库是专门用于存储和检索庞大信息网的存储引擎，能够高效将数据存储为点和边，并允许对这些点边结构进行高性能的检索。 2、关系型数据库在处理复杂数据关联运算上表现很差，数据库建模复杂，数据量大时有性能问题，多度关系查询开销大。 3、图数据库相对关系型数据库的优点：建模简 ......

redis 1、redis是一款c语言编写的基于内存的kv存储，是目前市面上最流行的nosql开源项目，常用于缓存场景（优点高性能/寻址更快，缺点易失存储/价格更高） 2、redis快的原因：纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制（1个线程监控多个连接，一旦某个连接就绪，就能够 ......

scala和java 1、scala是基于java开发的，以jvm为运行环境，将面向对象和函数式编程结合起来的静态编程语言。 2、scala是面对对象的语言，万物皆对象，对象的本质是对数据和行为的封装（对象/属性/行为） 3、scala是函数式的语言，万物皆函数，函数是将解决问题的一个个步骤的封装， ......

Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......

Flink的常用算子以及实例（详解）(赞) 友情提示：本次博文所有源码均在下方，点击关注就能下载，免费的 点这里获取配套源码 1. map 特性：接收一个数据，经过处理之后，就返回一个数据 1.1. 源码分析 我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型 ......

11-flink如何正确分流 11-flink如何正确分流 分流方式 filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用) 场景 flink-分流场景.png 输入数据： {"key":"001","type":"1","data":" ......

Flink SideOutput 和 Filter 分流对比 Flink 分流有Filter、Split（已经废弃移除）、Side Output进行分流，到底时有什么区别，哪个种更好呢？ 对比 代码对比 直接上代码对比： import org.apache.flink.streaming.api.d ......

flink入门1-Flink使用socketTextStream对接netcat完成入门demo 一、flink介绍 1、flink是什么 flink是一个面向流处理和批处理的分布式计算框架，即支持流处理，也支持批处理。flink基于流处理引擎实现，正真做到了流处理，将批处理看作一种特殊的有界流fl ......

Flink cdc写入kafka数据格式 主要记录flink cdc写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操 ......

问题描述： Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法： postgres-cdc的属性问题： 'slot.name' = 'myslot','decoding.plug ......

5、flink任务中可以使用哪些转换算子（Transformation） <div id="content_views" class="htmledit_views"> <h1>1、什么是Flink中的转换算子</h1> 在使用 Flink DataStream API 开发流式计算任务时，可以将一 ......

问题描述通过./bin/start-cluster.sh启动Flink程序，正常启动后无法通过浏览器访问web UI界面。解决方法（1）禁用防火墙通过service iptable status查看防火墙状态，已经为inactive状态（2）查看暴露端口号通过lsof -i:8081查看端口号是否暴 ......

练习 ： Flink 读取 data.txt（json格式文件）文件并进行解析，写入到mysql中 bean //实体类 mysql的一条记录 package bean; import lombok.AllArgsConstructor; import lombok.Data; import lom ......

一、任务依赖信息 1、mysql测试库信息 地址：127.0.0.1、gomysql_bdg_test 库：bdg_test 表：order_info1 2、iceberg库 hive地址：thrift://127:7004 catalog-name：spark_catalog Format版本:v ......

在实时数据处理领域，Apache Flink 已成为一个不可或缺的工具。它以其高吞吐量和低延迟处理能力而闻名。而在 Flink 的众多特性中，侧输出流（Side Outputs）提供了一种灵活的方式来处理复杂的数据流。本文将探讨如何在 Flink 的 Scala API 中有效使用侧输出流。 1. ......

Day -2 gg 说放假，终于能确定回来了。 Day -1 开始摆烂，但是还是在学习淀粉质。 怎么说看了付姐的朋友圈，看到大家在包饺子，又错过一个活动怎么说。 gg 说开茶话会。高一同学：茶话会？不，是鸿门宴。 真的是晚会！唱了首《稻香》。感觉回到了高一在班里一起唱歌。晚会在情侣合体的时候达到了高 ......

半年没碰服务器了，没想到还是挂了，卡在BIOS过不去 NUC因为没有主板电池，所以还特地找了下怎么重置，没想到是拔出主板上的黄色保护器，使两个针脚空接 和我想象中的不太一样，照理来说应该是针脚对接，才能重置才对 因为这样子的话，这个黄色保护套就不能随意丢弃了，感觉这个主板的设计有问题 折腾了两小时怒 ......

目录: /var/log 1 -rw-r--r-- 1 root wheel 1.7M Dec 29 10:31 daily.out 2 -rw-r--r-- 1 root wheel 2.8K Dec 11 14:06 monthly.out 3 -rw-r--r-- 1 root wheel 1 ......

问题： // 直接按类字面量获取 Class<?> myClass = ClassTestA.class; // 全类名反射获取 Class<?> myClass = Class.forName("com.cambrianwenjie.demo.ClassTestA"); // 获取私有字段 Fie ......

class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X ......

flink中的setStreamTimeCharacteristic TimeCharacteristic env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 此处可以取以下三类值： Event Time 事件时间，事件(Eve ......

一、背景 通过Flink同步mysql到iceberg中，任务一直在运行中，但是在目标表看不到数据。经排查发现job manager一直在做切片，日志如下： 2023-12-28 16:58:36.251 [snapshot-splitting] INFO com.ververica.cdc.con ......

题目： 实验八 姓名 日期12.8 实验环境：（1）Ubuntu18.04（或Ubuntu16.04）。 （2）IntelliJ IDEA。 （3）Flink1.9.1。 实验内容与完成情况：（1）使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ ......

本实验基于MRS环境，Impala部分主要介绍基本操作。假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程。Flink部分主要介绍如何实现Flink与Kafka的连接以满足实时计算场景应用。 购买MRS集群 选择“自定义购买” 区域：华北-北京四 ......

此文档是参照flink-cdc 文档( https://ververica.github.io/flink-cdc-connectors/master/content/快速上手/mysql-postgres-tutorial-zh.html) 案例 的最佳实践 1.下载flink release 最 ......

nlog使用小记（日志文件分割备份循环） fileName: 当前记录日志的文件名 archiveFileName：归档日志文件名 archiveAboveSize：文件达到多大进行归档 maxArchiveFiles：归档的日志文件保留数量 archiveNumbering：归档文件名称的保留方式 ......

在 Apache Flink 中实现高效的 Top N 数据处理，尤其是涉及时间窗口和多条件排序时，需要精细地控制数据流和状态管理。 普通计算TopN： 1. 定义数据源（Source） 首先，我们需要定义数据源。这可能是 Kafka 流、文件、数据库或任何其他支持的数据源。 val stream: ......

【Flink从入门到精通 05】Source&Sink Flink用于处理有状态的流式计算，需要对Source端的数据进行加工处理，然后写入到Sink端，下图展示了在Flink中数据所经历的过程，今天就根据这张图分别给大家分享下。 01 Environment Flink所有的程序都从这一步开始，只 ......

一、概述 1、Flink 是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apac ......

安装前准备 jdk环境 开始安装 下载安装包 地址1：https://archive.apache.org/dist/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz 官方：https://dlcdn.apache.org/flink/flink- ......