单机doris

聊聊分布式 SQL 数据库Doris(七)

LSM-Tree Doris的存储结构是类似LSM-Tree设计的,因此很多方面都是通用的,先阅读了解LSM相关的知识,再看Doris的底层存储与读取流程会清晰透彻很多,如下是几个关键的设计: SSTable: Sorted Strings Table; 一般由一组数据block和一组元数据bloc ......
分布式 数据库 数据 Doris SQL

【linux常见问题】OSS import单机模式部署--阿里云功能

title: OSSImport单机部署附问题解决 date: 2022-01-18 10:54:06 updated: 2022-01-18 20:52:00 tags: - AWS - Ubuntu - Ossimport categories: - Ossimport description: ......
单机 常见问题 常见 模式 功能

rman异机恢复(11G单机)

环境:OS:Centos6.9DB:11.2.0.4主库SID:slnngka备库SID:slnngkb 1.异地机器安装相同版本的数据库软件安装步骤省略,注意只安装软件和启动监听器(没有监听任何服务器)确保监听器已经启动 [oracle@slnngkb rmanbak]$ lsnrctl stat ......
单机 rman 11G 11

Nacos安装部署(单机、集群)

一、前言 (一)、nacos支持三种部署 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境,确保高可用。 多集群模式 - 用于多数据中心场景。 (二)、官网地址 https://nacos.io/zh-cn/ 1.点击进入nacos版本及源码下载网页 2.根据圈中进行nacos版本选择 ......
集群 单机 Nacos

聊聊分布式 SQL 数据库Doris(六)

负载均衡 此处的负载均衡指的是FE层的负载均衡. 当部署多个 FE 节点时,用户可以在多个 FE 之上部署负载均衡层来实现 Doris 的高可用。官方文档描述: 负载均衡 。 实现方式 实现方式有多种,如下列举。 开发者在应用层自己进行重试与负载均衡。 JDBC Connector 发现一个连接挂掉 ......
分布式 数据库 数据 Doris SQL

聊聊分布式 SQL 数据库Doris(五)

阅读 Doris SQL 原理解析,总结下Doris中SQL解析流程: 词法识别:解析原始SQL文本,拆分token 语法识别:将token转换成AST 单机逻辑查询计划:将AST经过一系列的优化(比如,谓词下推等)成查询计划,提高执行性能与效率。 分布式逻辑查询计划:根据分布式环境(数据分布信息、 ......
分布式 数据库 数据 Doris SQL

聊聊分布式 SQL 数据库Doris(四)

FE层的架构都能在网上找到说明. 但BE层的架构模式、一致性保障、与FE层之间的请求逻辑,数据传输逻辑等,我个人暂时没有找到相应的博客说明这些的。当然这些是我个人在学习与使用Doris过程中,对内部交互逻辑与实现感兴趣才有这些疑问. 还好现在有GPT这类大模型,有了疑问,只要问题描述得当,大多可以解 ......
分布式 数据库 数据 Doris SQL

聊聊分布式 SQL 数据库Doris(三)

详细内容阅读: Apache Doris 分区分桶新功能 与 数据划分. 在此基础上做总结与延伸. 在 Doris 的存储引擎规则: 表的数据是以分区为单位存储的,不指定分区创建时,默认就一个分区. 用户数据首先被划分成若干个分区(Partition),划分的规则通常是按照用户指定的分区列进行范围划 ......
分布式 数据库 数据 Doris SQL

单机区块链理解

区块链是一种分布式的、不可篡改的记录数据的技术。它是由一系列数据块(Blocks)组成的链式结构,每个数据块包含了一定数量的交易信息和与之相关的元数据。每个数据块都通过密码学哈希函数与前一个数据块连接起来,形成了一个不断增长的链式结构。 下面用代码来理解一下区块链,首先创建一个块信息对象。块信息主要 ......
区块 单机

聊聊分布式 SQL 数据库Doris(二)

Doris中,Leader节点与非Leader节点和Observer节点之间的元数据高可用和一致性,是通过bdbje(全称:Oracle Berkeley DB Java Edition)的一致性和高可用实现的。 元数据与同步流程 元数据主要存储四类数据: 用户数据信息. 包括数据库, 表的sche ......
分布式 数据库 数据 Doris SQL

聊聊分布式 SQL 数据库Doris(一)

MPP MPP:Massively Parallel Processing, 即大规模并行处理. 一般用来指多个SQL数据库节点搭建的数据仓库系统. 执行查询的时候, 查询可以分散到多个SQL数据库节点上执行, 然后汇总返回给用户. Doris Doris 作为一款开源的 MPP 架构 OLAP 高 ......
分布式 数据库 数据 Doris SQL

SM2数据加密(单机模式)

import org.bouncycastle.crypto.engines.SM2Engine; import org.bouncycastle.crypto.params.ECDomainParameters; import org.bouncycastle.crypto.params.ECPr ......
单机 模式 数据 SM2 SM

陈长城:NineData面向Doris实时数仓集成的技术实践

在刚刚过去的北京Doris Summit Asia 2023,玖章算术技术副总裁陈长城受邀参加并做了《NineData面向Doris实时数仓集成的技术实践》报告。 ......
实时 NineData Doris 技术

NIFI系列---【Linux单机安装nifi】

1.下载地址 这里以1.19.1版本为例,下载nifi-1.19.1-bin.zip包 https://archive.apache.org/dist/nifi/1.19.1/ 2.上传到服务器并解压 例如:上传到/opt/app/middles目录下 yum install -y unzip #解 ......
单机 Linux NIFI nifi

ODBC 连接 Doris数据库

前言 主要测试通过ODBC方式来连接Doris 数据 一、环境 1、Cntos7 1、Doris 2.0.2 2、Mysql-connector-odbc-5.3.7 二、使用步骤 1.安装 odbc驱动 Mysql ODBC驱动下载地址 https://downloads.mysql.com/ar ......
数据库 数据 Doris ODBC

mongodb单机做分片(使用不同的端口号)

环境:OS:Centos 7mongodb:4.4.22部署情况如下: 192.168.1.109:27001 s1分片(单节点的副本集) 192.168.1.109:28001 s2分片(单节点的副本集)192.168.1.109:29001 s3分片(单节点的副本集)192.168.1.109: ......
口号 单机 mongodb

linux单机部署minio

1 下载安装包 centos环境为例 wget https://dl.min.io/server/minio/release/linux-amd64/minio 2 给minio赋权 chmod +x minio 3 设置用户名、密码 /etc/profile文件中配置环境变量 export MIN ......
单机 linux minio

doris

## doris ### Partition & Tablet - Partition 逻辑分区往往根据业务通过用户指定的分区列进行范围划分,可以视为逻辑上最小的管理单元,好比导入和删除操作就是partition。 - list partition ![1652779895992](https:// ......
doris

Locust单机多核压测,以及主从节点的数据通信处理

一、背景 这还是2个月前做的一次接口性能测试,关于locust脚本的单机多核运行,以及主从节点之间的数据通信。 先简单交代下背景,在APP上线之前,需要对登录接口进行性能测试。经过评估,我还是优先选择了locust来进行脚本开发,本次用到了locust的单机多核运行能力,只不过这里还涉及到主从节点之 ......
主从 数据通信 节点 单机 数据

doris FE启动异常:org.yaml.snakeyaml.representer.Representer: method <init>()V not found

doris FF启动异常,异常信息如下: 2023-11-01 09:53:22,691 INFO (main|1) [PaloFe.start():124] Palo FE starting... 2023-11-01 09:53:22,699 INFO (main|1) [FrontendOpt ......

window10安装单机hadoop

一、配置jdk 默认已配置 二、下载hadoop3.2.2 http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 三、下载hadoop-winutils https://github.com/cdarlint/winutils 下载后将 ......
单机 window hadoop 10

Redis的四种模式:单机、主从、哨兵、集群简介

Redis的单机模式 单机模式就是安装一个redis,启动起来,业务调用即可。具体安装步骤和启动步骤就不赘述了,单机在很多场景也是有使用的,例如在一个并非必须保证高可用的情况下。 单机的优点: 部署简单,0成本。 成本低,没有备用节点,不需要其他的开支。 高性能,单机不需要同步数据,数据天然一致性。 ......
主从 哨兵 集群 单机 模式

MinIO 高性能分布式存储最新版单机与分布式部署

目录一、概述二、单机部署(单主机,多硬盘模式)1)磁盘初始化2)创建服务启动用户并设置磁盘属主3)下载 minio 安装包4)修改配置5)配置 systemctl 启动6)客户端工具 mc三、分布式集群部署(多主机、多硬盘模式)1)磁盘初始化2)创建服务启动用户并设置磁盘属主3)下载 minio 安 ......
分布式 高性能 最新版 单机 MinIO

Nacos单机模式配置远程数据源、配置身份认证

1.nacos介绍 官网链接:https://nacos.io/zh-cn/docs/what-is-nacos.html Github:https://github.com/alibaba/nacos/ Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configurat ......
数据源 身份认证 单机 身份 模式

磐维单机版部署

一、系统环境优化 安装依赖 yum -y install libaio-devel flex bison ncurses-devel glibc-devel patch redhat-lsb-core readline-devel python3 expect bzip2 libnsl ncurse ......
单机版 单机

docker-安装单机版redis

一 目的 在docker中,安装单机版redis 二 步骤 1. 从镜像中心拉取redis 1.1 查看镜像中心redis镜像,本例选择redis:7.0 1.2 拉取redis镜像 docker pull redis:7.0 2. 创建数据卷目录(挂载点在redis配置目录) 2.1 宿主机创建数 ......
单机版 单机 docker redis

docker单机版Minio迁移方案

docker单机版Minio迁移方案 起因 一开始并没有想到会在轻量应用服务器上部署好几个服务,因为这个轻量服务器是用来做测试用的,但是由于缺少运维的原因,正式使用的也是这台服务器上的minio,结果因为其他的服务导致服务器老是卡死,所以需要在新的服务器上重新起一个单机的minio 前置条件 lin ......
单机版 单机 方案 docker Minio

OpenGauss 单机版安装

OpenGauss 单机版安装 银河麒麟的前置事项 yum -y install libaio-devel flex bison ncurses-devel glibc-devel patch readline-devel openssl-devel sqlite-devel libnsl bzip ......
单机版 单机 OpenGauss

C# 使用WinForm写的一个魔兽世界单机版T端修改Boss掉落数量的小工具

单机版的掉落机制比较复杂,一般大家修改掉落数量都是简单粗暴的把所有分组取消但是这样就完全依赖掉率了 我之前研究了一段时间的T端掉落,写了个小工具,具体的原理就是增加掉落分组的数量,实际使用时发现除了部分掉落套装的箱子外,基本都起作用了 源码如下 using System; using System. ......
单机版 魔兽世界 单机 数量 WinForm

windows下单机安装ZooKeeper

## 1.下载安装JDK并配置 **相关网站** ```html https://www.oracle.com/java/technologies/downloads/archive/ Jdk各版本下载 https://www.oracle.com/ oracle官网 https://archive ......
单机 ZooKeeper windows