spark集群hive
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
mariadb集群切换成mysql5.7集群
mariadb集群安装 yum list | grep galera yum install galera mariadb-server-galera rsync systemctl start mariadb 仓库源查看可以安装的包 添加yum源 [galera] name = Galera ba ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
Kubernetes高可用集群二进制部署v1.28.0版本
一、集群环境准备 1.1 主机规划 主机IP地址 主机名 主机配置 主机角色 软件列表 192.168.198.144 k8s-master1 2C4G master kube-apiserver、kube-controller-manager、kube-scheduler、etcd、kubectl ......
修改Zabbix源码实现监控数据同时写入数据库和ES集群
写在开篇 玩过 Zabbix 的朋友都了解，Zabbix 提供了与 Elasticsearch（ES）的集成，允许用户将历史数据存储在 Elasticsearch 中，而无需使用传统数据库。在高监控负载的生产环境中，这种架构带来了多重好处。首先，它有效减轻了数据库的负担，从而提高了整体性能。其次，通 ......
rabbitmq 集群docker玩法
属于一个简单测试玩的，rabbitmq 实际最近几年变化还是挺大的（主要是一些新特性，核心amqp 是一致的） 环境准备 测试一个基于raft 选举的rabbitmq 集群队列 docker-compose version: "3" services: mq: build: ./ container ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
Redis - (7) 分片集群
前言 哨兵集群由于自身存在的问题，因此出现了分片集群。 分片集群 （1）集群中有多个master，每个master保存不同的数据。【可以解决数据海亮的问题】 （2）每个master也可以有多个slave节点。 （3）master之间可以互相ping监测彼此的健康状态【即master自己之间实现了哨兵 ......
spark小记
Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
hive小记
Hive介绍 1、Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 3、Hive处理的数据存储在HDFS，底层实现是MapReduce，执行 ......
集群渲染是？渲染农场是？两者与云渲染关联是什么
在数字化浪潮不断推进的当下，渲染技术在多个行业中发挥着至关重要的作用，尤其体现在电影制作、建筑可视化以及电子游戏开发等领域。在众多渲染技术中，集群渲染、渲染农场以及云渲染特别受到业界的重视。本文旨在阐述这些概念的含义以及它们之间的相互联系。 一、集群渲染的概念与应用 集群渲染是借助计算机网络的力量， ......
spark-scala-mysql 编译报错
用spark接收mysql数据，编译时报错 java: cannot access scala.Serializable class file for scala.Serializable not found 问题原因： scala 2.13及以上版本，缺少类 Serializable 解决： 使用 ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
数据高速公路：详解数仓集群通信技术
本文分享自华为云社区《直播回顾 | 数据高速公路—数仓集群通信技术详解》，作者： 胡辣汤。 大数据时代，集群规模越来越大，业务并发越来越高，数据库集群各节点间的通信压力也越来越大。在本期《数据高速公路—数仓集群通信技术详解》的主题直播中，我们邀请到华为云GaussDB(DWS)技术布道师魏登老师，深 ......
Hive理论知识
1、什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。 2、数据模型有哪些？ 星形模式(Star Schema)：星 ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
开启安全功能 ES 集群就安全了吗？
背景 经常跟 ES 打交道的朋友都知道，现在主流的 ES 集群安全方案是：RBAC + TLS for Internal + HTTPS 。 作为终端用户一般只需要关心用户名和密码就行了。作为管理和运维 ES 的人员来说，可能希望 ES 能提供密码策略来强制密码强度和密码使用周期。遗憾的是 ES 对 ......
建设本地私有集群kubesphere+kubernetes高可用集群服务器
一、资源需求主机名 cpu(vCPUs) 内存(GB) 磁盘 ipk8s-master01 8 32 40G+500G 192.168.1.180k8s-master02 8 32 40G+500G 192.168.1.53k8s-master03 8 32 40G+500G 192.168.1.1 ......
Spark Yarn模式
独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。 在国内工 ......
Spark 3.5.0 高可用部署
1.下载Spark 3.5.0 https://spark.apache.org/downloads.html 2.安装JDK Linux 安装Openjdk 3.安装Hadoop Hadoop-3.3.6分布式集群搭建步骤 4.安装Zookeeper ZooKeeper 3.9.1 集群模式安装 ......
云原生周刊：2024 扩展 K8s 集群指南 | 2024.1.2
开源项目推荐 Jib Jib 无需 Docker 守护进程，也无需深入掌握 Docker 最佳实践，即可为您的 Java 应用程序构建优化的 Docker 和 OCI 映像。它可作为 Maven 和 Gradle 的插件以及 Java 库使用。 Docketeer Docketeer 提供了一个简单 ......
Hive事务表转换为非事务表
环境：hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
尚硅谷-xsync集群分发脚本
1.安装 rsync远程同步工具 apt install -y rsync 2.配置host映射【略】 vi /etc/hosts 3.配置SSH免密登录 使用SSH远程登陆Linux 4.编写xsync集群分发脚本 vi /usr/bin/xsync #! /bin/bash #1 获取输入参数个 ......
Spark与RDD是什么
大数据框架可不是只有Hadoop哦，还有一个非常厉害的框架，它就是——Spark。 一：什么是Spark Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的 ......
Hive的存储格式
一、简介 1、hive建表时存储格式 一般情况下hive在创建表时默认的存储格式是textfile，hive常用的存储格式有五种，textfile、sequencefile、rcfile、orc、parquet。 2、五种存储格式的区别 hive五种存储格式的区别 存储格式文件存储编码格式建表指定 ......
Zookeeper集群一键启停脚本
1.创建脚本 vi /bin/zk.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......