Hive
Hive的使用以及如何利用echarts实现可视化在前端页面展示(二)---hive部分的实现
1、利用远程连接器上传csv文件 2、进入hive创建表结构： 创建一个Hive表的SQL语句：这个表名为 "sales"，包含了五个列：day_id、sale_nbr、buy_nbr、cnt 和 round。此表的数据格式为逗号分隔的文本文件，每一行都用逗号分隔字段。 create table s ......
Hive
Hive简介 Hive 是一种大数据处理工具，使用类SQL 的HiveQL 语言实现数据查询，它底层封装了Hadoop ，所有Hive 的数据都存储在Hadoop 兼容的HDFS中。 更官方的描述： Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和 ......
Hive学习3（数据库操作DML、join、hive函数）
1.对数据库操作 数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database、table等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内 ......
HIVE数据分析-处理结果入库
1、navicat远程连接Hive数据库 1、打开navicat里的mysql连接 2、使用SSH隧道 出现上面这个显示连接就是成功 3、设置常规连接 显示成功后点击确定，navicat远程连接Hive数据库成功 问题 4、处理结果入库： 将上述统计分析的结果数据保存到mySQL数据库中。 1、通过 ......
HIVE数据分析-数据清洗
题目：2、数据清洗： 要求将day_id一列中的数值清洗为真实的日期格式，可用字符串表示。 数据1对应日期2023-09-01，依次类推，15对应日期2023-09-15 二、数据清洗 （2）创建表格存放清洗后的数据： create table sales_y(day_id string,sale_ ......
Hive学习2（hive部署启动，DataGrip连接hiveserver2）
1.Hive部署： hive部署：09-Apache hive安装部署--与Hadoop整合、MySQL安装_哔哩哔哩_bilibili 10-Apache hive安装部署--配置文件修改编辑_哔哩哔哩_bilibili 2.Hive启动 hadoop启动后。 node1上： nohup /exp ......
navicat链接虚拟机上hive环境下的MySQL
一：启动虚拟机 二，finallshell上进入hive，（具体进入参照上一个博客） 三，进入成功后，打开Navicat 点击左上角链接选择MySQL 按照上面的步骤： 1.起一个名字，能分辨就行 2.这里非常重要，必须要填IP地址，IP地址不知道的同学打开虚拟机中hive的服务端（就是你final ......
Hive学习1（数据仓库及Hive基础学习）
1.数据仓库 1.1什么是数据仓库 数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 同时数据仓库自身也不“消费”任何的数据，其结果开放给各个外部应用使用； 数据仓库是为了分析数据的。 ......
datagrip链接hive
首先在官网下载datagrip直接点击安装选择30天免费试用 直接进项下一步，进去之后，新建project 起个名字完成即可： 右上角或左边有一个database点击 】 点击加号 选择Apache hive ......
HIVe的启动以及datagrip配置
之前已经被治好所需要的HIVe环境,治理需要启动他，才可以进行下面的链接datagrip操作 首先进到finallshell里面然后启动zookeeper 然后再启动hadoop：start-all.sh 启动完成之后看上一个博客先关闭防火墙； 根据黑马教程中提到的有两种方式启动HIVe: 一，先启 ......
HIVE数据分析-导入数据库
首先，启动hadoop以及hive 出现以上进程，显示成功 将改名后的文件上传到虚拟机 在hive里面的defaul数据库创建表格 use default; show tables; load data local inpath '/export/server/apache-hive-3.1.2-b ......
将hive数据库中的数据导入到mysql数据库中时需要注意到的问题
在hive中使用jdbc将hive与mysql连接起来时 一定要注意到每个数据库不同的字段个数，在打算直接复制时，不能只是修改表的名称和字段名称，还要记得修改几个？ 那里，个数要与字段名称保持一致！！！ 不然就会报错（比如我）； ......
启动hive报错：Cannot create directory /tmp/hive. Name node is in safe mod
在使用：start-all.sh 命令启动完hadoop之后再启动metastore服务使用 /export/server/hive/bin/hive --service metastore 启动远程连接服务再输入命令 /export/server/hive/bin/hive 启动hive 但是无法 ......
每日学习之hive
Hive利用HDFS存储数据，利用MapReduce查询数据 Hive能将数据文件映射成为一张表，在hive中能够写sql处理的前提是针对表，而不是针对文件，因此需要将文件和表之间的对应关系描述记录清楚。映射信息专业的叫法称为元数据信息（元数据是指用来描述数据的数据）。元数据存储在关系型数据库中 H ......
关于hive中的com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V报错
com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V这个报错是因为Hive 3.1.3 guava 19.jar 和hadoop3.2.4 不兼容导致 解决方法—— 之后h ......
每日总结(hdfs文件导入到hive表)
1 CREATE TABLE employees ( 2 id INT, 3 name STRING, 4 age INT, 5 salary FLOAT 6 ) 7 ROW FORMAT DELIMITED 8 FIELDS TERMINATED BY ',' 9 STORED AS TEXTFI ......
使用 Databend 加速 Hive 查询
作者：尚卓燃（PsiACE） 澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式 ......
将从hive传到mysql数据库的数据使用Echarts进行可视化
1、使用JDBC连接数据库 //DBUtil.java package org.example; import java.sql.*; public class DBUtils { public static String db_url="jdbc:mysql://node1:3306/transp ......
每日总结|9.21-Hive搭建及报错解决方案
搭建 安装hive 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下 解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面 tar -zxvf /opt/software/apache ......
将txt、csv等类型文件导入到hive数据库中
1、将.txt文件（以sample.csv文件为例）放到data文件夹下面 建议直接用上传进行文件的上传（命令的话，我还没搞清楚）； 2、进入到hive数据库中，根据txt文件信息创建表 create table test1 (day_id varchar(30),sale_nbr varchar( ......
关于hive数据库数据导入mysql数据库问题的解决
1、表结构对比 都是字符类型，在我看来么的问题； 2、导入依赖的包试试 sqoop export --connect 'jdbc:mysql://192.168.88.151:3306/transport?useUnicode=true&characterEncoding=utf-8' \ > -- ......
hive导出到mysql以及mysql导入到hive
hive导出到mysql： /export/server/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop export --connect jdbc:mysql://10.99.118.207:3306/db_msg --username root --passwor ......
关于hive中使用group by报错的问题的解决
问题描述+问题解决 在我在hive数据库中使用group by的函数时，如果在我们决定显示出来的字段名中有非聚合的字段（即字段名为原生字段名，并没有加什么SUM等聚合函数）， 那么，我们就必须在group by 后面引用上这个非聚合字段，否则就会报错； 同时，在我们写数据到新的数据表中时，一定要保证 ......
apache-paimon初体验 （hive用法待完善）
1.官网 https://paimon.apache.org/docs/master/engines/hive/ 2.安装flink 3.下载依赖包到flink lib目录下 4.运行yarnsession 创建Application-Name，并修改配置文件 ./bin/yarn-session. ......
hive的相关学习1---wordCount实例
1、新建一个名为file1.txt的txt文件存储数据 2、在sss数据库中新创建一个名为docs的表 create table if not exists docs(line string); 3、将file1.txt的数据导入到新创建的docs表中 load data local inpath ......
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient问题的解决
问题描述 今天再次打开虚拟机（之前交完作业之后，就不敢再打开了，害怕看到报错信息），打开hive之后，启用hive命令时，发现了这个问题； 问题解决 经查阅资料发现，原来是因为我再使用hive命令之前，没有开启metastore服务和hiveserver2服务，先开启了这两个服务，再进入hive里面 ......
Hive的分区
在下面的代码中，我们创建了名为emp的分区表，使用关键字partitioned by： create table emp( name string, age int ) partitioned by (provice string,city string); 在这里，用partitioned by指 ......
Hive的ConfigurationProperties
Version Information Hive 0.14.0 adds new parameters to the default white list (see HIVE-8534). Hive 1.1.0 removes some parameters (see HIVE-9331). Hiv ......
Hive数据库中执行更新和删除数据操作
在Hive中，ACID表是支持ACID（原子性、一致性、隔离性和持久性）事务的表。这意味着这些表支持事务处理，如INSERT、UPDATE、DELETE和COMMIT操作。 然而，并非所有的Hive表都是ACID表。例如，如果你正在使用一个不支持ACID事务的Hive版本或配置，那么你可能无法在这些 ......
HIVE ASCII码
hive中的分割符使用八进制的ASCII码表示 1 八进制 十六进制 十进制 字符 使用方法 2 00 00 0 nul 3 01 01 1 soh 4 02 02 2 stx 5 03 03 3 etx 6 04 04 4 eot 7 05 05 5 enq 8 06 06 6 ack 9 07 ......