案例hive sql
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
HUE中执行Flink SQL
要解决的问题 解决HUE操作大数据量Hive表时，执行报错的问题。 为开发人员或数据管理人员提供一个便捷的Flink SQL交互式查询工具，简化SQL验证的流程，进而提高工作效率。 功能介绍 Flink SQL 读写Kafka Flink SQL 读写HDFS Flink SQL 关联 Flink ......
SQL Server Profiler的trc文件生成阻止
很奇葩，sqlserver自动生成trc文件，每分钟一个，重启服务器也没用。 解决思路： 查询现在正在跑的trace进程 select * from sys.fn_trace_getinfo(0); 关闭C2审计功能 EXEC sp_configure 'c2 audit mode', '0'; 重 ......
Atlas集成Hive
修改atlas-application.properties 添加atlas.hook.hive.synchronous=false atlas.hook.hive.numRetries=3 atlas.hook.hive.queueSize=10000 atlas.cluster.name=pri ......
数据汇总的第一个案例：数据汇总
原始数据： 格式为xls格式： 代码如下： import xlrdfrom xlutils.copy import copydef read_data(): wb = xlrd.open_workbook('C:/Users/admin/Desktop/baihuo.xls') sh = wb.sh ......
SQL语句在MySQL中的执行过程
SQL语句在MySQL中的执行过程 MySQL 主要分为 Server 层和引擎层，Server 层主要包括连接器、查询缓存、分析器、优化器、执行器，同时还有一个日志模块（binlog），这个日志模块所有执行引擎都可以共用，redolog 只有 InnoDB 有。 引擎层是插件式的，目前主要包括，M ......
Flashduty 案例分享 - 益丰大药房
Flashduty 作为功能完备的事件OnCall中心，可以接入云上、云下不同监控系统，统一做告警降噪分派、认领升级、排班协同，已经得到众多先进企业的认可。我们采访了一些典型客户代表，了解他们的痛点、选型考虑和未来展望，集成本系列文章，以飨读者。 本次采访的是来自益丰大药房的高级运维工程师张望。益丰 ......
行云部署成长之路--慢SQL优化之旅 | 京东云技术团队
当项目的SQL查询慢得像蜗牛爬行时，用户的耐心也在一点点被消耗，作为研发，我们可不想看到这样的事。这篇文章将结合行云部署项目的实践经验，带你走进SQL优化的奇妙世界，一起探索如何让那些龟速的查询飞起来！ 序章：EXPLAIN - 揭开查询的神秘面纱 EXPLAIN命令是数据库管理员和SQL开发人 ......
DruidDSUtil 工具类，连接数据库，执行SQL工具类
DruidDSUtil 点击查看代码 package com.sunny.datastream.transform.utils; import com.alibaba.druid.pool.DruidDataSource; import com.alibaba.druid.pool.DruidPoo ......
Qt 如何操作数据库SQL模块
内容提要 介绍数据库相关内容，了解连接数据库方法，掌握数据库的4种基本操作 主要内容 如何连接数据库 数据库的4大基本操作 增 删 改 查 1.如何连接数据库 1.1 先了解数据库驱动的作用 Qt SQL模块是Qt提供的一个访问数据库的接口，支持多种平台下使用不同类型的数据库，在这个过程中，数据库驱 ......
Hive之set参数大全-1
A 控制是否允许在需要时按需加载用户定义函数（UDF） hive.allow.udf.load.on.demand 是 Apache Hive 中的一个配置属性，用于控制是否允许在需要时按需加载用户定义函数（UDF）。 在 Hive 中，UDFs是用户编写的自定义函数，可以在 Hive SQL 查询 ......
Hive之set参数大全-2
C 指定是否启用表达式缓存的评估 hive.cache.expr.evaluation 是 Hive 中的一个配置属性，用于指定是否启用表达式缓存的评估。表达式缓存是一项优化技术，它可以在执行查询时缓存表达式的评估结果，以减少计算开销。 在 Hive 配置中，可以使用以下方式设置 hive.cach ......
Hive之set参数大全-3
D 是否启用本地任务调试模式 hive.debug.localtask 是 Apache Hive 中的一个配置参数，用于控制是否启用本地任务调试模式。在调试模式下，Hive 将尝试在本地模式下运行一些任务，以便更容易调试和分析问题。 具体来说，当 hive.debug.localtask 被设置为 ......
Hive之set参数大全-4
F 指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器 hive.fetch.output.serde 是 Hive 的一个配置参数，用于指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器。 以下是一个示例： -- 设置 hive.fetch.output.serde 为 o ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
案例分享-Exception.getMessage突然为null
背景 之前做的小工具一个jsqlparse+git做的小工具帮我节省时间摸鱼昨天突然停止工作，看了下jvm并没有退出，但是看日志确实有不少Error输出，虽说是一个普通的NPE，但是分析了一下却疑点重重，所以花点时间来一探究竟，最终又掌握一个jvm知识点，还是比较有意思。 错误现场 以下是示例代码， ......
机器学习周刊第二期：300个机器学习应用案例集
大家好 前文：机器学习项目精选 第一期 继续分享我最近看过并觉得非常硬核的资源，包括Python、机器学习、深度学习、大模型等等。 1、Python编程挑战 地址：https://github.com/Asabeneh/30-Days-Of-Python 30天Python编程挑战是一个逐步学习Py ......
day29 Promtail高级特性及场景案例 （9.10）
9.10-1-Promtail高级特性及场景案例(1) 一、如何评价一款“好”的日志收集解决方案 首先，优秀的日志收集解决方案应该能够 适配 各种 复杂 的场景。其次，功能的 全面性 也是一个重要的考虑因素。如：具备日志过滤、转换、增强和处理等丰富功能。此外，易用性 也是一个关键因素。用户能够轻松配 ......
01. 理论 ⑵ ：SQL分类、数据类型
char 和 varchar 的区别 char： 定长字符串（最多 255），插入长度小于固定长度时，用空格填充； 因为长度固定，所以存取更快，甚至能快 50%，但也会占用更多空间； varchar： 可变长字符串（最多65532），按数据长度存储。 MySQL 货币字段类型选择 用 DECIMAL ......
hive小记
Hive介绍 1、Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能 3、Hive处理的数据存储在HDFS，底层实现是MapReduce，执行 ......
案例分析
基础 安全三要素 机密性：维护对信息访问和公开授权的限制，包含个人隐私和私有隐患。 完整性：防止信息被不适当的修改和毁坏，保证信息的不可抵赖性和真实性。 可用性：保证信息的及时可靠的访问和使用。 对影响等级不适用是针对机密性。 公开信息，即不需要保密。所以机密性（NA）、完整性和可用性（M） 认证 ......
expr命令案例
expr判断文件名后缀是否合法： 需求1：执行脚本，传入一个文件名，然后判断该文件是否是JPG文件 思路： 1.先明白expr命令的模式匹配功能，字符串匹配上了就统计其长度，匹配不上就返回0，在shell中。0就是假的意思，非0就是真 对真假条件判断，的不同的条件执行 if else语句 需求2：找 ......
JDBC-预编译SQL语句
一、概述： SQL注入攻击指的是通过构建特殊的输入作为参数传入Web应用程序，而这些输入大都是SQL语法里的一些组合，通过执行SQL语句进而执行攻击者所要的操作，其主要原因是程序没有细致地过滤用户输入的数据，致使非法数据侵入系统。 以模拟登录为例:在前台输入用户名和密码，后台判断信息是否正确，并给出 ......
sql注入基础
SQL命令基础 一、sql命令的执行顺序 1、SQL案例: select…distinct…count()…from…table_name…on…join…where…group by…having…order by…limit 2、SQL执行的顺序(操作中临时表不使用了会被回收) from -> ......
为什么sql server在1/2时返回0？
原文链接：http://cn.voidcc.com/question/p-ysebrehb-rq.html select cast(1/2 as decimal(9,2)) 也返回0 原因： 整数除法 select 1/2 -- 0 浮法分裂（至少有一个参数必须是浮/十进制）： select 1/2 ......
帆软报表如何在超链接传入参数，又如何在SQL中接收参数？
1、这是帆软的超链接 http://localhost:8075/webroot/decision/view/report?viewlet=3C%252F%25E6%25B5%258B%25E8%25AF%2595%252xxxxxxx.cpt 添加一个fileName的参数。 http://loc ......
针对向吃鸡外挂站开炮的渗透案例
一、案例1因为最近吃鸡被外挂打自闭了，所以准备也让那些卖挂的体会一下什么叫做自闭。昨天晚上爬了快1000个卖吃鸡外挂的平台你们这些卖挂的，等我有空了一个一个捶。发现大多数都是用的一套aspx的程序，可惜没有源码不能白盒审计，黑盒也找不到什么洞只能找找软柿子捏，昨天晚上一口气锤了四个基本上都有宝塔不过 ......
码上加速，低代码解锁高效交付案例
一、背景简介 站长工作台，致力于为京东物流所有站长、运营管理人员提供高效工作平台，拥有多元化的业务形态。我们力求提升团队研发效率、实现敏捷业务交付，以打造一支具备灵活性、高度协作和强适应能力的敏捷团队。 二、提效案例描述 2.1、痛点分析 站长工作台的报表页面和任务卡片页面，大多数的UI风格和交互方 ......
python操作mogodb实现类似于SQL的In方法
1. 使用python操作mogodb实现类似于SQL的In方法： 相关示例代码如下 from pymongo import MongoClient # 连接到MongoDB数据库 client = MongoClient('mongodb://localhost:27017/') # 选择数据库和 ......
MySql版本问题sql_mode=only_full_group_by的完美解决方案
1、查看sql_modeselect @@sql_mode查询出来的值为：ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USE ......