Hive日志介绍

日志描述

日志路径:Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”,Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”,以此类推。

  • HiveServer:“/var/log/Bigdata/hive/hiveserver”(运行日志),“/var/log/Bigdata/audit/hive/hiveserver”(审计日志)。
  • MetaStore:“/var/log/Bigdata/hive/metastore”(运行日志),“/var/log/Bigdata/audit/hive/metastore”(审计日志)。
  • WebHCat:“/var/log/Bigdata/hive/webhcat”(运行日志),“/var/log/Bigdata/audit/hive/webhcat”(审计日志)

日志归档规则:Hive的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置

表 1 Hive日志列表

日志类型

日志文件名

描述

运行日志

/hiveserver/hiveserver.out

HiveServer运行环境信息日志

/hiveserver/hive.log

HiveServer进程的运行日志

/hiveserver/hive-omm-<日期>-<PID>-gc.log.<编号>

HiveServer进程的GC日志

/hiveserver/prestartDetail.log

HiveServer启动前的工作日志

/hiveserver/check-serviceDetail.log

Hive服务启动是否成功的检查日志

/hiveserver/cleanupDetail.log

HiveServer卸载的清理日志

/hiveserver/startDetail.log

HiveServer进程启动日志

/hiveserver/stopDetail.log

HiveServer进程停止日志

/hiveserver/localtasklog/omm_<日期>_<任务ID>.log

Hive本地任务的运行日志

/hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号>

Hive本地任务的GC日志

/metastore/metastore.log

MetaStore进程的运行日志

/metastore/hive-omm-<日期>-<PID>-gc.log.<编号>

MetaStore进程的GC日志

/metastore/postinstallDetail.log

MetaStore安装后的工作日志

/metastore/prestartDetail.log

MetaStore启动前的工作日志

/metastore/cleanupDetail.log

MetaStore卸载的清理日志

/metastore/startDetail.log

MetaStore进程启动日志

/metastore/stopDetail.log

MetaStore进程停止日志

/metastore/metastore.out

MetaStore运行环境信息日志

/webhcat/webhcat-console.out

Webhcat进程启停正常日志

/webhcat/webhcat-console-error.out

Webhcat进程启停异常日志

/webhcat/prestartDetail.log

WebHCat启动前的工作日志

/webhcat/cleanupDetail.log

Webhcat卸载时或安装前的清理日志

/webhcat/hive-omm-<日期>-<PID>-gc.log.<编号>

WebHCat进程的GC日志

/webhcat/webhcat.log

WebHCat进程的运行日志

审计日志

hive-audit.log

hive-rangeraudit.log

HiveServer审计日志

metastore-audit.log

MetaStore审计日志

webhcat-audit.log

WebHCat审计日志

jetty-<日期>.request.log

Jetty服务的请求日志

日志级别

Hive提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表 2 日志级别

级别

描述

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。

  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。

  3. 选择所需修改的日志级别并保存。

     说明:
    配置Hive日志级别后可立即生效,无需重启服务。

日志格式

Hive的日志格式如下所示:

表 3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-11-05 09:45:01,242 | INFO | main | Starting hive metastore on port 21088 | org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>

2018-12-24 12:16:25,319 | INFO | HiveServer2-Handler-Pool: Thread-185 | UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/345573.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【算法】常用排序算法(插入排序、希尔排序、堆排序、选择排序、冒泡排序、快速排序、归并排序、计数排序)超详细

排序算法是数据结构相关知识中非常重要的一节&#xff0c;相信很多小伙伴对这部分知识一知半解。那么接下来&#xff0c;小编就要带领大家一起来进行对排序算法的深入剖析学习&#xff0c;希望本篇文章能够使你有所收获&#xff01; 一.常见的排序算法 排序算法有很多种&#…

‘AndroidStudio工具平台’尝试运行‘Android原生项目’

AndroidStudio工具平台 (内嵌Intelli IDEA集成环境) /Users/haijunyan/Library/Android/sdk 配置环境变量: #adb命令&#xff0c;安装APK查看连接设备 platform-tools #emulator命令&#xff0c;通过命令创建模拟器 tools #用NDK框架搭建的项目&#xff0c;用到下面的命令编译 …

【Oracle】Oracle导入导出dmp文件

文章目录 前言一、什么是dmp&#xff1f;二、imp/impdp、exp/expdp对比及示例1.区别2.imp/impdp对比及示例a. impb. impbp 3.exp/expdp对比及示例a. expb.expdp 3.其他事项 三、执行导入导出前置条件1.创建角色并授权2.创建目录映射 前言 在工作中&#xff0c;经常会遇到需要备…

Serif Affinity 2.5 (macOS, Windows) - 专业创意软件

Serif Affinity 2.5 (macOS, Windows) - 专业创意软件 Affinity Designer 2, Affinity Photo 2, Affinity Publisher 2 请访问原文链接&#xff1a;Serif Affinity 2.5 (macOS, Windows) - 专业创意软件&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主…

【数据结构(邓俊辉)学习笔记】图06——最小支撑树

文章目录 0. 概述1. 支撑树2. 最小支撑树3. 歧义性4. 蛮力算法5. Prim算法5.1 割与极短跨越边5.2 贪心迭代5.3 实例5.4 实现5.5 复杂度 0. 概述 学习下最小支撑树和prim算法。 1. 支撑树 最小的连通图是树。 连通图G的某一无环连通子图T若覆盖G中所有的顶点&#xff0c;则称…

【算法小记】深度学习——时间序列数据分析 Time series Data Analysis

在本篇博客中将简单介绍常见的几种循环神经网络和一维卷积神经网络&#xff0c;并使用一些简答的数据进行拟合分析。本文相对适合刚入门的同学&#xff0c;同时也作为自己过去一段时间学习的总结和记录&#xff0c;现在神经网络框架已经非常完善的支持了很多常见和有效的深度学…

Channels无法使用ASGI问题

Django Channels是一个基于Django的扩展, 用于处理WebSockets, 长轮询和触发器事件等实时应用程序. 它允许Django处理异步请求, 并提供了与其他WebSockets库集成的功能.当我们在Django Channels中使用ASGI_APPLICATION设置时, 我们可以指定一个新的ASGI应用程序来处理ASGI请求.…

Linux基础I/O

一&#xff0c;系统文件I/O 写文件: #include <stdio.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <string.h> int main() {umask(0);int fd open("myfile", O_WRO…

Docker高级篇之Docker微服务实战

文章目录 1. 构建一个简单的微服务项目2. 编写Dockerfile发布微服务部署到docker容器 1. 构建一个简单的微服务项目 创建一个SpringBoot项目 创建一个Controller RestController public class OrderController {Value("${server.port")private String port;Reques…

C语言:双链表

一、什么是双链表&#xff1f; 双链表&#xff0c;顾名思义&#xff0c;是一种每个节点都包含两个链接的链表&#xff1a;一个指向下一个节点&#xff0c;另一个指向前一个节点。这种结构使得双链表在遍历、插入和删除操作上都表现出色。与单链表相比&#xff0c;双链表不仅可以…

Rust 实战丨SSE(Server-Sent Events)

&#x1f4cc; SSE&#xff08;Server-Sent Events&#xff09;是一种允许服务器向客户端浏览器推送信息的技术。它是 HTML5 的一部分&#xff0c;专门用于建立一个单向的从服务器到客户端的通信连接。SSE的使用场景非常广泛&#xff0c;包括实时消息推送、实时通知更新等。 S…

C++中的priority_queue和deque以及适配器

C中的priority_queue和deque 一丶 priority_queue1.1 priority_queue的介绍1.2 priority_queue的使用1.3 priority_queue的模拟实现 二丶 deque2.1 deque的简单介绍2.2 deque的缺陷2.3 为什么要选择deque作为stack和queue的迭代器 三丶 容器适配器3.1 什么是适配器3.2 STL标准库…

Effective Java 2 遇到多个构造器参数时要考虑使用构建器

第2个经验法则&#xff1a;用遇到多个构造器参数时要考虑使用构建器&#xff08;consider a builder when faced with many constructor parameters&#xff09; 上一条讨论了静态工厂相对于构造器来说有五大优势。但静态工厂和构造器有个共同的局限性:它 们都不能很好地扩展到…

开源网关Apache APISIX启用JWT身份验证

说明&#xff1a; 本文APISIX的配置参考我之前写的《Ubuntu部署Apache APISIX》 创建最小API 首先&#xff0c;确保你已经安装了.NET 6 SDK。创建文件夹“MinimalApiDemo”&#xff0c;VS Code打开文件夹&#xff0c;打开终端 dotnet new web -o MinimalApiDemo cd Minimal…

【JMeter接口测试工具】第二节.JMeter基本功能介绍(上)【入门篇】

文章目录 前言一、获取所有学院信息接口执行二、线程组的介绍 2.1 并发和顺序执行 2.2 优先和最后执行线程组 2.3 线程组的设置细节三、HTTP请求的介绍四、查看结果树的配置使用总结 前言 一、获取所有学院信息接口执行 我们先针对一条简单的接口进行执行&#…

代码随想录刷题笔记-哈希表篇

文章目录 242 有效的字母异位词(easy)力扣地址题目描述题目实例解题思路代码实现 383 赎金信(easy)力扣地址题目描述题目实例解题思路代码实现 49 字母异位词分组(mid)力扣地址题目描述题目实例解题思路代码实现 438 找到字符串中所有字母异位词(mid)力扣地址题目描述题目实例解…

3038. 相同分数的最大操作数目 I(Rust模拟击败100%Rust用户)

题目 给你一个整数数组 nums &#xff0c;如果 nums 至少 包含 2 个元素&#xff0c;你可以执行以下操作&#xff1a; 选择 nums 中的前两个元素并将它们删除。 一次操作的 分数 是被删除元素的和。 在确保 所有操作分数相同 的前提下&#xff0c;请你求出 最多 能进行多少次…

SpringBoot整合钉钉实现消息推送

前言 钉钉作为一款企业级通讯工具&#xff0c;具有广泛的应用场景&#xff0c;包括但不限于团队协作、任务提醒、工作汇报等。 通过Spring Boot应用程序整合钉钉实现消息推送&#xff0c;我们可以实现以下功能&#xff1a; 实时向指定用户或群组发送消息通知。自定义消息内容…

Python进阶-部署Flask项目(以TensorFlow图像识别项目WSGI方式启动为例)

本文详细介绍了如何通过WSGI方式部署一个基于TensorFlow图像识别的Flask项目。首先简要介绍了Flask框架的基本概念及其特点&#xff0c;其次详细阐述了Flask项目的部署流程&#xff0c;涵盖了服务器环境配置、Flask应用的创建与测试、WSGI服务器的安装与配置等内容。本文旨在帮…

【iOS】——Runtime学习

文章目录 一、Runtime介绍二、Runtime消息传递三、实例对象、类对象、元类对象四、isa_t结构体的具体实现五、cache_t的具体实现六、class_data_bits_t的具体实现七、Runtime消息转发动态方法解析备用接收者完整消息转发 一、Runtime介绍 iOS的Runtime&#xff0c;通常称为Obj…