日志描述
日志路径:Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”,Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”,以此类推。
- HiveServer:“/var/log/Bigdata/hive/hiveserver”(运行日志),“/var/log/Bigdata/audit/hive/hiveserver”(审计日志)。
- MetaStore:“/var/log/Bigdata/hive/metastore”(运行日志),“/var/log/Bigdata/audit/hive/metastore”(审计日志)。
- WebHCat:“/var/log/Bigdata/hive/webhcat”(运行日志),“/var/log/Bigdata/audit/hive/webhcat”(审计日志)
日志归档规则:Hive的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置
表 1 Hive日志列表
日志类型 | 日志文件名 | |
---|---|---|
运行日志 | HiveServer运行环境信息日志 | |
HiveServer进程的运行日志 | ||
HiveServer进程的GC日志 | ||
HiveServer启动前的工作日志 | ||
Hive服务启动是否成功的检查日志 | ||
HiveServer卸载的清理日志 | ||
HiveServer进程启动日志 | ||
HiveServer进程停止日志 | ||
Hive本地任务的运行日志 | ||
Hive本地任务的GC日志 | ||
MetaStore进程的运行日志 | ||
MetaStore进程的GC日志 | ||
MetaStore安装后的工作日志 | ||
MetaStore启动前的工作日志 | ||
MetaStore卸载的清理日志 | ||
MetaStore进程启动日志 | ||
MetaStore进程停止日志 | ||
MetaStore运行环境信息日志 | ||
Webhcat进程启停正常日志 | ||
Webhcat进程启停异常日志 | ||
WebHCat启动前的工作日志 | ||
Webhcat卸载时或安装前的清理日志 | ||
WebHCat进程的GC日志 | ||
WebHCat进程的运行日志 | ||
hive-audit.log | HiveServer审计日志 | |
MetaStore审计日志 | ||
WebHCat审计日志 | ||
日志级别
Hive提供了如表2所示的日志级别。
运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
表 2 日志级别
级别 | 描述 |
---|---|
ERROR表示系统运行的错误信息。 | |
WARN表示当前事件处理存在异常信息。 | |
INFO表示记录系统及各事件正常运行状态信息。 | |
如果您需要修改日志级别,请执行如下操作:
-
参考修改集群服务配置参数,进入Hive服务“全部配置”页面。
-
左边菜单栏中选择所需修改的角色所对应的日志菜单。
-
选择所需修改的日志级别并保存。
说明:
配置Hive日志级别后可立即生效,无需重启服务。
日志格式
Hive的日志格式如下所示:
表 3 日志格式
日志类型 | 格式 | |
---|---|---|
运行日志 | <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> | 2014-11-05 09:45:01,242 | INFO | main | Starting hive metastore on port 21088 | org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198) |
<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置> |