【Apache Doris】周FAQ集锦:第 1 期

【Apache Doris】周FAQ集锦:第 1 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 替换nvl2的方式有哪些?

💡A1 在SQL中,NVL2是一个函数,用于在条件成立时返回一个值,在条件不成立时返回另一个值;可以通过case when进行替换。

❓Q2 查询报错:meet unknown column stats on table 0lapscanNode
在这里插入图片描述

💡A2 通过关闭相关变量解决:set global forbid_unknown_col_stats = false;
forbid_unknown_col_stats参数只有在测试和跑benchmark时会打开,用于防止没有收集到统计信息,导致结果不理性,而进行不必要的问题追查。
生产环境中,建议永远设置为false。

数据操作问题

❓Q1 Doris 1.2.6,数据写入过程中出现错误码[-233]异常

💡A1 OLAP_ERR_TOO_MANY_TRANSACTIONS ,太多事务积压未完成导致。降低写入或者更新频率,或调大BE参数max_runnings_transactions_per_txn_map处理。
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

❓Q2 查看Broker Load导入状态时,Progress为50%,但State为FINISHED
在这里插入图片描述

💡A2 State为FINISHED是正确的,Progress进度统计存在问题,但只是显示问题,不会影响数据读写。
在Apache Doris 2.0.3已经修复了,建议升级至>=2.0.3的版本。
Release 2.0.3,可以查阅:
https://cdnd.selectdb.com/zh-CN/docs/releasenotes/release-2.0.3

运维常见问题

❓Q1 Routine Load异常:fetch failed due to requested offset not available on the broker: Broker: Offset out of range

💡A1 Routine Load报[broker:Offset Out of range] 原因:

  1. routine load 记录的偏移量和kafka group 已经committed的offset是一致的,由于kafka的数据清理机制(有没有消费都会清理),记录的偏移量下一个offset被清理导致的这个异常 。
  2. kafka清理时间设置过短,数据积压严重,也会导致此类异常出现。
    解决方案:查看kafka 现阶段最小偏移量,使用alter routine load job,重新设置偏移量,恢复routine load job即可。

❓Q2 Drop一张大表后,为什么BE磁盘空间没有减少?

💡A2 分两种情况:

  1. drop不加force时,数据不会放入回收站。这个机制是为了防止误删除,recoverd的时候用,和 fe.conf的catalog_trash_expire_second 参数有关系,默认为1天,1天后会将删除的表自动放到trash中。
  2. drop加force时,数据会直接放入回收站,此时可以通过admin clean trash去清理。

❓Q3 FE的负载均衡怎么实现?

💡A3 可以通过 JDBC Connector / ProxySQL / Nginx 方式实现:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing
1. JDBC的通信方式,建议使用 JDBC Connector的loadbalance实现。
2. 代理的方式用Nginx多些,也可以考虑 ProxySQL。

❓Q4 FE启动异常:Try to lock process failed

💡A4 fe进程冲突导致,jps查看是否已经存在fe进程进行排查处理。

❓Q5 Routine Load任务stop后,多久会删除?

💡A5 routine load任务stop之后,默认会在三天回收删除。
由fe的label_keep_max_second参数控制,该参数除了控制routine load,也是job共用的参数。
FE参数说明可以查阅FE配置项:
https://cdnd.selectdb.com/zh-CN/docs/admin-manual/config/fe-config

其它问题

❓Q Doris血缘分析的开源工具有哪些?

💡A 可以参考

  1. datahub:
    https://datahubproject.io/docs/next/features/
  2. apache atlas:
    https://atlas.apache.org/api/v2/index.html
  3. 基于ali的druid二开,例如data-lineage-doris项目:
    使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
    https://github.com/eyesmoons/data-lineage-doris

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/300013.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【单】Unity _RPG项目中的问题

👨‍💻个人主页:元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏: ⭐…

【Error】Uncaught TypeError: Cannot read properties of undefined (reading ‘get’)

报错原因: 返回值为undefined 解决: vue3可用?

echarts实现炫酷科技感的流光效果

前言: echarts实现炫酷科技感的流光效果 效果图: 实现步骤: 1、引入echarts,直接安装或者cdn引入 npm i echarts https://cdn.jsdelivr.net/npm/echarts5.4.3/dist/echarts.min.js 2、封装 option方法,第一个数据是折线数据&a…

面试:HashMap

目录 1、底层数据结构,1.7 与1.8有何不同? 2、为何要用红黑树,为何一上来不树化,树化阈值为何是8,何时会树化,何时会退化为链表? 3、索引如何计算? hashCode都有了,为何还要提供hash()方法?数组容量为…

AJAX —— 学习(三)(完结)

目录 一、jQuery 中的 AJAX (一)get 方法 1.语法介绍 2.结果实现 (二)post 方法 1.语法介绍 2.结果实现 (三)通用型的 AJAX 方法 1.语法介绍 2.结果实现 二、AJAX 工具库 axios &#xff08…

【XCPC笔记】2023 (ICPC) Jiangxi Provincial Contest——ABCHIJKL 做题记录

赛后gym练习及补题,gym链接:2023 (ICPC) Jiangxi Provincial Contest – Official Contest 补题顺序 L [Zhang Fei Threading Needles - Thick with Fine](https://codeforces.com/gym/104385/problem/L)题面解读参考代码 A [Drill Wood to Make Fire](h…

【数据结构与算法】力扣 24. 两两交换链表中的节点

题目描述 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换)。 示例 1: 输入: head [1,2,3,4] 输出&#…

迷茫下是自我提升

长夜漫漫,无心睡眠。心中所想,心中所感,忧愁当前,就执笔而下,写下这篇文章。 回忆过往 回想当初为啥学前端,走前端这条路,学校要求嘛,兴趣爱好嘛,还是为了钱。 时间带着…

使用GPT需要注意的事项

GPT出来之后,基本就告别浏览器搜索问题答案了。将问题原封不动的copy给GPT基本可以得到解答。 但是这个也有弊端,那就是太依赖GPT了。 1,使用GPT需要更强的专业知识:除了能问对问题,还要具备识别GPT&q…

WordPress 6.5 “里贾纳”已经发布

WordPress 6.5 “里贾纳”已经发布,其灵感来自著名爵士小提琴家Regina Carter的多才多艺。雷吉娜是一位屡获殊荣的艺术家和著名的爵士乐教育家,以超越流派而闻名,她在古典音乐方面的技术基础和对爵士乐的深刻理解为她赢得了大胆超越小提琴所能…

华为ICT七力助推文化产业新质生产力发展

创新起主导作用的新质生产力由新劳动者、新劳动对象、新劳动工具、新基础设施等四大要素共同构成,符合新发展理念的先进生产力质态;具有高科技、高能效、高质量等三大突出特征。而通过壮大新产业、打造新模式、激发新动能,新质生产力能够摆脱…

求m和n的最大公约数(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>int main() {//初始化变量值&#xff1b;int remainder 1;int m 0;int n 0;int middle 0;//提示用户&#xff1b;printf("请输入整数m和n的值&#xff…

大模型技术ollama入门教程

下载 下载&#xff1a;https://ollama.com/download 我下载的是Windows版本&#xff1a; Docker启动 使用Docker启动要更简单点。 拉取镜像&#xff1a; docker pull ollama/ollama使用CPU启动&#xff1a; docker run -d -v ollama:/root/.ollama -p 11434:11434 --nam…

SpringBoot mybatis-starter解析

mybatis-starter使用指南 自动检测工程中的DataSource创建并注册SqlSessionFactory实例创建并注册SqlSessionTemplate实例自动扫描mappers mybatis-starter原理解析 注解类引入原理 查看对应的autoconfigure包 MybatisLanguageDriverAutoConfiguration 主要是协助使用注解来…

winforms倒计时器程序

using System; using System.Windows.Forms;namespace WindowsForms {public partial class Form1 : Form{public Form1(){InitializeComponent();}private void Form1_Load(object sender, EventArgs e){button1.Text "开始计时";label1.Text "时长";la…

Hackthebox IClean

靶机信息IP/难度Medium网址https://app.hackthebox.com/machines/IClean状态Active系统Linux Python XSS, SSTI 端口扫描 PORT STATE SERVICE VERSION 22/tcp open ssh OpenSSH 8.9p1 Ubuntu 3ubuntu0.6 (Ubuntu Linux; protocol 2.0) | ssh-hostkey: | 256 2cf9077…

数字逻辑分析仪初体验

为啥会用到这玩意儿&#xff0c;要从一个荒诞的需求开始。想在市面上找一款特别低空飞行的监控&#xff0c;而且不想它一直开着监控&#xff0c;最好是我在外面远程指挥它起飞&#xff0c;飞去厨房&#xff0c;飞去洗手间&#xff0c;甚至飞去阳台&#xff0c;查看水龙头情况啊…

uniapp使用npm命令引入font-awesome图标库最新版本

uniapp使用npm命令引入font-awesome图标库最新版本 图标库网址&#xff1a;https://fontawesome.com/search?qtools&or 命令行&#xff1a; 引入 npm i fortawesome/fontawesome-free 查看版本 npm list fortawesome在main.js文件中&#xff1a; import fortawesome/fo…

【二分查找】Leetcode 山脉数组的峰顶索引

题目解析 852. 山脉数组的峰顶索引 这到题使用暴力枚举的查找方法发现这段数组是有二段性的&#xff0c;峰顶左边的一段区间是一段递增区间&#xff0c;右边的一段区间是一段递减区间 算法讲解 class Solution { public:int peakIndexInMountainArray(vector<int>&am…

C++ 【桥接模式】

简单介绍 桥接模式属于 结构型模式 | 可将一个大类或一系列紧密相关的类拆分 为抽象和实现两个独立的层次结构&#xff0c; 从而能在开发时分别使用。 聚合关系&#xff1a;两个类处于不同的层次&#xff0c;强调了一个整体/局部的关系,当汽车对象销毁时&#xff0c;轮胎对象…