【Azure 架构师学习笔记】- Azure Databricks (11) -- UC搭建

本文属于【Azure 架构师学习笔记】系列。
本文属于【Azure Databricks】系列。
接上文 【Azure 架构师学习笔记】- Azure Databricks (10) – UC 使用

前言

由于ADB 的更新速度很快,在几个月之后重新搭建ADB 时发现UC 已经更新了很多,为了后续做ADB 的功能测试时能有一个更准确的环境,这里从新搭建一次基于目前最新版本的UC。

启用UC

当有了一个ADB 之后,使用下面的步骤即可得到一个UC 环境。

在这里插入图片描述

Step 1:创建Storage Account(SA)

这里的SA是Databricks内部使用的,存储UC metadata和meanaged Tables。如果是Azure的storage account,注意一定要为ADLS Gen2,即启用了“Hierarchical namespace”。

下图是为了这次所创建的ADLS。

在这里插入图片描述

Step 2:创建Access Connector for Databricks

UC访问外部资源需要借助某些“工具”,访问ADLS 则需要Access Connector。在创建过程中需要保存资源ID,在后面需要使用。

在这里插入图片描述

在这里插入图片描述
可以选择system assigned MI 或者user assigned MI。如果所在企业没有明文规定,并且不考虑被多个ADB 共用,那么建议使用System MI, 比较省事。使用User MI 更多可以考虑多个ADB 共用权限。

在这里插入图片描述
记下这个ID:
在这里插入图片描述

Step 3:配置Connector在Storage Account和container上的权限

这里的权限主要是RBAC, 最少需要“Storage Blob Data Contributor” 角色。而授权的对象则是Step 2中的connector(Managed Identity)

Step 4:创建metastore

进去ADB 之后, 从下图中跳到管理界面,这个地方需要你有account admin 权限。

在这里插入图片描述
你也可以添加其他账号协助管理:
在这里插入图片描述
从catalog中进去管理UC, 如果首次创建则需要先创建MetaStore。
在这里插入图片描述
创建MetaStore
在这里插入图片描述
按照提示和前面创建的资源配置, 注意ADLS Gen2 path中的格式:

在这里插入图片描述
如果创建过程中报下面的错误,则意味着权限还不够:

Could not access location
This path doesn’t exist or we couldn’t access it with the credential provided. Metastores require a directory path.

在这里插入图片描述
这个时候到ADLS 的path中,添加如下的ACL。

在这里插入图片描述
再次回到MetaStore即可创建:

在这里插入图片描述

Step 5:把Workspace与MetaStore 关联

在创建好MetaStore之后,下一步就是assign catalog到workspace中。选中并点击assign即可。

在这里插入图片描述
配置完成:
在这里插入图片描述

检查UC

回到ADB workspace,然后点击catalog,可以从下图中看到这个workspace已经与MetaStore关联成功也就是由UC 控制。

在这里插入图片描述
检查集群状态,可以看到下面也有了UC 的标记。证明集群也已经收到了UC 的控制。

在这里插入图片描述
如果对比集群类型,可以看到已经启用了UC 和未启用UC的不同,下面这个图是启用了UC 之后可以选择的policy类型。

在这里插入图片描述

下面这个图是未启用UC的集群policy
在这里插入图片描述

小结

其实搭建UC 并不是主要目的, 最近因为需要使用“Medallion Architecture”, 所以搭建一个环境来做后续的尝试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/19793.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

解锁养生秘籍,拥抱健康生活

在这个快节奏的时代,人们行色匆匆,常常在忙碌中忽略了健康。其实,养生并非遥不可及,它就藏在生活的细微之处,等待我们去发现和实践。 规律作息是健康的基础。日出而作,日落而息,顺应自然规律&am…

动手学Agent——Day2

文章目录 一、用 Llama-index 创建 Agent1. 测试模型2. 自定义一个接口类3. 使用 ReActAgent & FunctionTool 构建 Agent 二、数据库对话 Agent1. SQLite 数据库1.1 创建数据库 & 连接1.2 创建、插入、查询、更新、删除数据1.3 关闭连接建立数据库 2. ollama3. 配置对话…

最新国内 ChatGPT Plus/Pro 获取教程

最后更新版本:20250202 教程介绍: 本文将详细介绍如何快速获取一张虚拟信用卡,并通过该卡来获取ChatGPT Plus和ChatGPT Pro。 # 教程全程约15分钟开通ChatGPT Plus会员帐号前准备工作 一个尚未升级的ChatGPT帐号!一张虚拟信用卡…

Redis哈希槽机制的实现

Redis哈希槽机制的实现 Redis集群使用哈希槽(Hash Slot)来管理数据分布,整个集群被划分为固定的16384个哈希槽。当我们在集群中存储一个键时,Redis会先对键进行哈希运算,得到一个哈希值。然后,Redis将该哈…

下载安装运行测试开源vision-language-action(VLA)模型OpenVLA

1. 安装 项目官网OpenVLA 首先按照官网提示的以下代码,执行创建环境->安装最小依赖->git克隆项目等 # Create and activate conda environment conda create -n openvla python3.10 -y conda activate openvla# Install PyTorch. Below is a sample comma…

外贸跨境订货系统流程设计、功能列表及源码输出

在全球化的商业环境下,外贸跨境订货系统对于企业拓展国际市场、提升运营效率至关重要。该系统旨在为外贸企业提供一个便捷、高效、安全的订货平台,实现商品展示、订单管理、物流跟踪等功能,满足跨境业务的多样化需求。以下将详细阐述外贸订货…

排序算法复习——包括插入排序、希尔排序、冒泡排序、快排(包括霍尔法、挖坑法、快慢指针法)、堆排、选择排序、归并排序等 (代码采用c/c++混编)

1.插入排序 插入排序就像我们打斗地主的时候,有一大把牌我们来不及理,就会一张一张的拿然后把拿到的牌放到合适的位置。 对于插入排序我们可以将待排序的数组理解为那一堆没有整理的牌,将排序好的部分理解为手上的牌,对于第i张牌我…

RocketMQ 5.0安装部署

0.前言 在微服务架构逐渐成为主流的今天,消息队列如同数字世界的快递员,承担着系统间高效通信的重要使命。 Apache RocketMQ 自诞生以来,因其架构简单、业务功能丰富、具备极强可扩展性等特点被众多企业开发者以及云厂商广泛采用。历经十余…

Jetson Agx Orin平台preferred_stride调试记录--1924x720图像异常

1.问题描述 硬件: AGX Orin 在Jetpack 5.0.1和Jetpack 5.0.2上测试验证 图像分辨率在1920x720和1024x1920下图像采集正常 但是当采集图像分辨率为1924x720视频时,图像输出异常 像素格式:yuv_uyvy16 gstreamer命令如下 gst-launch-1.0 v4l2src device=/dev/video0 ! …

【玩转全栈】----Django模板语法、请求与响应

目录 一、引言 二、模板语法 三、传参 1、视图函数到模板文件 2、模板文件到视图函数 四、引入静态文件 五、请求与响应 ?1、请求 2、响应 六、综合小案例 1、源码展示 2、注意事项以及部分解释 3、展示 一、引言 像之前那个页面,太过简陋,而且一个完整…

#渗透测试#批量漏洞挖掘#CyberPanel面板远程命令执行漏洞(CVE-2024-51567)

免责声明 本教程仅为合法的教学目的而准备,严禁用于任何形式的违法犯罪活动及其他商业行为,在使用本教程前,您应确保该行为符合当地的法律法规,继续阅读即表示您需自行承担所有操作的后果,如有异议,请立即停止本文章读。 目录 一、漏洞特征与影响 二、修复方案与技术细…

C++多态

目录 多态的概念多态的定义及实现协变析构函数的重写通过一段代码理解多态C11 final 和 override重载、覆盖(重写)、隐藏(重定义)的对比多态调用原理单继承中的虚函数表抽象类多继承中的虚函数表 多态的概念 概念:通俗来说,就是多种形态,具体…

PosgreSQL比MySQL更优秀吗?

一日,一群开发者对PosgreSQL是不是比MySQL更优秀进行了激烈的辩论,双方吵的都要打起来了 正方有以下理由: PostgreSQL严格遵循SQL标准规范,相较MySQL在语法兼容性和功能完整性方面展现出更强的体系化设计,尤其在事务处…

『大模型笔记』Jason Wei: 大语言模型的扩展范式!

Jason Wei: 大语言模型的扩展范式! 文章目录 一. What is scaling and why do it?1. 什么是Scaling?2. 为什么要Scaling?二. Paradigm 1: Scaling next-word prediction1. 下一个词预测2. 极限多任务学习3. Why does scaling work?三. The challenge with next-word predi…

TCP协议(Transmission Control Protocol)

TCP协议,即传输控制协议,其最大的特征就是对传输的数据进行可靠、高效的控制,其段格式如下: 源端口和目的端口号表示数据从哪个进程来,到哪个进程去,四位报头长度表示的是TCP头部有多少个4字节,…

瑞萨RA-T系列芯片ADCGPT功能模块的配合使用

在马达或电源工程中,往往需要采集多路AD信号,且这些信号的优先级和采样时机不相同。本篇介绍在使用RA-T系列芯片建立马达或电源工程时,如何根据需求来设置主要功能模块ADC&GPT,包括采样通道打包和分组,GPT触发启动…

TraeAi上手体验

一、Trae介绍 由于MarsCode 在国内由于规定限制,无法使用 Claude 3.5 Sonnet 模型,字节跳动选择在海外推出 Trae,官网:https://www.trae.ai/。 二、安装 1.下载安装Trae-Setup-x64.exe 2.注册登录 安装完成后,点击登…

三层渗透测试-DMZ区域 二三层设备区域

DMZ区域渗透 信息收集 首先先进行信息收集,这里我们可以选择多种的信息收集方式,例如nmap如此之类的,我的建议是,可以通过自己现有的手里小工具,例如无影,密探这种工具,进行一个信息收集。以免…

DeepSeek-R1:通过强化学习激励大模型的推理能力

大家读完觉得有帮助记得关注和点赞!!! DeepSeek 第一代推理模型(reasoning models) (所以缩写为 R1)的设计和训练过程: 要理解 DeepSeek-R1 的创新之处,可以先阅读 如何训…

演绎推理及其与数学的关系介绍

演绎推理及其与数学的关系介绍 什么是演绎推理? 演绎推理(Deductive Reasoning)是一种逻辑推理方法,它从一般性的规则或前提出发,得出一个具体的、必然正确的结论。换句话说,只要前提(Premise&…