成本降低 90%,出海社交平台 Typing 基于 Databend 的大数据探

Typing(输入中科技)成立于 2022 年,是一家主要面向东南亚、拉美、中东等海外地区提供社交平台的出海企业。其社交平台类似于国内的 Soul、陌陌等,提供视频直播、语音聊天室、短视频、生活分享、文字聊天等社交功能,注册用户超百万,日活用户数十万。人们可以在平台内认识有趣的人,结交新朋友,还可以建立自己的社交社区。

Typing 业务场景特点

如今,社交平台已经成为生活中必不可少的一部分。人们在社交平台上交友、分享和交流信息,这些信息包含了丰富的用户行为和偏好数据。大数据技术使得这些海量的数据可以被有效地挖掘和分析,从而为社交平台的发展和用户体验,提供技术支撑和决策支持。

Typing 作为一家社交公司,数据的重要性不言而喻,通过数据可以挖掘出许多商业价值:

一,构建社交平台的用户画像。用户画像是基于用户的行为数据和个人信息建立的用户模型。Typing 通过分析用户的关注、好友关系、兴趣爱好等数据,可以对平台内用户进行准确的用户画像构建。通过用户画像,平台可以更好地理解用户的需求和行为倾向,从而为 Typing 的用户提供更加个性化和精准的服务和推荐,提升平台的用户体验度和满意度。

二,社交平台的内容推荐和个性化推送。Typing 整个社交平台的内容繁多复杂,包含音频、视频、文字、图片等多种形式,用户在其中找到自己感兴趣的内容和人往往比较困难。借助大数据分析技术,Typing 可以对用户的历史行为数据进行分析,了解用户的兴趣和偏好,从而为用户提供个性化的内容推荐和推送。通过个性化内容推送,Typing 社交平台可以提高用户的活跃度和粘性,同时也增加用户对平台的依赖和忠诚度。

三,社交平台的社交关系挖掘。作为社交平台,人与人之间的社交关系是 Typing 的核心所在,对社交关系的理解和分析可以帮助 Typing 更好地发现用户的兴趣和需求。借助大数据分析技术,Typing 可以分析用户的好友关系、互动行为等数据,发现用户之间的兴趣群体和社交网络,从而为用户提供更加精准和相关的社交推荐。同时,社交关系挖掘还可以为平台提供用户流失预测和用户关系维护等策略指导,提高用户的留存和活跃度。

Typing 面临的技术挑战

受限于创业公司的规模,Typing 整个研发团队只有 15 人左右,没有专门的大数据团队和 AI 算法推荐团队,但是公司对精细化运营有着强烈需求,这就需要对用户、对整个平台做到知根知底。如何基于数据得出有价值的分析和洞察变得不可或缺。为了实现这一目标,Typing 技术团队进行了很多摸索,先后接触过阿里云、火山引擎的大数据方案,但在 Typing 看来,这些方案从文档到接入都很复杂,时间和人力成本都比较高,对于一家创业公司而言很难落地。

Typing 也曾经试用过开源的 Clickhouse,但它需要有专门的数据开发人员做一些中间的数据清理 ETL 工作,由于缺乏这方面的人力最终也未能落地。

为什么选择 Databend?

在一次大会的开源活动中,Typing 技术团队负责人武云鹏接触到了 Databend,在经过一系列深入了解和交流后,他被 Databend 以下几个特点所深深吸引:

  • 存算分离架构:Databend 将存储与计算完全分离,用户可以根据应用程序的需要轻松扩展或者缩小。同时,Databend 完全面向对象存储设计,突破了传统数据库磁盘容量的束缚;

  • 高性能查询:Databend 先进的架构和矢量化查询引擎,不仅实现了海量数据的即时分析,更将延迟缩短到亚秒级。同时利用数据级并行( Vectorized Query Execution )和指令级并行( SIMD )技术,提供性能卓越的数据分析。在TPC-H标准下,Databend在导入数据,cold run,hot run三个维度上比国外主流新一代存算一体云原生数据库整体快 1.3 倍;相比传统存算一体数据库有 2-3 倍的速度提升;

  • 与主流数据生态和工具无缝对接:Databend Cloud 与主流数据技术和工具无缝对接,提供 Java、Go、Python、Node.js、Rust 等语言 SDK,支持与 Kafka、DBT、FlinkCDC、Airbyte、Data X、Devezium 等工具对接,解决了 Typing 原有技术栈的兼容问题,满足了在数据转换、商业智能、Ad-Hoc 分析和数据应用方面的所有需求,可以帮助用户快速挖掘数据的潜在价值;

  • 低成本:Databend Cloud 经济、智能的计算集群,搭配高度压缩、性能优化的对象存储,可以将成本降低高达 90%,像 Typing 这样的创业公司进行数据处理不必再花费巨资;

  • 使用方便:Databend Cloud 提供一站式 SaaS 服务,通过数据管道和任务管理,可以让数据导入变得更为简单,让用户免运维,开箱即用。同时,Databend 没有要构建的索引,不需要手动调整,不需要手动计算分区或分片数据,所有这些都在数据加载到表中时完成。

部署方案

Databend 的各项特性刚好契合了 Typing 对于大数据平台的各项需求,于是 Typing 选择了 Databend 数据库作为主要的大数据分析工具。经过一系列规划、准备、兼容性评估等工作,成功将大数据计算业务迁移到 Databend Cloud 上。 

 目前,Typing 的数据源主要来自 AWS Aurora 数据库,开发人员每天定时以 T+1 的方式进行数据同步。首先用 databend-py SDK 将 Aurora 数据库中的几十张表导出到 S3 中,然后再通过 Databend 将 S3 里的数据直接导入 Databend Cloud。得益于 Databend 所坚持的开源理念和对 Superset 的开源贡献,Databend 可以非常轻松地接入 Superset 开源数据看板工具。经过 Databend Cloud 计算后的数据再传到 Superset 中就可以进行数据可视化展现了。

在这个场景中,Databend 主要用途是承载运营数据看板。Typing 每天早上 8 点开始同步,数据量大约 2-3TB,10 点上班前就可以完成数据导入和计算。Typing 的技术人员上班后就可以在 Superset 中,做一些面向运营和产品的可视化数据看板。

此外,Databend 在 Typing 还有另一个用途,利用数据库中产生的用户行为历史数据(如消费记录、语音房、送礼物等数据),在 Databend Cloud 中进行全量用户计算,计算出用户分群标签,然后导入业务服务器,支撑业务应用开发对用户做出区分,进行更多的个性化推送。

项目收益

从去年 11 月部署完成到现在已经过去了半年时间,Databend Cloud 非常好地解决了 Typing 大数据分析的各种挑战,不论是查询速度、结果的准确性还是成本,都超出了 Typing 的预期。

  • 迁移到 Databend Cloud 后,在查询速度更快的基础上,Typing 的数据成本降低了 90%,目前成本中最高的部分是从 AWS Aurora 同步数据到 Databend Cloud 的消费,Typing 也正在尝试与 Databend 一起探索通过更换同步机制减小这部分成本;

  • Typing 的运营团队经常通过写 SQL,来定一些指标查看数据看板。由于 Databend 提供了统一的 SQL 接口,符合产品和研发原有数据库使用习惯,节省了适应成本。运营团队反馈新的数据看板上手非常简单,无论写什么都能很快给出结果,整个过程非常顺滑稳定;

  • 在服务过程中,Databend 官方提供了专属工程师服务,紧急问题天级或小时级就可以反馈修复。对于 Typing 而言,可以节省出专门的数据开发人力,将 Databend 工程师作为数据团队的一部分,这在以往一些云大厂服务中是完全可不想象的。

未来探索

目前,Typing 正在开启对 Databend 的新一轮探索,对 Databend 的信任也让 Typing 想将其拓展到更广的用途中。未来,Typing 计划将业务服务器的埋点数据也同步到 Databend Cloud 中。由于埋点数据包含了更多的用户行为,相比数据库数据而言,这些数据对业务决策更有价值,这部分数据将用来支撑一些时效性更强的逻辑业务。而服务器的埋点数据更具时效性,大概每 15 分钟同步一次,需要进行近实时同步。Databend 经过成本和时效性等方面考量,提供了一种增量同步方案,最小可以达到小时级,

在与 Typing 的整个合作过程中,Databend 不仅帮助 Typing 解决了现有的许多技术难题,还秉承着开放合作的理念与 Typing 一起进行更多场景的探索,为社交平台业务的发展提供可靠的数据支持。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/322849.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Axure中继器介绍以及案例分享

中继器是 Axure 中一个比较高阶的应用,它可以让我们在纯静态网页中模拟出类似带有后台数据交互的增删改查的效果。 一、中继器的基本使用方法: 整体流程分为三个步骤 ☆创建中继器 我们先在 Axured画布中拖入一个中继器元件 双击中继器后的效果 打开之…

一套C语言开发的 PACS影像系统源码 PACS系统的基本概念、系统业务流程

PACS系统基本概念 PACS,全称 Picture Archiving and Communication Systems,中文意为影像归档和通信系统。它是应用于医院影像科室的一种系统,主要任务是把日常产生的各种医学影像(包括核磁,CT,超声&#…

BeyondCompare4 下载\安装\免费使用

1. 官网 下载 Download Beyond Compare Free Trial 2. 安装(无脑下一步) 3.永久免费使用 修改注册表 A、在搜索栏中输入 regedit ,打开注册表 B、 删除项目:计算机 \HKEY_CURRENT_USER\Software\ScooterSoftware\Beyond Compar…

命运交织的节点:分布式事务最终一致性的心跳共鸣纪实

关注微信公众号 “程序员小胖” 每日技术干货,第一时间送达! 引言 在当今云计算和微服务架构大行其道的时代,分布式系统成为了构建高可用、高性能应用的基石。然而,随着系统规模的扩张,数据的一致性问题如同幽灵般萦…

mib browser读取mib文件的oid(飞塔防火墙为例)

在配置zabbix监控的时候,配置监控项最为麻烦,一般我们都会套用模板,这种方式比较简单,但是有些设备就是没有现成的zabbix模板,怎么办? 今天我们使用MIB Browser来获取设备SNMP的OID,然后加入zabbix 。 1.什么是MIB Browser SNMP客户端工具MIB Browser, 全名iReasonin…

华为手机 鸿蒙系统-android studio识别调试设备,开启adb调试权限

1.进入设置-关于手机-版本号,连续点击7次 认证:有锁屏密码需要输入密码, 开启开发者配置功能ok 进入开发者配置界面 打开调试功能 重新在androd studio查看可运行running devices显示了, 不行的话,重启一下android …

照片生成ai漫改头像生成漫画全套教程免费(自取)

今天给大家分享一一个AI漫改头像,轻松日增1000,简单操作好上手的一个互联网新项目,哈那其实AI漫改头像也火了差不多有半年左右了, 那其实利用AI软件将真人的照片生成漫画的形象,这个看起来很简单的方法却在小红书上大…

Vue入门到关门之Vue3学习

一、常用API 注意:本文项目均使用脚手架为 Vite 1、setup函数 (1)介绍 如果在项目中使用配置项API,那么写起来就和vue2的写法是一样的;但是如果在项目中写的是组合式API,那么组件中所用到的&#xff1a…

《架构即未来》读后感

目录 一、引言 二、《架构即未来》读后感 1、主题的简要介绍 2、我的看法和理解 3、作者的优点和传递的信息 4、思想如何适用于当今社会 三、《架构即未来》对于企业发展的影响具体体现在哪些方面? 一、引言 任何一个持续成长的公司最终都需要解决系统、组织…

关于GitHub仓库建立及提交问题

文章目录 前言GitHub仓库创建token令牌的获取GitHub克隆到本地GitHub上传文件 前言 为了整一个GitHub仓库然后上传文件,笔者看了不下100篇博客,20段教程,最后在两位大佬的帮助下,才整明白了😭 先提前说一嘴从 2021年8月…

python实现txt文件内容对比功能

欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一.前言 二.代码 三.演示 四.代码分析 一.前言 内容对比是一种常见的信息分析和研究方法,主要涉及对不同来源、类型或版本的内容进行比

【JAVA】类加载过程,以及类加载器

类加载过程,以及类加载器 一、类加载的过程二、类加载器介绍三、跨类加载三、举例说明 一、类加载的过程 类加载是Java虚拟机(JVM)将类文件加载到内存中并转换成对应的类对象的过程。它确保了类文件能够正确加载并转换成可执行的类对象&…

UE4_Water插件_Buoyancy组件使用

water插件提供了一个浮力Actor蓝图类。 需要注意的几个问题: 1、StaticMesh需要替换根组件。 2、需要模拟物理设置质量。 3、需要添加浮力组件,设置浮力点,应用水中牵引力。

Unity Animation--动画剪辑

Unity Animation--动画剪辑 动画剪辑 动画剪辑是Unity动画系统的核心元素之一。Unity支持从外部来源导入动画,并提供创建动画剪辑的能力使用“动画”窗口在编辑器中从头开始。 外部来源的动画 从外部来源导入的动画剪辑可能包括: 人形动画 运动捕捉…

【Linux】Linux——Centos7安装RabbitMQ

目录 安装包准备socaterlang 安装rabbitmq安装命令启动rabbitmq,两种方式查看rabbitmq 启动后的情况配置并开启网页插件关闭防火墙或开放端口测试登录问题配置web端访问账号密码和权限添加用户,后面两个参数分别是用户名和密码.添加权限修改用户角色再次…

24_Scala集合Map

文章目录 Scala集合Map1.构建Map2.增删改查3.Map的get操作细节 Scala集合Map –默认immutable –概念和Java一致 1.构建Map –创建kv键值对 && kv键值对的表达 –创建immutable map –创建mutable map //1.1 构建一个kv键值对 val kv "a" -> 1 print…

十四五”智慧城市:视频大数据汇聚系统2.0建设方案与特点分析

一、背景需求分析 随着科技的不断发展,智慧城市的建设已经成为城市发展的重要方向。视频汇聚系统作为智慧城市建设的重要组成部分,已经得到了广泛的应用和推广。视频汇聚系统是智慧城市中非常重要的组成部分,它利用摄像头和传感器技术来收集…

压缩机继电器EOCRDS-30NY7Q升级后型号:EOCRDS3-30S

EOCR-DS3系列型号: EOCRDS3-05S EOCRDS-05S EOCRDS1-05S EOCRDS3-30S EOCRDS-30S EOCRDS1-30S EOCRDS3-60S EOCRDS-60S EOCRDS1-60S EOCRDS3-05W EOCRDS-05W EOCRDS1-05W EOCRDS3-30W EOCRDS-30W EOCRDS1-30W EOCRDS3-60W EOCRDS-60W EOCRDS1-60W EOCR-DS3T-…

分享10个高质量宝藏网站~

分享一波高质量宝藏网站~ 这10个宝藏网站,个个都好用到爆,娱乐、办公、学习都能在这里找到! 1、Z-Library https://zh.zlibrary-be.se/ 世界最大的免费电子书下载网站!电子书资源超千万,不过这个网站不太稳定&#…

学习torchmd分子动力学模拟

TorchMD打算提供一种简单易用的API,用于使用PyTorch进行分子动力学。这使研究人员能够更快地进行力场开发研究,并以PyTorch的简单性和强大性将神经网络潜力无缝集成到动力学中。 TorchMD使用与经典MD代码(如ACEMD)一致的化学单位&…