一个基于 ChatGPT 的视频神器,开源了!

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!

38fc5db02bea86daf73625a4ab40f251.jpeg

自今年开始,AIGC 行业爆火,直接带动了不少产业的发展,这其中自然也包括电商直播、新媒体营销等等。

虽说现在可以利用不少工具,快速基于文案生成视频。但是,目前大部分应用还都是闭源的,可扩展性差,产品技术封闭,不太适合技术生态的构建与发展。

有鉴于此,我们的星球嘉宾,重新打造了一套完整的视频自动生成与剪辑工具:Open Chat Video Editor

57ed5ffa1c3d634fd41413271c988a48.png

该工具项目代码,目前已正式开源至 GitHub:

https://github.com/SCUTlihaoyu/open-chat-video-editor

作为一款新鲜出炉的短视频生成和编辑工具,它可以帮你完成以下工作:

  • 1)一键生成可用的短视频,包括:配音、背景音乐、字幕等。

  • 2)算法和数据均基于开源项目,方便技术交流和学习

  • 3)支持多种输入数据,方便对各种各样的数据,一键转短视频,目前支持:

    • 短句转短视频(Text2Video): 根据一句话介绍,生成文案和视频;

    • 网页链接转短视频(Url2Video): 自动提取网页内容,生成文案和视频;

    • 长视频转短视频(Long Video to Short Video): 对输入的长视频进行分析和摘要,并生成短视频。

  • 4)涵盖生成模型多模态检索模型等多种主流算法和模型,如: ChatGPT、Stable Diffusion、CLIP 等。

项目示例

下面给大家看下几个项目示例。

短句转短视频(Text2Video)

你只需输入一句话短文,该工具便能帮你自动补充文案,并生成短视频。

视频风格可根据你的个人喜好,选择现实风或卡通风。

b2a8af751e763579d5c081ee1c0a7824.png

图片中生成的图像,可以让 Stable Diffusion 直接生成,非常方便。

2、网页转短视频(Url2Video)

你只需要提供一个网址,该工具便会自动抓取网站内容,然后基于网站上面的内容,批量生成字幕文案和视频。

你可以通过这个功能为网站提供更为丰富的产品交互,或为企业产品生成视频演示。

97695b8089c756a3a9afe5487668bdbe.png

对于像百科这种一些偏文档介绍和科普型产品,通过该工具生成的视频质量会非常高。

可作用网站文档速读、一分钟科普介绍等场景。

下面跟大家讲下怎么用。

安装 & 使用

项目是基于 Python 构建,整个安装过程也比较简单,直接使用 pip 即可在命令行中快速安装。

1)安装 Pytorch

该项目可以使用 GPU 或 CPU 来运行,为了更好的操作体验,这里我们直接采用 GPU 的安装方式。

 
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

2)安装其他依赖环境

 
pip install -r requirements.txt

3)安装 CLIP

CLIP 是 OpenAI 在 GitHub 开源的一个神经网络,可用于对比「语言-图像」预训练,预测给定图像最相关的文本片段。

你可以用自然语言让它根据图像,自动寻找文本片段,无需直接针对任务进行优化,类似于 GPT-2 和 3 的零样本功能。

在此项目中,我们可以通过 CLIP 来实现跨模态检索。

运行下面这条命令,即可快速安装。

 
pip install git+https://github.com/openai/CLIP.git

4)安装 FAISS

 
conda install -c pytorch faiss-cpu

代码执行

需要你需要使用 ChatGPT 来辅助生成文案,你需要在项目的 configs 文件夹中,提前配置好 OpenAI 的 API Key 和 organization ID。

比如,你想使用项目的文本生成视频(图像基于本地检索)功能,则可以进入项目的 configs/text2video/image_by_retrieval_text_by_chatgpt_zh.yaml 路径,进行配置。

d880ed785224eb2a0a8234c32c8d6b32.png

2)下载数据索引和 meta 信息 data.tar,并解压到 data/index 目录下。

Meta 信息:https://pan.quark.cn/s/19fa46ceb2cb

3)执行脚本

 
# Text to video
python  app/app.py --func Text2VideoEditor  --cfg ${cfg_file}
# URL to video
python  app/app.py --func URL2VideoEditor  --cfg ${cfg_file}

自此,整个项目便能正常运行。

写在最后

常言道,一图胜千言,而一个视频,则可以按帧切分成数万张图片,其中所包含的信息量更为庞大。

自 4G 时代以来,短视频开始普及,进入千家万户,各类短视频平台如雨后春笋般层出不穷。

一个短短几分钟的视频,便能让人们感受世界各地不同地方的风俗人情,领略人间百态,拓展自己视野。

随着当下 AIGC 技术的飞速进步,各个行业的 AI 应用也将越来越多,凡是接触到互联网的行业,其传统方式都将被颠覆。基于不同场景所构建的 AI 应用,也将会面临新的技术挑战。

就视频剪辑而言,身边便有不少朋友,开始采用 AI 来逐步替代传统人工,这其中包括电商直播、新媒体营销、在线培训、知识科普等多个领域。

让 AI 实现复杂枯燥的剪辑流程,将一切自动化,给剪辑师腾出更多精力,用于挖掘更为丰富视频呈现场景,打造更好的内容,为用户提供绝佳的观看体验,这就是当下 AI 要做的事情。

我之前在星球也分享过,随着各类 AI 工具的成熟,一个人顶一整支团队,将成为现实。

善用工具的人,将在新时代的竞争中,将比普通人具有更大的优势。

如果你想了解更多实用的 AI 技术与应用,以及 ChatGPT 新进展,可以点击下方链接,加入我们社群进一步交流探讨。

👇 每个进群的人,都会收到我们赠送的一枚 ChatGPT 账号。

社群入口:ChatGPT 社群,正式上线!

不想错过文章推送?可以给 GitHubDaily 公众号加个星标。

a196768ff448ef8fbf5d7543c05539cf.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/3494.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php storm 安装,PhpStorm安装教程

PhpStorm安装教程 admin • 2020 年 07 月 01 日 下载 点击DOWNLOAD NOW下载 安装 create desktop shortcut(创建桌面快捷方式),系统32位就选32-bit,这个要勾选。 update path variable(restart needed)更新路径变量(需要重新启动),add launchers dir to the path(将启动器目…

如何帮助 ChatGPT 更好地学习和进化:纠正其错误的回答

如果您发现了 ChatGPT 的回答存在错误,可以通过向 ChatGPT 提供正确的答案来帮助它更好地学习和改进。ChatGPT 可以立即接受您提供的信息,并将其整合到它的知识库中,以便在未来类似问题的回答中更准确地回答相关问题。 1、首先回答加密用MD5…

ChatGPT的进化版?AutoGPT怎么用

AutoGPT是什么 首选给大家介绍,ChatGPT与AutoGPT的区别 目前AutoGPT被称为最接近AGI的人工智能,它是ChatGPT的进化版? “ChatGPT” 只能提供2021年9月之前的信息,所以你问它告诉我今天的天气,它回答不了 “AutoGPT” …

【终结篇】ChatGPT再“进化”,能胜任文章撰写工作吗?

本期文章由数字罗塞塔计划出品,于2023年3月9日在“浙江档案杂志”公众号首先发布,原名《兰台讲堂丨再“进化”的ChatGPT,能胜任文章撰写工作吗?》(兰台讲堂中仅选取作者和ChatGPT的部分聊天记录,本文将完整…

ChatGPT:向未来智能客服进化的必由之路

ChatGPT:向未来智能客服进化的必由之路🚀 1.什么是chatGPt1.文本分词2.语言理解3.自然语言生成 2. ChatGPT的原理3. chatgtp未来的发展趋势1.前言2.模型优化3.多语言处理4.行业应用5.智能匹配 4.chatgpt人工智能对人类社会造成的影响5.chatgtp与传统行业…

ChatGPT进化了,全新GPT-4发布,识图做网页,阅万行代码改BUG都不在话下,实在太强!...

一、开篇 近日,GPT4(Generative Pre-trained Transformer 4)的发布引起了全球范围内的轰动。GPT4是一种基于人工智能的语言生成模型,可以模拟人类的自然语言,并且可以产生高度逼真的语言和文本。其出现再次将人工智能技…

大模型训练一次200-1200万美元!ChatGPT多烧钱?

随着以ChatGPT为代表的生成式AI兴起,其背后以大模型为基础的人工智能成为业界投入的方向。 所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调&…

ChatGPT是怎么变得这么强的?拆解追溯ChatGPT各项能力的起源

©作者 | 符尧、彭昊等 最近,OpenAI 的预训练模型 ChatGPT 给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问,它又强又聪明,且跟它说话很好玩,还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期…

绝对想不到,Chatgpt 优缺点都有这些

ChatGPT 是一种基于自然语言处理 (NLP) 模型的对话生成程序,它的核心是通过机器学习算法训练得到的语言模型。GPT (Generative Pre-trained Transformer) 是ChatGPT的基础,这是一种使用Transformer架构的预训练语言模型。 ChatGPT的工作原理是通过输入一…

ChatGPT缺点之为什么ChatGPT、文心一言这么厉害了,还经常会把古诗词的作者弄错?

因为Chatbot模型在中国古典文学方面确实还有较大提高的空间。包括: 训练数据不够丰富。这些模型的训练数据主要来自网络爬取的文本,古典文学相关的高质量数据相对较少,导致模型对这方面知识掌握不够深入全面。 gpt3.5-框中诗句作者应为陆游 作者信息不…

ChatGPT还有哪些不足?

从技术角度来看,ChatGPT作为一个基于神经网络的自然语言处理模型,其优势在于能够处理大量的语言数据,并生成自然流畅的语言表达。ChatGPT还可以通过对话历史的分析,对当前对话进行上下文感知和情境推理,从而提供更加个…

调用科大讯飞语音转文本

文章目录 一、创建应用二、测试接口 一、创建应用 点击控制台,创建新应用 点击应用,进入详情页,可获取APPID、APISecret、APIKey 二、测试接口 安装包 pip install websocket pip install websocket-client0.57.0#!/usr/bin/env python …

“讯飞星火”大模型计划10月底赶超ChatGPT

文章目录 前言你使用过这种对话式AI吗?有什么看法或感受?“讯飞星火大模型将超越chatgpt?”这类型的人工智能对现在的社会有什么意义?这类型的人工智能,未来前景如何?申请体验写在最后 ✍创作者&#xff1a…

讯飞星火认知大模型内测【附申请链接与方式】

🥑 Welcome to Aedream同学 s blog! 🥑 一直发不出去,说是广告宣传,真离谱😭 直接把介绍内容全删了 原定于5月6日正式对外发布科大讯飞“星火”认知大模型 提前内测了!! 又一国内类chatgpt产品…

科大版中国版ChatGPT来啦!抢先体验

随着文心一言、通义千问等国内顶尖级ChatGPT大模型相继问世,具有语言理解和生成能力的人工智能正在引领行业创新发展。作为人工智能公司中的佼佼者,科大讯飞也开始加入到这场竞争中来。 4月20日,科大讯飞宣布即将于5月6日正式发布其最新的“…

科大讯飞的类ChatGPT今日发布开始大规模注册体验,手慢则无!

国外的ChatGPT要科学上网, 很多人无奈只能付费买个套壳, 盼星星盼月亮, 国产ChatGPT出来了, 百度的文心一言, 阿里的通义千问, 风风光光地开了发布会, 说是可以注册体验, 一访问官方…

ChatGPT与讯飞星火实测对比

文章目录 一、推理测试测试提示词1:假设树上有10只鸟,开枪打死1只,那么树上还有几只鸟?- 测试提示词2:一艘船10天可以渡过太平洋,请计算10艘船多少天可以渡过太平洋。测试提示词3:我爸妈结婚的时候为什么不…

科大讯飞星火认知大模型来了,和ChatGPT比怎么样

科技领域的巨头科大讯飞近日在安徽省合肥市召开了一场盛大的发布会,正式发布了其最新的讯飞星火认知大模型,引起了广泛的关注和热议。据科大讯飞董事长刘庆峰和研究院院长刘聪介绍,目前该大模型已经在文本生成、知识问答、数学能力等三大能力…

科大讯飞AI大模型实测——使用讯飞“星火”设计团队组织架构和工作流程-是骡子是马拉出来溜溜~对比ChatGPT实测体验来啦

讯飞星火是什么 讯飞星火是科大讯飞研发的认知智能大模型,可以和人类进行自然交流,解答问题,高效完成各领域认知智能需求。5月6日下午,科大讯飞召开的“讯飞星火认知大模型”成果发布会上,科大讯飞董事长刘庆峰表示&am…

大比拼:讯飞星火大模型将超越ChatGPT?

5月6日,讯飞星火认知大模型成果发布会于合肥举办。会上,备受业界期待的“星火”认知大模型正式发布,讯飞AI学习机、讯飞听见、讯飞智能办公本、讯飞智慧驾舱、讯飞数字员工,四大行业中的五大成果同步演示,发布会全程进…