我一直很喜欢深海纪录片,因为这里的生态系统和动物与陆地上的大不相同。因此,我决定在水下纪录片上测试 GPT-4 的信息提取能力。此外,我不知道有任何开源 NLP 模型经过训练可以检测海洋植物和生物之间的关系。因此,一部深海纪录片是使用 GPT-4 构建知识图谱的绝佳示例。
数据集
最容易找到纪录片的地方是 YouTube。虽然 GPT-4 是多模式的(支持视频、音频和文本),但当前版本的端点仅支持文本输入。因此,我们将分析视频的音频转录本,而不是视频本身。
我们将分析以下纪录片的文字记录。
首先,我喜欢纪录片的主题:“壮观的珊瑚礁海底世界”。
其次,从 YouTube 视频中提取字幕并不费力,因为我们根本不需要使用任何audio2text模型。但是,使用 HuggingFace 甚至 OpenAI 的 Whisper 上的所有可用模型将音频转换为文本应该不是什么大问题。
第三,该视频的字幕不是自动生成的。起初,我试图从 YouTube 上自动生成的字幕中提取信息,但我了解到它们可能不是最好的输入。因此,如果可以,请避免使用自动生成的 YouTube 字幕。
可以使用YouTube 脚本/字幕库直接检索字幕。我们所要做的就是提供视频 ID。
https://pypi.org/project/youtube-transcript-api/
from youtube_transcript_api import YouTubeTranscriptApi