Sora横空出世引关注，安全风险亦需警惕

  最近几天，OpenAI视频模型Sora的推出刷爆整个互联网，但与此同时，该模型的出现也让人们对于它可能被用来制造高质量虚假视频的潜在风险感到担忧。

  这两年，人工智能领域可谓热闹非凡。在发布ChatGPT一年多之后，OpenAI再次甩出一颗重磅炸弹。

  ChatGPT之后的又一爆款产品

  美国当地时间2024年1月15日，OpenAI在其官网上面正式宣布推出多模态大模型Sora，作为一款创新的视频生成工具，Sora可根据自然语言文本提示生成高质量的视频内容。

  具体而言，Sora不仅能够理解用户在提示中要求的内容，还了解人和物在物理世界中的存在方式。并且，该模型对语言有着深刻的理解，从而可以准确地理解提示，并生成令人信服的人和物来表达充满活力的情感。此外，Sora还可以在单个生成的视频中创建多个镜头，以准确保留角色和视觉风格。

  除了OpenAI外，Meta、谷歌等公司也推出了文本生成视频的AI工具。但Sora的独特之处在于，能够直接从文本输入一次性生成连续且完整的视频片段，时长可延伸至60秒，并且在生成过程中无须逐帧拼接，从而确保了输出视频内容的连贯性和一致性。

  引发安全忧虑

  然而，随着Sora的崭露头角，其强大功能也带来安全风险担忧，具体来看：

  第一，隐私泄露。多模态大模型使用大量数据和不同的数据类型进行训练，包括文本、图像、音频等多种模态的信息。这些数据可能含有用户的个人隐私和敏感信息，如果模型的数据处理不当或存在安全漏洞，就可能导致用户数据的泄露和滥用。

  第二，知识产权与版权侵犯：大模型的训练数据可能存在未经授权使用版权作品的情况，或者在生成内容时可能触及原创者的权益，从而引发版权争议。值得一提的是，据媒体报道，当地时间2023年12月27日，美国《纽约时报》以侵犯版权为由，起诉美国微软公司和OpenAI，指控这两家企业未经授权使用该媒体数以百万计文章训练ChatGPT等人工智能(AI)聊天机器人。

  第三，技术滥用。多模态大模型可用于制作逼真的合成媒体内容，这种技术可能被用于制造假新闻、诽谤他人或者从事其他违法行为。

  此外，大规模数据集可能存在价值偏见、数据污染等问题，这些问题在多模态环境下可能更加复杂，进一步影响模型的安全性和可靠性。

  实际上，IDC分析师也指出，多模态大模型技术将带来更为严峻的安全挑战。一方面，多模态大模型将读取更多的图像、视频类数据，这些图像视频数据是否合规是否安全，需要得到保障;另一方面，生成的视频与真实世界之间的差异，是否会影响到人身安全、社会稳定、企业安全等，也需要注意。

  媒体报道提及，尽管OpenAI在发布Sora时声称所有训练素材均源自公开渠道或经过合法授权，但并未透露具体涉及多少视频样本及其确切来源，这在一定程度上增加了外界对于数据安全性的疑虑。

  此外，在2024年这个被称为历史上最大规模的选举年，深度伪造技术成为不容忽视的风险点。据统计，2024年，全世界至少有65个国家/地区将会先后举行选举，预计将影响全球超过40亿人。在此背景下，AI深度伪造技术可能被滥用以制造大量虚假音视频内容，从而试图操纵公众舆论和选举结果。

  据悉，为了防止恶意滥用，OpenAI采取了相应的措施，包括：与错误信息、仇恨内容和偏见等领域的专家进行合作，对模型进行对抗性测试;构建一些工具来帮助检测误导性内容，比如，通过检测分类器，可以分辨出视频是何时由Sora生成的;利用为使用DALL·E 3的产品构建的现有安全方法，这些方法也适用于Sora;在OpenAI产品中，文本分类器将检查并拒绝违反使用政策的文本输入提示，如要求极端暴力、仇恨图像、名人肖像或他人IP的文本输入提示。另外，OpenAI还开发了图像分类器，用于检查生成的每个视频的帧，确保展示给用户的内容符合标准。

  但同时，OpenAI也承认，无法预测人们使用Sora的所有有益方式，也无法预测人们滥用技术的所有方式。

  我们看到，确保任何技术不被滥用始终是一项艰巨挑战，Sora也不例外。对于OpenAI而言，需要不断进行技术革新，制定并严格执行使用规范。与此同时，还需要社会各界的共同监督和努力。只有这样，才能最大限度地发挥Sora技术的潜力，确保其能够被合法、合规地应用。

  写在最后：

  不可否认，科技的进步为人类带来了便利，但同时也伴随着一些潜在的风险。因此，在追求科技发展的道路上，我们必须秉持开放、包容的心态，同时保持审慎的态度，以便更好地把握科技所带来的机遇，并有效应对未知挑战。