上周,我们宣布了与 arXiv 的合作——论文的 Demos 标签页可以展示运行在 Hugging Face Spaces 上的、基于该论文的开源演示内容,这将有助于增进论文的趣味性和易用程度。今天,我们邀请全球的社区成员们参加我们的 Hugging Face ❤️ arXiv 社区冲刺活动。
Hugging Face ❤️ arXiv 社区冲刺活动介绍
在这场社区冲刺活动里,我们的目标是将一些 开源模型 制作成 Hugging Face Space 应用来进行展示,提升这些开源模型在社区中的易用性。特别提醒的是,不论这个开源模型是否在 arXiv 论文中有提及,我们都欢迎你提交。
❝我们经常会听到说「AI 黑科技」,可以修复旧照片、把低清图变为高清等等。只是听说,在哪里可以亲自尝试一下呢?Hugging Face Spaces 就提供了这样的功能,可以将其托管的模型构建为一个可交互的界面,用户可以输入内容,然后由模型处理后输出结果。
比如我们刚提到的基于腾讯开源的旧照片修复算法 GFPGAN 构建的 Space 应用: https://hf.co/spaces/Xintao/GFPGAN
本次社区冲刺活动,我们将构建 Space 应用来展示开源模型,有几个重点简单提醒如下:
选择论文中已经公开了 checkpoint 的开源模型
如果它没有 checkpoint 的话,不要 从头开始训练新模型
可以选择好几个不同的模型串联起来进行构建,尽情发挥!🎤
如何参与此次活动?
1.加入我们的官方 Discord 社区 (复制链接或点击阅读原文):
https://hf.co/join/discord
2.同意社区规则之后,在 #role-assignment
频道选择社区角色为 Collaborate
(第一个角色)。

3.在协作表格里加入你计划实现的 Space 应用:
在这个 Google 表格中使用评论功能,加入论文链接和你的名字等信息:
https://bit.ly/official-working-group来 Discord 社区的
making-demo
频道发言,我们和其他社区成员们会尽力帮助你完成 Space 应用的构建

然后就可以开始构建你的 Space 应用啦!
中国社区的参与方式 (可选,强烈建议以上面提到的方式直接参与)
为了方便无法访问 Google 表格的用户,我们把报名表格在腾讯文档上做了同步 (不定期更新),大家可以在这个文档里看一下其他成员的计划以找一些灵感和参考,但也同时注意,其他成员已经在做或者做过了的 Space 应用,大家就不要再重复造轮子啦:
https://docs.qq.com/sheet/DYWdMWE55SHJoUE9y
与此同时,你也可以通过本文下方的 留言功能 参与本次活动,具体方式为:
将需要评论在官方 Google 表格 (或参考腾讯文档) 的内容 (A-D 列) 以留言的方式评论给本文
信息完整,我们会 公开 你的留言,并将留言内容同步到官方 Google 表格
收藏本文,Space 应用完成构建后,在本文回复自己评论将自己的 HF Hub 和 Spaces 信息告诉我们 (E-F 列),也可以直接在官方的 Google 表格自行评论
可以构建的 Space 应用
基于 checkpoint 在 GitHub 上的开源模型构建 Space 应用
从 GitHub 下载该模型,并在 Hugging Face 上创建一个模型仓库 (浏览器中输入网址
hf.new
试试看 🤫)通过
huggingface_hub
Python 库,使用upload_folder()
函数,或者直接在 Hub 的 UI 界面上直接上传文件填写模型信息卡片,你可以使用论文或 GitHub 仓库中的信息。
模型信息卡片 (model card) 本质上就是模型库中的 README.md
文件,它由两部分组成,元数据和自定义文本。
元数据
元数据是在模型信息卡片最上面以 yaml
格式出现的信息对,用来介绍模型所解决的问题、用以训练的模型库和许可证信息等,以便更轻松的在 Hugging Face Hub 上搜索模型。
自定义文本
自定义文本部分在 yaml
格式的元数据下方列出,它可以包括但不仅限于:
模型和它所训练的数据集的描述
偏见和限制的免责声明
训练指标
使用该模型的小代码片段
举个例子:


上面展示的模型信息卡片代码在:
https://hf.co/google/maxim-s3-deblurring-gopro/blob/main/README.md
你也可以阅读模型信息卡片文档了解更多:
https://hf.co/docs/hub/model-cards
然后就是构建 Space 应用啦!(下一章节会提到)
基于 checkpoint 在 HF Hub 上的开源模型构建 Space 应用
恭喜!这种情况下,你就可以直接进行 Space 应用的构建了,这里列出了几篇 Space 应用构建的相关文档:
如果你没有接触或者刚接触 Gradio,请查看 Gradio 入门指南:
https://hf.co/course/chapter9/1使用 Gradio 载入 HF 上的模型和 Spaces:
https://bit.ly/loading-hf-models-n-spaces像调用函数一样使用区块 (block):
https://gradio.app/using_blocks_like_functions/
最后两个文档非常适合你将不同的 Space 应用「混搭」起来使用,我们希望看到你的创意和想法!
基于已有的 Spaces「混搭」构建 Space 应用
你也可以把不同的模型和 Spaces 相结合来构建 Space 应用,像调用函数一样调用不同的模型。
举个例子:
Whisper 结合 Stable Diffusion
Whisper 是一个通用的语音识别模型,Stable Diffusion 是一个通过文本生成图像的模型。它们们结合起来就是,你可以通过通过语音来直接生成图像。
现在就试试看:
https://hf.co/spaces/fffiloni/whisper-to-stable-diffusion
Stable Diffusion Prism
这个「结合体」首先将图片通过 CLIP Interrogator 获得关于图片内容的提示词,然后再通过这些提示词使用 Stable Diffusion 生成图片。
两个 Spaces 是使用 gr.Blocks.load()
载入的,示例代码如下:
img_to_text = gr.Blocks.load(name="spaces/pharma/CLIP-Interrogator")
stable_diffusion = gr.Blocks.load(name="spaces/stabilityai/stable-diffusion")
现在就体验一下:
https://hf.co/spaces/pharma/sd-prism
成功提交冲刺活动的例子
我们列举了一些成功提交社区冲刺活动的例子。
直接从论文中实现的三个例子
Anime Background GAN-Hosoda 😍
动漫风格背景图生成,这个 Space 应用所使用的开源模型是从 GitHub 上得到的,相关资料:
GitHub 仓库:
https://github.com/venture-anime/cartoongan-pytorch模型仓库:
https://hf.co/akiyamasho/AnimeBackgroundGAN-HosodaSpace 应用地址:
https://huggingface.co/spaces/akiyamasho/AnimeBackgroundGAN
MAXIM 🎑
这是一个处理模糊图像的模型,这个 Space 应用是通过 huggingface_hub
库的 from_pretrained_keras
方法直接加载模型实现的。
模型仓库:
https://hf.co/google/maxim-s3-deblurring-goproSpace 应用地址:
https://hf.co/spaces/sayakpaul/gopro-deblurring-maxim
FLAN 🥮
模型仓库:
https://hf.co/google/flan-t5-xlSpace 应用地址:
https://hf.co/spaces/osanseviero/i-like-flan
创意 Space 应用结合的两个例子
我们上面已经提到了的两个结合了 Whisper 和 Stable Diffusion 的 Space 应用,以及先获得提示词,再生成新的图片的 Stable Diffusion Prism:
Whisper 结合 Stable Diffusion:
https://hf.co/spaces/fffiloni/whisper-to-stable-diffusionStable Diffusion Prism:
https://hf.co/spaces/pharma/sd-prism
奖励
只要在此次社区冲刺活动期间完成提交,我们都将提供 Hugging Face 官方周边小礼品商店 (hf.co/shop) 的礼品券,甚至可能会为你的 Space 应用进行硬件升级。如果有任何变动,请以 Discord 官方频道更新的内容为准。