Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。
🤗 Transformers
🤗 Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch、TensorFlow 和 JAX,并支持框架之间的互操作。模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署。
查看文档: https://hf.co/docs/transformers
🤗 Datasets 库
只需一行代码,即可轻松加载各种数据集,🤗 Datasets 库可以帮你轻松访问和共享音频、计算机视觉和自然语言处理等任务的数据集。借助 Apache Arrow 格式的支持,你可以零拷贝读取和处理大型数据集,🤗 Datasets 库还与 Hugging Face Hub 深度集成,你可以便捷的加载数据集并于更广泛的机器学习社区成员们共享。
查看文档:https://hf.co/docs/datasets
🤗 Diffusers
🤗 Diffusers 是一个操作扩散模型的工具箱,它可以非常方便的使用各种扩散模型生成图像、音频,也可以非常方便的使用各种噪声调度器,用于调节在模型推理中的速度和质量,同时,这个库也支持多种类型的模型。
查看文档:https://hf.co/docs/diffusers
🤗 Accelerate 库
只需添加四行代码,你就可以通过 🤗 Accelerate