前端大模型入门：Transformer.js 和 Xenova-引领浏览器端的机器学习变革

余生H

已于 2024-09-28 18:35:59 修改

阅读量4.4k

点赞数 38

CC 4.0 BY-SA版权

分类专栏： LLMs应用笔记前端的AI工具书文章标签：前端 transformer javascript 机器学习深度学习

于 2024-09-27 09:56:57 首次发布

本文链接：https://blog.csdn.net/m0_38015699/article/details/142584233

除了调用别人的api接口使用transformer技术，你是否想过将大模型在浏览器中运行呢？尤其是WebGPU的出现，性能比WebGL高不少，很多小任务真的不再需要在一个中心运行了。

不少同学买课学python了，但我还是在坚持用js尝试，相信一切都可以用js实现的，下面就介绍下我是如何实现的吧~~

随着人工智能和深度学习的普及，越来越多的应用开始借助强大的预训练模型来处理文本、图像等数据。然而，大多数这类模型需要依赖于云端服务器，用户端必须通过网络调用后端的API，这不仅带来了延迟问题，还可能引发隐私和数据安全的担忧。为了解决这些挑战，Xenova 团队推出了 Transformer.js，一个基于 JavaScript 的库，让开发者可以在浏览器中本地加载和执行预训练模型，摆脱服务器的依赖。

前置知识和准备

javascript 相关的web知识，创建一个html文件，引入库

<!DOCTYPE html>
<html lang="en">

<head>
  <meta charset="UTF-8">
  <title>网页大模型</title>
</head>
<body>
  <div id="app">
    <div id="zh">
    </div>
    <div id="en">
    </div>
    <div id="info">
    </div>
  </div>
  <script type="module">
    import { pipeline, env } from "https://cdn.jsdelivr.net/npm/@xenova/[email protected]/dist/transformers.min.js";
    // 后续的代码在这里
</script>
</body>
</html>

国内HF模型镜像站（如果有代理可忽略）

env.remoteHost = 'https://hf-mirror.com'

什么是 Transformer.js？

Transformer.js 是 Xenova 团队开发的一个 JavaScript 库，旨在让用户能够在浏览器或 Node.js 环境中运行 Transforme

最低0.47元/天解锁文章

200万优质内容无限畅学