Python 极简插件系统 pluggy 源码剖析

前言

本长文不适合手机端阅读，请酌情退出

公司架构组基于 pytest 自研了一套测试框架 sstest，目的是为了让业务组（也就是我在的组）更好的写单元测试，从而提高代码质量，单元测试的目的是为了回归校验，避免新提交的代码影响到项目中旧的功能。

我是组里第一个接入 sstest 的同学，踩了很多坑... 从而对 pytest 的源码产生了兴趣，在阅读 pytest 源码的过程中，发现 pluggy 插件系统其实是 pytest 的核心，可以说 pytest 只是将多个插件利用 pluggy 构建出来的项目，所以先分析 pluggy。

老规矩，在开始分析前，希望自己搞清楚的几个问题：

• 1. 如何使用 pluggy？

• 2. 插件代码如何做到灵活可插拔的？

• 3. 外部系统如何调用插件逻辑？

随着分析的进行会有新的问题抛出，问题可以帮助我们理清目的，避免迷失在源码中。

整体把控

pluggy 插件系统与我此前研究的 python 插件系统不同，pluggy 不可以动态插入，即无法在程序运行的过程中利用插件添加新的功能。

pluggy 主要有 3 个概念：

• 1.PluginManager：用于管理插件规范与插件本身

• 2.HookspecMarker：定义插件调用规范，每个规范可以对应 1~N 个插件，每个插件都满足该规范，否则无法成功被外部调用

• 3.HookimplMarker：定义插件，插件逻辑具体的实现在该类装饰的方法中

简单使用一下，代码如下。

import pluggy
# 创建插件规范类装饰器
hookspac = pluggy.HookspecMarker('example')
# 创建插件类装饰器
hookimpl = pluggy.HookimplMarker('example')

class MySpec(object):
    # 创建插件规范
    @hookspac
    def myhook(self, a, b):
        pass

class Plugin_1(object):
    # 定义插件
    @hookimpl
    def myhook(self, a, b):
        return a + b

class Plugin_2(object):
    @hookimpl
    def myhook(self, a, b):
        return a - b

# 创建manger和添加hook规范
pm = pluggy.PluginManager('example')
pm.add_hookspecs(MySpec)

# 注册插件
pm.register(Plugin_1())
pm.register(Plugin_2())

# 调用插件中的myhook方法
results = pm.hook.myhook(a=10, b=20)
print(results)

整段代码简单而言就是创建相应的类装饰器装饰类中的方法，通过这些类装饰器构建出了插件规范与插件本身。

首先，实例化 PluginManager 类，实例化时需要传入全局唯一的 project name，HookspecMarker 类与 HookimplMarker 类的实例化也需要使用相同的 project name。

创建完插件管理器后，通过 add_hookspecs 方法添加插件规范、通过 register 方法添加插件本身则可。

添加完插件调用规范与插件本身后，就可以通过插件管理器的 hook 属性直接调用插件了。

阅读到这里，关于问题「1，2，3」便有了答案。

pluggy 使用的过程可以分为 4 步：

• 1. 通过 HookspecMarker 类装饰器定义插件调用规范

• 2. 通过 HookimplMarker 类装饰器定义插件逻辑

• 3. 创建 PluginManager 并绑定插件调用规范与插件本身

• 4. 调用插件

通过类装饰器与 PluginManager.add_hookspecs、PluginManager.register 方法的配合，轻松实现插件的可插拔操作，其背后原理其实就是被类装饰器装饰后的方法会被动态添加上新的属性信息，而对应的 add_hookspecs 与 register 等方法会根据这些属性信息来判断是否为插件规范或插件本身。

想要在外部系统中使用插件，只需要调用 pm.hook.any_hook_function 方法则可，任意注册了插件都可以被轻松调用。

但这里引出了新的问题：

• 4. 类装饰器是如何将某个类中的方法设置成插件的？

• 5.pluggy 是如何关联插件规范与插件本身的？

• 6. 插件中的逻辑具体是如何被调用的？

这三个问题关注的是实现细节，下面进一步步进行分析。

hookspac 与 hookimpl 装饰器的作用

代码中，使用了 hookspac 类装饰器定义出插件调用规范，使用了 hookimpl 类装饰器定义出插件本身，两者的作用其实就是「为被装饰的方法添加新的属性」。因为两者逻辑相似，所以这里就只分析 hookspac 类装饰器代码，代码如下：

class HookspecMarker(object):
  

    def __init__(self, project_name):
        self.project_name = project_name
    def __call__(
        self, function=None, firstresult=False, historic=False, warn_on_impl=None
    ):

        def setattr_hookspec_opts(func):
            if historic and firstresult:
                raise ValueError("cannot have a historic firstresult hook")
            # 为被装饰的方法添加新的属性
            setattr(
           &nbs