Python导入系统实现

Python导入系统基于查找器-加载器协议，通过sys.meta_path实现高度可扩展的模块加载机制。

导入流程概述

import语句执行时依次调用：

1. sys.meta_path中的查找器
2. 查找器返回加载器（或模块规格）
3. 加载器执行模块加载
4. 将模块注册到sys.modules

sys.meta_path 查找器链

import sys

# 查看默认查找器
for finder in sys.meta_path:
    print(finder)

# 输出示例：
# <class '_frozen_importlib.BuiltinImporter'>
# <class '_frozen_importlib.FrozenImporter'>
# <class '_frozen_importlib_external.PathFinder'>

自定义查找器与加载器

import sys
from importlib.abc import MetaPathFinder, Loader
from importlib.util import spec_from_loader

class VirtualModuleLoader(Loader):
    "虚拟模块加载器"
    def __init__(self, code):
        self.code = code

    def create_module(self, spec):
        return None  # 使用默认模块创建

    def exec_module(self, module):
        exec(self.code, module.__dict__)

class VirtualModuleFinder(MetaPathFinder):
    "虚拟模块查找器"
    _modules = {
        'virtual_math': 'pi = 3.14159\ndef add(a, b): return a + b',
    }

    def find_spec(self, fullname, path, target=None):
        if fullname in self._modules:
            loader = VirtualModuleLoader(self._modules[fullname])
            return spec_from_loader(fullname, loader, origin='virtual')
        return None

# 注册查找器
sys.meta_path.insert(0, VirtualModuleFinder())

# 使用虚拟模块
import virtual_math
print(virtual_math.pi)        # 3.14159
print(virtual_math.add(1, 2)) # 3

PathFinder 与路径钩子

import sys

# PathFinder 使用路径钩子处理不同路径类型
for hook in sys.path_hooks:
    print(hook)

# 常见钩子：
# <class 'zipimport.zipimporter'>
# <class 'importlib._bootstrap_external.FileFinder'>

# 自定义路径钩子
from importlib.abc import PathEntryFinder
from importlib.machinery import FileFinder

# sys.path.append 支持自定义路径类型
# 通过 sys.path_hooks 注册对应的查找器工厂

模块缓存机制

import sys

# 已加载模块缓存
print('os' in sys.modules)  # True（如果已导入）

# 重新加载模块
from importlib import reload
import some_module
reload(some_module)

# 清除缓存（慎用）
if 'some_module' in sys.modules:
    del sys.modules['some_module']

导入协议完整流程

# import foo.bar.baz 的完整流程

# 1. 检查 sys.modules
if 'foo.bar.baz' in sys.modules:
    return sys.modules['foo.bar.baz']

# 2. 遍历 sys.meta_path 查找器
for finder in sys.meta_path:
    spec = finder.find_spec('foo.bar.baz', path)
    if spec is not None:
        break

# 3. 创建模块对象
module = spec.loader.create_module(spec) or types.ModuleType(spec.name)

# 4. 注册到 sys.modules（在exec_module之前！）
sys.modules[spec.name] = module

# 5. 执行模块代码
spec.loader.exec_module(module)

# 6. 返回模块
return module

注意：模块在exec_module之前就已注册到sys.modules，这支持循环导入但可能导致部分初始化的模块被访问。

要点总结

1. **sys.meta_path**是导入系统的核心入口点
2. 查找器负责定位模块，返回ModuleSpec
3. 加载器负责执行模块代码
4. **sys.modules**缓存已加载模块，避免重复导入
5. 自定义查找器可实现虚拟模块、远程模块等高级功能