Python - 上下文管理

Posted on |
Symbols count in article: 3.2k | Reading time ≈ 0:03

如果需要精确的分配和释放资源，就需要上下文管理 context manager ，上下文管理器在 Python 中最常见的例子就是 with 语句

有状态资源的管理

很多时候我们需要操作一些有状态的资源，例如 类文件、套接字等

通常情况下我们会 建立连接 —> 做一些事 —> 释放连接

f = open('aaaa', 'w')
f.write('hello, world')
f.close()

import socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('hello.org', 20333))
s.sendall('hello, world')
print(s.recv(1024))

如果没有 close ，只有程序中断或者服务端主动关闭才会释放资源，否则会一直占用资源，有兴趣的朋友可以试试下面的代码

files = []
file = open('aaaa', 'w')
file.write('aaaaa')
file.close()
for i in range(1000009):
    files.append(open('aaaa', 'w'))

在 macOS/Linux 上会抛出 OS Error 的异常，因为打开的 file descriptor 超过限制了，Windows 估计会蓝屏 😀

OSError: [Errno 24] Too many open files

try..finally 清理资源

我们也可以通过 try..finally 语句来实现对资源的清理，无论是否触发异常，最后都将清理资源

try:
    f = open('w', 'w')
    f.write('hello, world')
except Exception as e:
    raise e
finally:
    f.close()

with 语句

如果看过一些 Python 的教程或者书籍的朋友可能会了解，操作文件和套接字都建议使用 with 语句

with open('aaa', 'w') as f:
    f.write('hello, world')

>>>  f.closed
True

with 语句下操作文件的代码非常的简洁，并且能够自动关闭文件，这是因为 TextIOWrapper 这个类实现了 __enter__、__exit__ 这两个魔术方法，也就是所谓的上下文管理

我们也可以自己实现一个 Open 类，使其实现上下文管理

class Open:
    def __init__(self, file, mode):
        self.open_file = open(file, mode)
        
    def __enter__(self):
        return self.open_file

    def __exit__(self, *exception):
        self.open_file.close()

>>> with Open('aaaa', 'w') as f:
        f.write('aaaa')

>>>  f.closed
True

__enter__ 方法是在 with 初始化时调用，__exit__ 方法在所有语句结束后调用，可以用来处理异常和关闭资源

异常处理

上下文管理器根据__exit__ 方法的返回值来决定是否抛出异常，如果没有返回值或者返回值为 False ，则异常由上下文管理器处理，如果为 True 则由用户自己处理

__exit__ 接受三个参数，exception_type、exception_value、traceback，我们可以根据这些值来决定是否处理异常

下面这个例子，捕捉了 AttributeError 的异常，并打印出警告

class Open:
    def __init__(self, file, mode):
        self.open_file = open(file, mode)

    def __enter__(self):
        return self.open_file

    def __exit__(self, type, value, tb):
        self.open_file.close()
        if type is AttributeError:
            print('handing some exception')
            return True

试着故意打错方法的名称，并没有引发异常

>>> with Open('aaa', 'w') as f:
        f.writeee('aaaa')
handing some exception

使用 contextmanager

由于上下文管理非常有用，Python 中有一个专门用于实现上下文管理的标准库，这就是 contextlib

有了 contextlib 创建上下文管理的最好方式就是使用 contextmanager 装饰器，通过 contextmanager 装饰一个生成器函数，yield 语句前面的部分被认为是 __enter__ 方法的代码，后面的部分被认为是 __exit__ 方法的代码

from contextlib import contextmanager

@contextmanager
def file(path, mode):
    open_file = open(path, mode)
    yield open_file
    open_file.close()

通过上面这种方法，我们就能够简单的创建一个支持上下文管理的函数

contextmanager 的简单实现

我之前实现过一个非常粗糙的 contextmanager 装饰器

class ContextManager:
    def __init__(self, fn):
        self.fn = fn

    def __enter__(self):
        return next(self.fn)

    def __exit__(self, exc_type, exc_val, exc_tb):
        try:
            next(self.fn)
        except StopIteration:
            pass


def cm(fn):
    def wrapper(*args, **kwargs):
        return ContextManager(fn(*args, **kwargs))

    return wrapper


@cm
def open_file(path, mode):
    open_file = open(path, mode)
    yield open_file
    open_file.close()