从 Python 的魔法方法说开去

一天我在群里看到这样一个有意思的 Python 现象：

>>> import os
>>> r=os.popen('ls')
>>> r.__next__()
'0B4581EB10DBC182A83D85B0024F1E70.jpg\n'
>>> next(r)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: '_wrap_close' object is not an iterator
>>>

如果你对 Python 的魔法方法有所了解，就能发现这里的奇怪之处：popen的对象有__next__()方法，但却不能被next()调用，也就不是个迭代器。还有这种事吗？于是我们来看源码，看看popen()到底返回了个什么对象（省略了无关代码）：

def popen(cmd, mode="r", buffering=-1):
    ...
    return _wrap_close(io.TextIOWrapper(proc.stdin), proc)

# Helper for popen() -- a proxy for a file whose close waits for the process
class _wrap_close:
    def __init__(self, stream, proc):
        self._stream = stream
        self._proc = proc
    def __getattr__(self, name):
        return getattr(self._stream, name)
    def __iter__(self):
        return iter(self._stream)

popen()返回了一个_wrap_close对象，而后者仅仅是一个 Iterable，而不是 Iterator（没有定义__next__()）。然而，_wrap_close却定义了__getattr__()魔法方法，这样所有其他找不到的属性、方法就会传递给self._stream对象，而这个对象有__next__()方法。这就解释了为什么r.__next__()能调用成功。

所以，Python 对于魔法方法的调用是基于这个类有没有定义此方法吗？

答案是肯定的，查看 Python 源码中next()内建函数的实现，可以看到下面的代码：

#define PyIter_Check(obj) \
    (Py_TYPE(obj)->tp_iternext != NULL && \
     Py_TYPE(obj)->tp_iternext != &_PyObject_NextNotImplemented)

判断一个obj是不是迭代器，是基于Py_TYPE(obj)是否有__next__()方法，而不是obj本身。__next__()如此，其他魔法方法也是一样。

问题解决了，我们可以得到下面的推论：

动态修改（或者叫 monkey patch）一个实例的魔法方法，是不生效的。

看下面的例子：

>>> class Foo: pass
...    foo = Foo()
>>> foo.__str__ = lambda: '42'    # <= 企图修改foo的__str__方法
>>> print(foo)
<__main__.Foo object at 0x1024f7fd0>

foo的字符串依然是原来的默认值，没有改变。要想改变，必须修改Foo.__str__方法。

下面这段是额外的思考，可能比较绕：

再回头去看最开始的例子，这个问题之所以奇怪，是因为它用了__getattr__()让实例获得了并不存在于类中的属性。也就是说，原来的类并没有获得这些额外的属性。而魔法行为的判断是基于类中是否有这个魔法方法。这两件事合起来看，那我是不是可以通过元类中的__getattr__()方法让类获得本不属于它的魔法方法，继而使得实例具有某些行为呢？说干就干：

class IterMeta(type):
    def __getattr__(self, name):
        if name == '__next__':
            return lambda x: 42
        return super().__getattr__(name)

class Foo(metaclass=IterMeta):
    pass

foo = Foo()
next(foo)
# TypeError: 'Foo' object is not an iterator
foo.__next__()
# AttributeError: 'Foo' object has no attribute '__next__'
Foo.__next__(foo)
# 42
Foo.__next__ = lambda x: 42
next(foo)
# 42

不能！明明Foo能获取到__next__()属性，看来(Py_TYPE(obj)->tp_iternext并不会触发__getattr__。

我用 Python 的时间不可谓不短，也自认对 Python 的语言特性比较了解了，但 Python 却总能时不时让我意外一下，这是什么情况？

Reading Time