详解 itertools 与 functools 中那些能让代码效率翻倍的高阶函数

在 Python 编程中，效率和内存优化是提升应用性能的关键。itertools 和 functools 是 Python 标准库中两个强大的模块，它们提供了一系列高阶函数和工具，能够将原本需要复杂循环或大量内存消耗的操作，转化为高效、简洁的惰性计算或函数优化。

1. itertools：惰性迭代器，内存的救星

itertools 模块专门用于创建高效的迭代器。它的核心理念是“惰性求值” (lazy evaluation)，这意味着它只在需要时才生成下一个元素，从而极大地节省了内存。

技巧一：高效连接序列 – itertools.chain

当你需要连接多个可迭代对象时，通常会使用 + 运算符或创建一个大列表。但对于大型数据集，这会创建大量的中间列表副本。chain 则像一个高效的管道。

import itertools

list_a = [1, 2]
list_b = [3, 4]
list_c = [5, 6]

# 传统方法 (创建中间列表或副本):
combined_list = list_a + list_b + list_c

# 使用 chain (返回一个惰性迭代器):
for element in itertools.chain(list_a, list_b, list_c):
    print(element, end=' ')
# 输出: 1 2 3 4 5 6 

# 内存优势：chain 避免了一次性将所有数据加载到新列表中。

技巧二：替代多重嵌套循环 – itertools.product

product 用于生成多个输入序列的笛卡尔积（Cartesian product），它能完美替代复杂的嵌套 for 循环。

import itertools

colors = ['Red', 'Blue']
sizes = ['S', 'L', 'XL']

# 传统嵌套循环:
# for color in colors:
#     for size in sizes:
#         print((color, size))

# 使用 product:
for item in itertools.product(colors, sizes):
    print(item)
# 输出:
# ('Red', 'S')
# ('Red', 'L')
# ('Red', 'XL')
# ('Blue', 'S')
# ...

2. functools：函数强化与性能加速

functools 模块主要用于高阶函数，即操作或返回其他函数的函数。它提供了强大的工具来优化函数的行为。

技巧三：性能加速器 – functools.lru_cache

lru_cache (Least Recently Used Cache) 装饰器用于实现“记忆化” (Memoization)。它会存储函数的输入参数和对应的计算结果。如果函数再次被相同的参数调用，它会直接返回缓存的结果，而无需重复计算。

这对于计算密集型、且具有重复子问题的递归函数（如斐波那契数列）尤其有效。

import functools
import time

# 未使用缓存的斐波那契函数
def fibonacci_slow(n):
    if n < 2:
        return n
    return fibonacci_slow(n - 1) + fibonacci_slow(n - 2)

# 使用 lru_cache 的斐波那契函数
@functools.lru_cache(maxsize=None) # maxsize=None 表示缓存所有结果
def fibonacci_fast(n):
    if n < 2:
        return n
    return fibonacci_fast(n - 1) + fibonacci_fast(n - 2)

# 测试性能
start_time = time.time()
fibonacci_slow(30)
print(f"慢速计算耗时: {time.time() - start_time:.4f}s")

start_time = time.time()
fibonacci_fast(30)
print(f"快速计算耗时: {time.time() - start_time:.4f}s")

# 结果对比：快速计算速度将是慢速计算的数百甚至数千倍。

技巧四：简化函数调用 – functools.partial

partial 允许你“冻结”一个函数的部分参数，创建一个新的函数对象，从而简化后续的函数调用或创建配置化的工具函数。

import functools

# 原始的日志记录函数
def log(level, message, timestamp):
    return f"[{timestamp}] {level}: {message}"

# 创建一个专门用于记录错误的偏函数，固定 level 参数
import datetime
log_error = functools.partial(log, 'ERROR', timestamp=datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'))

# 使用简化后的函数
print(log_error('数据库连接失败'))
# 示例输出: [2023-10-27 10:30:00] ERROR: 数据库连接失败

通过使用 partial，我们可以避免在每次调用时都重复传入固定的参数值，代码变得更加简洁和模块化。