天天看点

python_链式编程技术_管道技术

python_链式编程技术_管道技术

Techniques for Method Chaining
# 12.3 链式编程技术
# 当对数据集进⾏⼀系列变换时,你可能发现创建的多个临时变量
# 其实并没有在分析中⽤到。看下⾯的例⼦:
df = load_data()
df2 = df[df['col2'] < 0]
df2['col1_demeaned'] = df2['col1'] - df2['col1'].mean()
result = df2.groupby('key').col1_demeaned.std()
虽然这⾥没有使⽤真实的数据,这个例⼦却指出了⼀些新⽅法。 ⾸先,DataFrame.assign⽅法是⼀个df[k] = v形式的函数式的列 分配⽅法。它不是就地修改对象,⽽是返回新的修改过的 DataFrame。因此,下⾯的语句是等价的:

# Usual non-functional way
df2 = df.copy()
df2['k'] = v

# Functional assign way
df2 = df.assign(k=v)
result = (df2.assign(col1_demeaned=df2.col1 - df2.col2.mean())
          .groupby('key')
          .col1_demeaned.std())
我使⽤外括号,这样便于添加换⾏符。
使⽤链式编程时要注意,你可能会需要涉及临时对象。在前⾯的
例⼦中,我们不能使⽤load_data的结果,直到它被赋值给临时
变量df。为了这么做,assign和许多其它pandas函数可以接收类
似函数的参数,即可调⽤对象(callable)。为了展示可调⽤对
象,看⼀个前⾯例⼦的⽚段:
```python
df = load_data()
df2 = df[df['col2'] < 0]      

df = (load_data()

[lambda x: x[‘col2’] < 0])

result = (load_data()

[lambda x: x.col2 < 0]

.assign(col1_demeaned=lambda x: x.col1 - x.col1.mean())

.groupby(‘key’)

.col1_demeaned.std())

The pipe Method

管道⽅法

你可以⽤Python内置的pandas函数和⽅法,⽤带有可调⽤对象

的链式编程做许多⼯作。但是,有时你需要使⽤⾃⼰的函数,或

是第三⽅库的函数。这时就要⽤到管道⽅法。

看下⾯的函数调⽤:

a = f(df, arg1=v1)
b = g(a, v2, arg3=v3)
c = h(b, arg4=v4)      

当使⽤接收、返回Series或DataFrame对象的函数式,你可以调

⽤pipe将其重写:

result = (df.pipe(f, arg1=v1)
          .pipe(g, v2, arg3=v3)
          .pipe(h, arg4=v4))      

f(df)和df.pipe(f)是等价的,但是pipe使得链式声明更容易。

pipe的另⼀个有⽤的地⽅是提炼操作为可复⽤的函数。看⼀个从

列减去分组⽅法的例⼦:

g = df.groupby(['key1', 'key2'])
df['col1'] = df['col1'] - g.transform('mean')      
def group_demean(df, by, cols):
    result = df.copy()
    g = df.groupby(by)
    for c in cols:
        result[c] = df[c] - g[c].transform('mean')
    return