玩命加载中...
<** | 修改校对：SofaSofa TeamM |
----
### 1. read_csv
这是读取数据的入门级命令。当要你所读取的数据量特别大时，试着加上这个参数`nrows=100`，就可以在载入全部数据前先读取一小部分数据。
此外，还可以加上`usecols = [‘c1’, ‘c2’, … ]`来载入所需要的指定列。另外，如果你知道某些列的类型，你可以加上`dtype = {‘c1’: str, ‘c2’: int, …}` ，这样会加快载入的速度。加入这些参数的另一大好处是，如果这一列中同时含有字符串和数值类型，而你提前声明把这一列看作是字符串，那么这一列作为主键来融合多个表时，就不会报错了。
比如
`df = pd.read_csv('data.csv', nrows=100, usecols=['c1', 'c2'], dtype = {‘c1’: str, ‘c2’: int})`
### 2. select_dtypes
如果已经在Python中完成了数据的预处理，这个命令可以帮你节省一定的时间。在读取了表格之后，每一列的默认数据类型将会是`bool`，`int64`，`float64`，`object`，`category`，`timedelta64`，或者`datetime64`。首先你可以观察一下大致情况，使用：
`df.dtypes.value_counts()`
来了解你的dataframe的每项数据类型，然后再使用：
`df.select_dtypes(include=['float64', 'int64'])`
获取一个仅由数值类型组成的sub-dataframe。
### 3. copy
如果你没听说过它的话，我不得强调它的重要性。输入下面的命令：
```python
import pandas as pd
df1 = pd.DataFrame({'a': [0,0,0], 'b': [1,1,1]})
df2 = df1
df2['a'] = df2['a'] + 1
df1.head()
```
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
.dataframe tbody tr th {
vertical-align: top;
}
.dataframe thead th {
text-align: right;
}
</style>
<table border="1" class="dataframe">
<thead>
<tr style="text-align: right;">
<th></th>
<th>a</th>
<th>b</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>1</td>
<td>1</td>
</tr>
<tr>
<th>1</th>
<td>1</td>
<td>1</td>
</tr>
<tr>
<th>2</th>
<td>1</td>
<td>1</td>
</tr>
</tbody>
</table>
</div>
你会发现`df1`已经发生了改变。这是因为`df2 = df1`并不是生成一个`df1`的复制品并把它赋值给`df2`，而是设定一个指向`df1`的指针。所以只要是针对df2的改变，也会相应地作用在`df1`上。为了解决这个问题，你既可以这样做：
```python
df2 = df1.copy()
```
### 4. map
这个炫酷的命令让你的数据转换变得轻松。首先定义一个`dictionary`，“key”是转换前的旧值，而“values”是转换后的新值。
`level_map = {'high': 1, 'medium': 2, 'low': 3}`
`df['c_level'] = df['c'].map(level_map)`
适用情景：把`high`、`medium`，`low`等字符串转换成3、2、1等数值（为了建模）。
### 5. 用不用apply？
如果我们想在现有几列的基础上生成一个新列，并一同作为输入，那么有时`apply`函数会相当有帮助。
```python
def rule(x, y):
if x == 'high' and y > 10:
return 1
return 0
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]})
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1)
df.head()
```
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
.dataframe tbody tr th {
vertical-align: top;
}
.dataframe thead th {
text-align: right;
}
</style>
<table border="1" class="dataframe">
<thead>
<tr style="text-align: right;">
<th></th>
<th>c1</th>
<th>c2</th>
<th>new</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>high</td>
<td>0</td>
<td>0</td>
</tr>
<tr>
<th>1</th>
<td>high</td>
<td>23</td>
<td>1</td>
</tr>
<tr>
<th>2</th>
<td>low</td>
<td>17</td>
<td>0</td>
</tr>
<tr>
<th>3</th>
<td>low</td>
<td>4</td>
<td>0</td>
</tr>
</tbody>
</table>
</div>
在上面的代码中，我们定义了一个有两个输入变量的函数，并依靠`apply`函数使其作用到列`“c1”`和`“c2”`上。
但是`apply`函数在有些情况下实在是太慢了。如果你是想计算`“c1”`和`“c2”`列的最大值，你当然可以这样去做：
`df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)`
但你会发现相比于以下命令，`apply`实在是慢太多了：
`df['maximum'] = df[['c1','c2']].max(axis =1)`
结论：如果你可以采用其他内置函数（他们一般速度更快），请不要使用`apply`。比如说，如果你想把`“c”`列的值近似取整，那么请用`round(df[‘c’], 0)`或`df['c'].round(0)`而不是上文的`apply`函数。
### 6. value counts
这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率，可以使用：
`df['c'].value_counts()`
下面是一些有用的小技巧/参数：
`normalize = True`:查看每个值出现的频率而不是频次数。
`dropna = False`: 把缺失值也保留在这次统计中。
`sort = False`: 将数据按照值来排序而不是按照出现次数排序。
`df[‘c].value_counts().reset_index()`: 将这个统计表转换成pandas的dataframe并且进行处理。
### 7. 缺失值的数量
当构建模型时，我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用`.isnull()`和`.sum()`来计算指定列缺失值的数量。
```python
import pandas as pd
import numpy as np
df = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]})
df = df[['id', 'c1', 'c2']]
df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1)
df.head()
```
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
.dataframe tbody tr th {
vertical-align: top;
}
.dataframe thead th {
text-align: right;
}
</style>
<table border="1" class="dataframe">
<thead>
<tr style="text-align: right;">
<th></th>
<th>id</th>
<th>c1</th>
<th>c2</th>
<th>num_nulls</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>1</td>
<td>0.0</td>
<td>NaN</td>
<td>1</td>
</tr>
<tr>
<th>1</th>
<td>2</td>
<td>0.0</td>
<td>1.0</td>
<td>0</td>
</tr>
<tr>
<th>2</th>
<td>3</td>
<td>NaN</td>
<td>1.0</td>
<td>1</td>
</tr>
</tbody>
</table>
</div>
### 8. 依据指定ID来选取行
在SQL中我们可以使用`SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)`来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情，你可以使用：
`df_filter = df['ID'].isin(['A001','C022',...])`
`df[df_filter]`
### 9. 基于分位数分组
面对一列数值，你想将这一列的值进行分组，比如说最前面的5%放入组别一，5-20%放入组别二，20%-50%放入组别三，最后的50%放入组别四。当然，你可以使用`pandas.cut`，但你也可以使用下面这种选择：
```python
import numpy as np
import pandas as pd
df= pd.DataFrame({'c': np.random.normal(0, 1, 100)})
cut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]]
df['group'] = 1
for i in range(3):
df['group'] = df['group'] + (df['c'] < cut_points[i])
df.head()
```
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
.dataframe tbody tr th {
vertical-align: top;
}
.dataframe thead th {
text-align: right;
}
</style>
<table border="1" class="dataframe">
<thead>
<tr style="text-align: right;">
<th></th>
<th>c</th>
<th>group</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>-0.084178</td>
<td>4</td>
</tr>
<tr>
<th>1</th>
<td>0.507027</td>
<td>3</td>
</tr>
<tr>
<th>2</th>
<td>0.712228</td>
<td>3</td>
</tr>
<tr>
<th>3</th>
<td>-0.858951</td>
<td>4</td>
</tr>
<tr>
<th>4</th>
<td>0.717616</td>
<td>3</td>
</tr>
</tbody>
</table>
</div>
这种方法的运行速度很快（因为没有使用到apply函数）。
### 10. to_csv
这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是
`print(df[:5].to_csv())`
你可以使用这个命令打印出将要输出文件中的前五行记录。
另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值，那么这一列的数据类型会变成`float`而不是`int`。当导出表格时，你可以加上`float_format=‘%.0f’`以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时，就可以使用这个技巧，这样一来你就会告别所有数值后带“.0”的烦恼。
### 11. 其他常见问题
其他关于Pandas的常见问题，可参考SofaSofa的[站内搜索Pandas](http://sofasofa.io/forum_main_search.php?search=pandas)。
也欢迎各位朋友积极在SofaSofa上提问和解答。
<ul class="pager">
<li class="next"><a href="../../tutorials.php"><b><i class="fa fa-graduation-cap" aria-hidden="true"></i> 学完咯！</b></a></li>
</ul>
]]>
