机器读中文2：“辨古识今”
机器读中文2：“辨古识今”
比赛概述
本比赛为个人练习赛，主要针对于数据新人、尤其中文文本处理方面的新手进行自我练习、自我提高，与大家切磋。
练习赛时限：2017-11-01 至 2019-11-01
任务类型：自然语言处理、二元分类
背景介绍:
本次练习赛是“机器读中文”系列的第二期（第一期为机器读中文：根据名字判断性别）。
自然语言处理是机器学习中的一个重要方向，但是现在流行的学习资料和网上的数据集都是以英文为主。SofaSofa旨在推动初学者对中文自然语言处理的学习热情以及能力掌握。
每次练习赛任务是做一次简单的“辨古识今”———二元分类。对于给定的一句话或者片段，选手来判定这句话是文言文还是白话文。
数据来源：
文言文数据来自《史记》《三国志》《旧唐书》《新唐书》《宋史》《明史》《聊斋志异》以及历代名家短篇，白话文来自其对应的注释。标题图片来源：百度。
数据下载
数据文件（三个）：
train.txt 训练集，文件大小 239kb
test.txt 预测集, 文件大小 156kb
sample_submit.csv 提交示例 文件大小 34kb
下载该数据即同意不以商业为目的传播、发布该数据集。
训练集中共有5000条样本，预测集中有3385条样本。
变量说明：
| 变量名 | 解释 |
|---|---|
| id | 编号 |
| text | 文本内容，每个样本长度为3到20个汉字。文中的标点符号均已被空格取代。 |
| y | 表示该文本对应的标签。0表示白话文，1表示文言文。这是需要被预测的标签。 |
train.txt, test.txt均为逗号分隔形式的文件。在python中可以通过如下形式读取。
train = pd.read_csv('train.txt')
test = pd.read_csv('test.txt')
评价方法
您提交的结果为每句话为文言文的概率。评价方法为log-loss。
log-loss的取值范围是0到正无穷。越接近0，说明模型预测的结果越佳。log-loss的计算公式为： $$\text{log-loss}=-\frac{1}{n}\sum_{i=1}^n\left((y_i\log p_i)+(1-y_i)\log(1-p_i)\right)$$ 其中$n$为总样本数，$y_i$为第$i$个样本的真实标签，$p_i$为预测第$i$个样本的标签是$1$的概率。
比如说有两句话：
“少时 一狼径去 其一犬坐于前”：实际为文言文。模型预测为文言文的概率为0.8。
“一会儿 一只狼径直走开了 另一只狼像狗似的蹲坐在屠夫的前面”：实际为白话文。模型预测其为文言文的概率为0.4。
那么在这个两个样本上的log-loss为 $$\text{log-loss}=-\frac{1}{2}\left((\log 0.8)+\log(1-0.4)\right)=0.36698$$ log-loss的计算函数可参考这里（python以及R）。