ROC曲线

ROC(receiver operating characteristic)

• 应用于某指标对某疾病的诊断价值或者分类器预测结果评价
• 横坐标是敏感性、假阳性率（sensitivity, False Positive Rate, FPR），纵坐标是特异性、真阳性率（specificity, True Positive Rate, TPR）
• 假阳性率=预测结果中负样本个数 / 负样本的个数
• 真阳性率=预测结果中正样本个数 / 正样本个数

假阳性：实际上是，但是检测出来不是
真阳性：实际上是，检测出来是

二分类模型的ROC

python程序求解案例

from sklearn.metrics import roc_curve, auc
import numpy as np
y = np.array([1, 1, 2, 2])
scores = np.array([0.1, 0.4, 0.35, 0.8])
fpr, tpr, thresholds = roc_curve(y, scores, pos_label=2)
auc = auc(fpr, tpr)
>>> fpr 
array([ 0. ,  0.5,  0.5,  1. ])
>>> tpr
array([ 0.5,  0.5,  1. ,  1. ])
>>> thresholds
array([ 0.8 ,  0.4 ,  0.35,  0.1 ])

• 该示例有4个样本，参数说明如下：
  • y：样本的真值
  • pos_label=2：表明取值为2的样本是正样本。
  • scores：预测出的某样本是正样本的概率。
  • fpr、tpr：每个(fpr[i], tpr[i])都表示ROC曲线上的一个点，一共求解出了4个点。
  • thresholds：求解(fpr[i], tpr[i])时使用的阈值。

求解步骤

可以看出，阈值thresholds就是对概率scores进行了排序（倒序）。不断改变阈值，得到ROC曲线上不同的点。步骤如下：

• threshold取0.8：也就是说预测概率大于等于0.8时，我们将样本预测为正样本。那么4个样本的预测结果为[1, 1, 1, 2]。负样本全部预测正确，正样本全部找到了。从而得到ROC曲线上一个点(0, 0.5)
• threshold取0.4：预测概率大于等于0.4时，认为是正样本。预测结果为[1, 2, 1, 2]。结果比上次糟糕，负样本一个预测错误，正样本一个没有找到，从而得到ROC上面的(0.5, 0.5)点。
• threshold取0.35：预测概率大于等于0.35时，认为是正样本。得到预测结果[1, 2, 2, 2]。负样本一个预测错误，正样本全部找出来了，从而得到(0.5, 1)
• threshold取0.1：预测大于等于0.1时，就认为是正样本。尽管召回率很高，但预测结果再次变差，把所有样本都预测为了正样本，从而得到(1, 1)点。

可视化

import matplotlib.pyplot as plt
plt.figure()
lw = 2
plt.plot(fpr, tpr, color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % auc)
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

图片alt

完整的ROC代码

from sklearn.metrics import roc_curve, auc


cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=1)
# cv = KFold(n_splits=5, shuffle=True, random_state=1)
tprs = []
aucs = []
mean_fpr = np.linspace(0, 1, 100)
fig, ax = plt.subplots(figsize=(6, 6))
for fold, (train, test) in enumerate(cv.split(select_X, Y)):
    clf.fit(select_X[train], Y[train])
    scores = clf.predict_proba(select_X[test])
    fpr, tpr, thresholds = roc_curve(Y[test], scores[:,0], pos_label=0)
    roc_auc = auc(fpr, tpr)
    interp_tpr = np.interp(mean_fpr, fpr, tpr)
    interp_tpr[0] = 0.0
    tprs.append(interp_tpr)
    aucs.append(roc_auc)
    
ax.plot([0, 1], [0, 1], "k--", label="chance level (AUC = 0.5)")

mean_tpr = np.mean(tprs, axis=0)
mean_tpr[-1] = 1.0
mean_auc = auc(mean_fpr, mean_tpr)
std_auc = np.std(aucs)




ax.plot(
    mean_fpr,
    mean_tpr,
    color="b",
    label=r"Mean ROC (AUC = %0.2f $\pm$ %0.2f)" % (mean_auc, std_auc),
    lw=2,
    alpha=0.8,
)
std_tpr = np.std(tprs, axis=0)
tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
ax.fill_between(
    mean_fpr,
    tprs_lower,
    tprs_upper,
    color="grey",
    alpha=0.2,
    label=r"$\pm$ 1 std. dev.",
)

ax.set(
    xlim=[-0.05, 1.05],
    ylim=[-0.05, 1.05],
    xlabel="False Positive Rate",
    ylabel="True Positive Rate",
    title=f"Mean ROC curve with variability",
)
ax.axis("square")
ax.legend(loc="lower right")
plt.show()

带有生存信息ROC

options(repr.plot.width=9, repr.plot.height=9)
(function(lasso){
    png(filename = "COAD_ROC.png", width = 7, height = 7, res = 300, units = "in")

 color <- brewer.pal(8, "Dark2")
  plot(0,0,type="l",xlab="False postive rate",ylab="True positive rate",xlim=c(0,1),ylim=c(0,1), cex.lab =1.6,cex.axis=1.5)
  abline(0,1)
  legend_vector <- vector()
  color_vector <- vector()
  for(i in 1:5){
    roc <- survivalROC(Stime=lasso@clinical$futime_year ,
                       status=lasso@clinical$fustat,
                       marker=lasso@clinical$riskScoreNum,
                       predict.time=i,
                       method="KM")
    if(roc$AUC>0.7){
      lines(roc$FP,roc$TP,col=color[i],lwd=2)
      legend_vector <- c(legend_vector,paste0(i,"-year surval:",round(roc$AUC,3)))
      color_vector <- c(color_vector,color[i])
    }
  }

  legend(border=NA,0.5,0.4,
         legend_vector,
         col=color_vector,
         text.col=color_vector,lty=c(1,1,1),inset=.5,cex=1.3)
 dev.off()
})(lncRNA_lasso)

参考

• ROC曲线计算
• ROC曲线理解
• pROC