ROC分析基本原理概述

和初步應(yīng)用

Roc(接收器操作特性)分析是一種結(jié)合靈敏度和特異性來綜合評(píng)估診斷準(zhǔn)確性或鑒別效果的方法。起源于20世紀(jì)50年代的統(tǒng)計(jì)決策理論，最初用于雷達(dá)性能評(píng)估。盧斯特第一次提出ROC分析可以用來評(píng)估醫(yī)療決策。自20世紀(jì)80年代以來，這種方法已被廣泛用于評(píng)估醫(yī)療診斷性能。如今，它作為一種基本的評(píng)價(jià)方法，已經(jīng)在醫(yī)學(xué)診斷檢驗(yàn)的評(píng)價(jià)過程中占據(jù)了關(guān)鍵的地位。以滅活牛口蹄疫Asia1疫苗LPB-E抗體效價(jià)和挑戰(zhàn)保護(hù)試驗(yàn)為例，介紹了ROC分析的基本原理。

ROC曲線的建立

ROC曲線是根據(jù)一系列不同的二元分類方法(臨界值或判定閾值)計(jì)算診斷結(jié)果的真陽性率和假陽性率，以真陽性率或敏感性(se)為縱坐標(biāo)，假陽性率或1-特異性(1-sp)為橫坐標(biāo)而繪制的曲線。構(gòu)建平滑ROC曲線時(shí)，需要假設(shè)病例組和對(duì)照組服從一定的分布，利用曲線擬合技術(shù)估計(jì)參數(shù)，直接利用參數(shù)生成平滑曲線。

ROC曲線的特征

ROC曲線的基本特征是:①曲線經(jīng)過(0，0)和(1，1)兩點(diǎn)。這兩點(diǎn)分別對(duì)應(yīng)于Se=0和Sp=1以及Se=1和Sp=0。②理論上完美的診斷是Se=1，Sp=1。ROC曲線從原點(diǎn)垂直上升到圖像左上角，然后水平到達(dá)右上角。③完全沒有價(jià)值的診斷是Se=1-Sp，是從原點(diǎn)到右上角的對(duì)角線。④一般診斷中，ROC曲線在上述兩種極端情況之間，ROC曲線越靠近左上角，檢驗(yàn)的準(zhǔn)確性越高。

ROC分析的評(píng)價(jià)統(tǒng)計(jì)

ROC分析，利用曲線下面積(AUC)的綜合統(tǒng)計(jì)量進(jìn)行定量分析，AUC在1.0 ~ 0.5之間，AUC越接近1，診斷效果越好:①AUC在0.5 ~ 0.7之間，準(zhǔn)確率較低。②AUC為0.7 ~ 0.9，有一定的準(zhǔn)確性。③0.9以上的AUC有較高的準(zhǔn)確性。④當(dāng)AUC = 0.5時(shí)，說明診斷方法完全無效，沒有診斷價(jià)值。AUC及其標(biāo)準(zhǔn)差(S.E .)的計(jì)算方法很多，統(tǒng)計(jì)方法可以采用Wilcoxon非參數(shù)方法。目前有相應(yīng)的計(jì)算機(jī)軟件(如Spss15.0)可用。

ROC分析的主要功能

4.1反映任何臨界值對(duì)診斷對(duì)象(如疾病、疫苗免疫保護(hù)等)的識(shí)別能力。)ROC曲線上的每一點(diǎn)代表某一臨界值的一對(duì)靈敏度和特異度，ROC曲線包含選擇任何臨界值時(shí)的靈敏度和特異度。它綜合反映了不同臨界值時(shí)敏感性和特異性的變化。

4.2選擇最佳診斷臨界值ROC曲線是表達(dá)敏感性和特異性關(guān)系的方法，得到的曲線可以確定最佳臨界值。一般選擇曲線轉(zhuǎn)折點(diǎn)，即靈敏度和特異性較高的點(diǎn)作為臨界值。選擇最佳臨界值的方法很多，一般選擇尤登指數(shù)(YI=Se+Sp-1)或正似然比(LR (+) = SE/(1-SP))最大的閾值作為最佳診斷臨界值。

4.3各種診斷試驗(yàn)對(duì)診斷學(xué)認(rèn)識(shí)能力的比較根據(jù)診斷試驗(yàn)的ROC曲線，可以比較兩種或兩種以上不同診斷試驗(yàn)在診斷同一疾病時(shí)的可靠性，ROC曲線可以幫助決策者做出最佳選擇。

ROC分析的優(yōu)勢(shì)和局限性

5.1應(yīng)用ROC曲線的優(yōu)勢(shì):(1)簡(jiǎn)單直觀地觀察、分析和判斷診斷方法的臨床準(zhǔn)確性。②ROC曲線圖形化地結(jié)合了靈敏度和特異性，能夠準(zhǔn)確地反映一種分析方法的靈敏度和特異性之間的關(guān)系，是檢驗(yàn)準(zhǔn)確性的綜合代表。③與陽性預(yù)測(cè)值不同，ROC曲線評(píng)價(jià)法與人群患病率無關(guān)。但在實(shí)踐中，最好采取患者和非患者人數(shù)相等的方式。④④ROC曲線沒有固定的分類閾值，允許中間狀態(tài)的存在，有利于用戶結(jié)合專業(yè)知識(shí)，權(quán)衡漏診和誤診的影響，選擇較好的截止值作為診斷參考值。⑤在同一量表下提供不同測(cè)試之間的直觀對(duì)比。ROC曲線越凸，越接近左上角，說明其診斷價(jià)值更大，有利于不同指標(biāo)之間的比較。

5.2應(yīng)用ROC曲線的缺點(diǎn):①ROC曲線不顯示真實(shí)的判斷值，實(shí)際的分界值通常不顯示在圖上。(2)研究對(duì)象數(shù)量未圖示。③當(dāng)樣本數(shù)減少時(shí)，曲線呈“鋸齒狀”，即使樣本數(shù)多，也可能“凹凸不平”。

實(shí)例分析

牛口蹄疫滅活疫苗的A-E抗體滴度和攻毒保護(hù)試驗(yàn)結(jié)果引自《中國獸醫(yī)雜志》2007，41(7):19 ~ 22/劉等。)，這是7批疫苗的藥效試驗(yàn)數(shù)據(jù)?？贵w滴度用稀釋度的普通對(duì)數(shù)表示。利用SPSS15.0下的分析/ROC曲線…模塊進(jìn)行分析，結(jié)果如下(程序省略):

ACU=0.888，標(biāo)準(zhǔn)差=0.035，95%置信區(qū)間[0.820，0.957]，AUC范圍0.7-0.9，具有一定的診斷準(zhǔn)確性。ROC曲線如圖1所示。

最小觀測(cè)值減1作為最小截止點(diǎn)，最大觀測(cè)值加1作為最大截止點(diǎn)。其他截?cái)帱c(diǎn)取相鄰觀測(cè)值的平均值，大于等于截?cái)帱c(diǎn)的為正。臨界值、對(duì)應(yīng)靈敏度(Se)、假陽性率(1-Sp)、約旦指數(shù)(YI)、陽性似然比(LR+)的估計(jì)結(jié)果見表1。從估計(jì)結(jié)果來看，截?cái)帱c(diǎn)為1.875(101.875為75，接近64和90的幾何平均數(shù))，即當(dāng)抗體滴度為1:75時(shí)，約登指數(shù)(YI)達(dá)到最大值0.70，正似然比LR(+)達(dá)到最大值8.70。相應(yīng)地，1:75的抗體滴度可視為?？谔阋叩腁sia1。

標(biāo)簽

近年來報(bào)道的文獻(xiàn)表明，ROC曲線是評(píng)價(jià)FMD疫苗免疫抗體診斷動(dòng)物對(duì)強(qiáng)毒攻擊保護(hù)作用的有效方法之一，也是研究FMD疫苗效力試驗(yàn)替代方法的統(tǒng)計(jì)方法之一。本次計(jì)算機(jī)測(cè)試基于SPSS17.0中的ROC分析，是對(duì)口蹄疫疫苗免疫抗體免疫保護(hù)的初步評(píng)估，分析結(jié)果需要在實(shí)踐中檢驗(yàn)。為了全面系統(tǒng)地評(píng)價(jià)口蹄疫疫苗免疫抗體診斷挑戰(zhàn)試驗(yàn)的性能，應(yīng)結(jié)合試驗(yàn)的設(shè)計(jì)、數(shù)據(jù)處理和模型準(zhǔn)確性進(jìn)行優(yōu)化設(shè)計(jì)，并對(duì)免疫狀態(tài)的識(shí)別和預(yù)測(cè)以及診斷結(jié)果的重復(fù)性評(píng)價(jià)進(jìn)行比較。

質(zhì)量管理部王國平主編