Page 36 - 79_04

Perspectiva
general
sobre
el
proceso
de
desarrollo
de
fármacos…

3.5.
Métricas
de
desempeño

Existe
un
debate
en
curso
en
la
literatura
sobre
“puntajes
de
mérito”

adecuados
(o
indicadores
de
desempeño)
para
evaluar
los
ensayos
de
cribado

virtual
retrospectivos.
Una
métrica
popular
es
el
“factor
de
enriquecimiento”,
que

es
intuitivo
y
sencillo
de
interpretar.
Un
problema
asociado
con
el
cálculo
de
los

factores
de
enriquecimiento
simples
es
la
dependencia
de
un
valor
de
corte

elegido,
por
lo
general
el
1
o
5%
de
la
base
de
datos
para
cribado.
Nicholls
(2008)

aboga
firmemente
por
el
uso
de
medidas
estándares,
incluyendo
la
curva
de
la

Característica
en
Operación
del
Receptor
(ROC,
del
inglés
Receiver
Operating

Characteristics)
y
el
área
bajo
la
curva
AUC[ROC]
(121),
que
se
aplican

habitualmente
en
otros
campos
que
emplean
el
análisis
estadístico,
minería
de

datos,
o
las
técnicas
de
aprendizaje
automático
(122).
Sin
embargo,
Truchon
y

Bayly
(2007)
detectaron
que
la
curva
ROC

no
tiene
en
cuenta
explícitamente
el

llamado
“problema
de
la
detección
temprana”,
i.e.,
la
propiedad
de
un
método
para

recuperar
compuestos
activos
“tempranamente”,
i.e.,
al
principio
de
la
lista
de

clasificación.
Específicamente,
este
fenómeno
es
ejemplificado
en
tres
situaciones

donde
el
algoritmo
de
búsqueda:
1-­-)
ranquea
la
mitad
de
los
candidatos
positivos

al
principio
de
la
lista
y
la
mitad
al
final,
2-­-)
distribuye
los
candidatos
positivos

uniformemente
por
toda
la
lista,
3-­-)
ranquea
todos
los
candidatos
positivos

exactamente
en
la
mitad
de
la
lista.
Para
todos
los
casos
anteriores
AUC[ROC]
=
0.5

aunque,
si
solo
algunos
pocos
primeros
hits
pueden
ser
probados

experimentalmente,
el
caso
1-­-)
es
claramente
mejor
que
el
caso
2-­-)
que,
a
su
vez,
es

mejor
que
el
caso
3-­-).
En
este
sentido,
los
autores
desarrollaron
un
mejoramiento

de
la
curva
ROC
a
través
de
la
métrica
Discriminación
Mejorada
por
(la

distribución
de)
Boltzmann
de
la
ROC
(BEDROC,
del
inglés
Boltzmann-­-Enhanced

Discrimination
of
ROC),
que
utiliza
una
ponderación
exponencial
para
asignar

mayor
peso
a
la
detección
temprana
(123).
Esta
medida
es
esencialmente
una

versión
normalizada
de
la
medida
Mejora
Inicial
Robusta
(RIE,
del
inglés
Robust

Initial
Enhancement)
(124).
Del
mismo
modo,
se
ha
sugerido
el
escalado

semilogarítmico
de
la
ROC,
pROC
(125).
Sin
embargo,
Nicholls
(2008)
también

presenta
evidencias
de
una
fuerte
correlación
entre
el
AUC[ROC]
y
AUC[BEDROC],

lo
que
sugiere
a
AUC[ROC]
como
una
medida
suficiente
para
evaluar
la
eficiencia

de
cribado
virtual.
Este
mismo
autor
recomienda
se
aplique
un
ponderado

exponencial
a
la
curva
ROC
preferentemente
a
los
rangos
individuales
de
los

compuestos
activos
dentro
de
los
inactivos
para
mejorar
algunas
de
las

deficiencias
de
las
métricas
AUC[RIE]
y
AUC[BEDROC]
(121).

3.5.1.
Curva
ROC
concentrada

Basados
en
la
idea
de
Nicholls
(2008),
aunque
no
lo
citan
explícitamente,

Swamidass
et
al.
(2010)
proponen
la
curva
ROC
Concentrada
(CROC,
del
inglés

Concentrated
ROC)
que
consiste
en
magnificar
uno
de
los
ejes
de
la
curva
ROC
[X

553