Establecer el valor de columna de una colección de otras columnas elegidas por una columna de selector fila por fila (realizar una búsqueda)

Considere el siguiente marco de datos:

TEST <- structure(list(Value = c(NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA), 
  Select = structure(c(2L, 1L, 3L, 2L, 2L, 1L, 1L,
  2L, 1L, 1L, 3L, 3L), .Label = c("A", "B", "C"), class = "factor"),
  A = c(5L, 5L, 4L, 3L, 4L, 3L, 5L, 3L, 3L, 4L, 5L, 4L), 
  B = c(10L, 8L, 7L, 6L, 3L, 8L, 8L, 7L, 8L, 9L, 11L, 8L), 
  C = c(0L, 1L, 3L, 2L, 0L, 3L, 0L, 2L, 0L, 1L, 1L, 0L)), 
  .Names = c("Value", "Select", "A", "B", "C"), 
  row.names = c(NA, -12L), 
  class = "data.frame")

Quiero asignar de manera eficiente la columna Valor, fila por fila, del conjunto de columnas A, B y C según la columna Seleccionar.

Por ejemplo, en la fila 1 quiero que el valor sea igual al elemento en la columna B, es decir, el valor [1] = 10.

Mi método actual es usar un bucle for:

for( idx in 1:nrow(TEST) ) {
  TEST$Value[idx] <- TEST[ idx, as.character(TEST$Select[idx]) ]
}

Lo que resulta en la salida deseada:

    Value Select A  B C
 1     10      B 5 10 0
 2      5      A 5  8 1
 3      3      C 4  7 3
 4      6      B 3  6 2
 5      3      B 4  3 0
 6      3      A 3  8 3
 7      5      A 5  8 0
 8      7      B 3  7 2
 9      3      A 3  8 0
 10     4      A 4  9 1
 11     1      C 5 11 1
 12     0      C 4  8 0

¿Hay una forma más eficiente o alternativa de hacer esto? Siento que esto es una especie de operación de tipo de combinación () o combinación de tabla.

PD No estaba seguro de cómo describir esta operación; cualquier sugerencia para una mejor pregunta / descripción también es bienvenida.