Obtenha o maior valor em javascript ou coffeescript de matriz multidimensional

Eu tenho uma matriz que se parece com o seguinte:

array = [[1, 5], [4, 7], [3, 8], [2, 3],  
 [12, 4], [6, 6], [4, 1], [3, 2], 
 [8, 14]]

O que eu preciso é o maior número do primeiro valor dos conjuntos, então neste caso12. Olhando alguns exemplos online, a melhor maneira que vi para conseguir isso é:

Math.max.apply Math, array

O problema é que isso só funciona com matrizes dimensionais únicas. Como eu iria implantar isso para o meu senario? (jquery permitido)

A solução final:

Não fazia parte da questão, mas eu precisava tanto do min quanto do max do array, e isso muda um pouco as coisas.

    unless device.IE
        justTheDates    = magnitudeArray.map (i) -> i[0]
        @earliest       = Math.min.apply Math, justTheDates
        @latest         = Math.max.apply Math, justTheDates                 
    else
        @earliest       = magnitudeArray[0][0]
        @latest         = magnitudeArray[0][0]
        for magnitudeItem in magnitudeArray
            @earliest   = magnitudeItem[0] if magnitudeItem[0] < @earliest
            @latest     = magnitudeItem[0] if magnitudeItem[0] > @latest

questionAnswers(8)

yourAnswerToTheQuestion