Obtenga el mayor valor en una matriz multidimensional javascript o coffeescript

Tengo una matriz que se parece a la siguiente:

array = [[1, 5], [4, 7], [3, 8], [2, 3],  
 [12, 4], [6, 6], [4, 1], [3, 2], 
 [8, 14]]

Lo que necesito es el número más grande desde el primer valor de los conjuntos, por lo que en este caso12. Mirando algunos ejemplos en línea, la mejor manera que vi para lograr esto es:

Math.max.apply Math, array

El problema es que esto solo funciona con matrices unidimensionales. ¿Cómo podría hacer esto para mi senario? (jquery permitido)

La solución final:

No era parte de la pregunta, pero necesitaba tanto el mínimo como el máximo de la matriz, y eso cambia un poco las cosas.

    unless device.IE
        justTheDates    = magnitudeArray.map (i) -> i[0]
        @earliest       = Math.min.apply Math, justTheDates
        @latest         = Math.max.apply Math, justTheDates                 
    else
        @earliest       = magnitudeArray[0][0]
        @latest         = magnitudeArray[0][0]
        for magnitudeItem in magnitudeArray
            @earliest   = magnitudeItem[0] if magnitudeItem[0] < @earliest
            @latest     = magnitudeItem[0] if magnitudeItem[0] > @latest