Swift 3 2d array de Int

En realidad es una pregunta muy simple, pero después de una hora no puedo resolver mi problema.

Necesito crear una matriz 2D de Int.

var arr = [[Int]]()
or
var arr : [[Int]] = []

trató de cambiar el valor:

arr[x][y] = 1

error fatal: índice fuera de rango

¿Debo usar APPEND o necesito especificar el tamaño de la matriz?

Estoy confundido..