Quiero desarmar los siguientes datos JSON en Golang:

b := []byte(`{"Asks": [[21, 1], [22, 1]] ,"Bids": [[20, 1], [19, 1]]}`)

Sé cómo hacerlo, defino una estructura como esta:

type Message struct {
    Asks [][]float64 `json:"Bids"`
    Bids [][]float64 `json:"Asks"`
}

Lo que no sé es si hay una manera simple de especializar esto un poco más. Me gustaría tener los datos después de la desorganización en un formato como este:

type Message struct {
    Asks []Order `json:"Bids"`
    Bids []Order `json:"Asks"`
}

type Order struct {
    Price float64
    Volume float64
}

Para poder usarlo más tarde después de deshacerme de esta manera:

m := new(Message)
err := json.Unmarshal(b, &m)
fmt.Println(m.Asks[0].Price)

Realmente no sé cómo hacerlo de manera fácil o idiomática en GO, así que espero que haya una buena solución para eso.