Usandoarray_diff()Posso comparar e remover itens semelhantes, mas e se eu tiver as seguintes matrizes?

Array1

Array
(
    [0] => Array
        (
            [ITEM] => 1
        )

    [1] => Array
        (
            [ITEM] => 2
        )

    [2] => Array
        (
            [ITEM] => 3
        )
)

Array2

Array
(
    [0] => Array
        (
            [ITEM] => 2
        )

    [1] => Array
        (
            [ITEM] => 3
        )

    [2] => Array
        (
            [ITEM] => 1
        )
    [3] => Array
        (
            [ITEM] => 4
        )
)

Eu quero filtrar os itens semelhantes; resultado deve retornar 4. Como posso reorganizar minha matriz para que eu possa usararray_diff()?