Eu tentei vários guiasaqui (procure por "Building libx265") eaqui sem sucesso. Nas duas vezes, certifiquei-me de desinstalar o ffmpeg primeiro, analisar os guias e depois executar

brew install ffmpeg --with-fdk-aac --with-freetype --with-libass --with-libvpx --enable-libx265

Não importa o que quando eu for executar um comando como

ffmpeg -i source.mkv -c:v libx265 test1.mkv

Eu recebo o erro:

Unknown encoder 'libx265'

Alguém já teve sucesso ao criar o libx265 para uso com o ffmpeg no OSX e você pode compartilhar como o fez?

P.S. Estou executando o OSX 10.11.3