¿Es semánticamente incorrecto poner un <div> o <span> dentro de un <button>?

Me gustaría hacer lo siguiente, pero ¿es semánticamente correcto?

<button>
  <div></div>
  <div></div>
</button>