Por que o preenchimento precisa ser uma potência de dois?

Eu estou fazendo alguns programas de exemplo para explorar C e gostaria de saber por que o preenchimento de estrutura pode ser feito em poder de dois apenas.

#include <stdio.h>

#pragma pack(push, 3)

union aaaa
{

   struct bbb
   {
      int a;
      double b;
      char c;
   }xx;

   float f;
};

#pragma pack(pop)

int main()
{

printf("\n Size: %d", sizeof(union aaaa));

return 0;
}

Enquanto compilando

warning: alignment must be a small power of two, not 3 [-Wpragmas]
warning: #pragma pack (pop) encountered without matching #pragma pack (push) [-Wpragmas]

Parece que o # pragma não tem efeito. A saída é apenas 24. isto é, 4 bytes alinhados.