Sou capaz de tornar o JFrame totalmente transparente e o JButton é parcialmente transparente até eu mover o mouse sobre o botão (não clicar) e mover o mouse para fora do botão (MouseExited chamado via MouseListener). O que acontece é que o plano de fundo do JButton é desenhado novamente, portanto, após alguns movimentos do mouse, o botão fica totalmente opac

public class ButtonExample extends JWindow
{
   public ButtonExample( )
   {
        JButton But = new JButton( "Testing" );
        But.setBackground( new Color( 0, 0, 0, 200 ) );
        But.setForeground( new Color( 70, 155, 255 ) );
        this.add( But );
        this.setBackground( new Color( 0, 0, 0, 0 ) );
        this.setMinimumSize( new Dimension( 200,100 ) );
        this.setVisible( true );
    }

    public static void main( String[ ] Args ) 
    {
        new ButtonExample( );
    }
}