¿Hay alguna razón por la cual el contenido de texto de un botón WPF aparece con un espacio no deseado sobre el texto?

Tengo un botón en un StackPanel. Este botón es un simple botón de cierre, así que quiero que aparezca como un botón cuadrado con una "x" centrada en él. Establecí mi relleno en cero y configuré HorizontalContentAlign y VerticalContentAlign en Center, pero la "x" todavía aparece en la parte inferior del botón (o incluso truncada si mi FontSize es demasiado grande en relación con mi Altura). Es como si hubiera algo de relleno en la parte superior del botón que impide que el texto use todo el espacio vertical.

Mi XAML es:

<StackPanel Orientation="Horizontal">
        <Label Content="{Binding GenderFilter.Title}" FontWeight="Bold" Width="60" />
        <Button Padding="0" Width="15" Height="15" HorizontalContentAlignment="Center" VerticalContentAlignment="Center" FontSize="12">x</Button>
        <Label Content="{Binding GenderFilterExpander.SelectedValue}" />
</StackPanel>

El problema es exactamente el mismo si configuro mi propiedad VerticalContentAlign de botón en Estirar o incluso Arriba. Si elimino las propiedades Altura y Peso para que el botón determine las suyas propias, el control no aparece como un cuadrado sino como un rectángulo vertical y la "x" aún no está centrada.

ACTUALIZACIÓN: Si bien el botón y el contenido ahora están ambos perfectamente centrados, el botón todavía se muestra mucho más grande de lo necesario, como si se estuviera aplicando un relleno alto.

Mi definición de estilo de recurso ahora es la siguiente:

<Style x:Key="ClearFilterButtonStyle" TargetType="{x:Type Button}">
    <Setter Property="Padding" Value="0" />
    <Setter Property="Width" Value="{Binding RelativeSource={x:Static RelativeSource.Self}, Path=ActualHeight}" />
    <Setter Property="HorizontalContentAlignment" Value="Center" />
    <Setter Property="VerticalContentAlignment" Value="Center" />
    <Setter Property="Content" Value="X" />
    <Setter Property="FontSize" Value="8" />
</Style>

El botón en sí se define como:

<Expander.Header>
    <StackPanel Orientation="Horizontal">
            <Label Content="{Binding GenderFilter.Title}" FontWeight="Bold" Width="60" />
            <Button Style="{StaticResource ClearFilterButtonStyle}"
                                    Visibility="{Binding GenderFilterExpander.ClearFilterVisibility}" />
            <Label Content="{Binding GenderFilterExpander.SelectedValue}"
                                   Visibility="{Binding GenderFilterExpander.SelectedValueVisibility}" />
    </StackPanel>
</Expander.Header>

El expansor está dentro de un StackPanel dentro de un GroupBox dentro de un DockPanel.

En la vista de diseño, los botones tienen el tamaño correcto, solo contienen la X, pero en tiempo de ejecución se agrandan. ¿Cómo puedo corregir eso?