Esta função adiciona umrotated class para o meu botão quando clico nele. O botão tem uma seta que aponta na direção em que o painel deslizou.

Como eu poderia remover a classe girada quando clico no botão novamente?

$("#btnDiv").click(function (){
     $('#slidePanel').toggle( "slide",{direction: 'right'});
     $('#btnDiv').addClass('rotated');
});

Algo como isso talvez?

if('rotated'){
    removeClass('rotated')
}else{
    addClass('rotated')
}