Existe uma expressão seletora simples para não selecionar elementos com uma classe específica?

<div class="first-foo" />
<div class="first-moo" />
<div class="first-koo" />
<div class="first-bar second-foo" />

Eu só quero pegar os três primeiros divs e tentei

$(div[class^="first-"][class!="first-bar"])

Mas isso recebe tudo, pois a última div contém mais que a primeira barra. Existe uma maneira de usar um espaço reservado nessa expressão? Algo parecido

$(div[class^="first-"][class!="first-bar*"]) // doesn't seem to work

Algum outro seletor que possa ajudar?