¿Existe una expresión de selector simple para no seleccionar elementos con una clase específica?

<div class="first-foo" />
<div class="first-moo" />
<div class="first-koo" />
<div class="first-bar second-foo" />

Solo quiero obtener los primeros tres divs e intenté

$(div[class^="first-"][class!="first-bar"])

Pero esto recibe todo ya que el último div contiene más que la primera barra. ¿Hay alguna manera de usar un marcador de posición en tal expresión? Algo como eso

$(div[class^="first-"][class!="first-bar*"]) // doesn't seem to work

¿Algún otro selector que pueda ayudar?