Rails encontra registro com todos os IDs de associação correspondentes

Eu tenho uma associação de HABTM entre usuários e bate-papos. Estou tentando encontrar o Chat com 2 usuários específicos nele. Eu tentei:

scope :of_users, ->(user1,user2) { joins(:users).where( users: { id: [ user1.id, user2.id ] } ) }
Chat.of_users( user1, user2 )

Mas isso me dá todos os chats em que um dos dois usuários está.

Eu também tentei:

Chat.joins(:users) & User.where(id:1) & User.where(id:2)

Não me deu os resultados certos também. O que estou procurando? Eu tenho procurado em todo o lugar, mas eu não sei o nome desse conceito ...

EDITAR:

Meu modelo de bate-papo:

class Chat < ActiveRecord::Base
  has_and_belongs_to_many :users
  scope :of_users, ->(user1,user2) { joins(:users).where( users: { id: [ user1.id, user2.id ] } ) }
end

Meu modelo de usuário:

class User < ActiveRecord::Base
  has_and_belongs_to_many :chats
end

Esquema para usuário e bate-papo:

create_table "chats", :force => true do |t|
  t.datetime "created_at", :null => false
  t.datetime "updated_at", :null => false
end

create_table "chats_users", :id => false, :force => true do |t|
  t.integer "chat_id"
  t.integer "user_id"
end

add_index "chats_users", ["chat_id", "user_id"], :name => "index_chats_users_on_chat_id_and_user_id"
add_index "chats_users", ["user_id"], :name => "index_chats_users_on_user_id"

questionAnswers(2)

yourAnswerToTheQuestion