Rails has_many através de consulta, dependendo do atributo through table

Tendo alguns problemas com um has_many através de consulta.

Usando o exemplo aqui:http://guides.rubyonrails.org/association_basics.html#the-has_many-through-association

class Physician < ActiveRecord::Base
  has_many :appointments
  has_many :patients, :through => :appointments
end

class Appointment < ActiveRecord::Base
  belongs_to :physician
  belongs_to :patient
end

class Patient < ActiveRecord::Base
  has_many :appointments
  has_many :physicians, :through => :appointments
end

A tabela de compromissos tem uma coluna chamadadata do encontro

Como obtenho todos os pacientes de um médico específico que tenham uma consulta em uma determinada data?