como ajustar um método pertencente a uma instância com pymc3?
Falha ao ajustar um método pertencente a uma instância de uma classe, como uma função determinística, com o PyMc3. Você pode me mostrar como fazer isso?
Para simplificar, meu caso está resumido abaixo com um exemplo simples. Na realidade, minha restrição é que tudo seja feito por meio de uma GUI e ações como 'find_MAP' devem estar dentro de métodos vinculados aos botões pyqt.
Quero ajustar a função "FunctionIWantToFit" sobre os pontos de dados. Problema, o seguinte código:
import numpy as np
import pymc3 as pm3
from scipy.interpolate import interp1d
import theano.tensor as tt
import theano.compile
class cprofile:
def __init__(self):
self.observed_x = np.array([0.3,1.4,3.1,5,6.8,9,13.4,17.1])
self.observations = np.array([6.25,2.75,1.25,1.25,1.5,1.75,1.5,1])
self.x = np.arange(0,18,0.5)
@theano.compile.ops.as_op(itypes=[tt.dscalar,tt.dscalar,tt.dscalar],
otypes=[tt.dvector])
def FunctionIWantToFit(self,t,y,z):
# can be complicated but simple in this example
# among other things, this FunctionIWantToFit depends on a bunch of
# variables and methods that belong to this instance of the class cprofile,
# so it cannot simply be put outside the class ! (like in the following example)
val=t+y*self.x+z*self.x**2
interp_values = interp1d(self.x,val)
return interp_values(self.observed_x)
def doMAP(self):
model = pm3.Model()
with model:
t = pm3.Uniform("t",0,5)
y = pm3.Uniform("y",0,5)
z = pm3.Uniform("z",0,5)
MyModel = pm3.Deterministic('MyModel',self.FunctionIWantToFit(t,y,z))
obs = pm3.Normal('obs',mu=MyModel,sd=0.1,observed=self.observations)
start = pm3.find_MAP()
print('start: ',start)
test=cprofile()
test.doMAP()
dá o seguinte erro:
Traceback (most recent call last):
File "<ipython-input-15-3dfb7aa09f84>", line 1, in <module>
runfile('/Users/steph/work/profiles/GUI/pymc3/so.py', wdir='/Users/steph/work/profiles/GUI/pymc3')
File "/Users/steph/anaconda/lib/python3.5/site-packages/spyder/utils/site/sitecustomize.py", line 866, in runfile
execfile(filename, namespace)
File "/Users/steph/anaconda/lib/python3.5/site-packages/spyder/utils/site/sitecustomize.py", line 102, in execfile
exec(compile(f.read(), filename, 'exec'), namespace)
File "/Users/steph/work/profiles/GUI/pymc3/so.py", line 44, in <module>
test.doMAP()
File "/Users/steph/work/profiles/GUI/pymc3/so.py", line 38, in doMAP
MyModel = pm3.Deterministic('MyModel',self.FunctionIWantToFit(x,y,z))
File "/Users/steph/anaconda/lib/python3.5/site-packages/theano/gof/op.py", line 668, in __call__
required = thunk()
File "/Users/steph/anaconda/lib/python3.5/site-packages/theano/gof/op.py", line 912, in rval
r = p(n, [x[0] for x in i], o)
File "/Users/steph/anaconda/lib/python3.5/site-packages/theano/compile/ops.py", line 522, in perform
outs = self.__fn(*inputs)
TypeError: FunctionIWantToFit() missing 1 required positional argument: 'z'
O que há de errado ?
observação 1: recebo sistematicamente uma mensagem de erro referente ao último parâmetro de 'FunctionIWantToFit'. aqui está 'z', mas se eu remover z da assinatura, a mensagem de erro diz respeito a 'y' (idêntico, exceto pelo nome da variável). se eu adicionar uma quarta variável 'w' na assinatura, a mensagem de erro será 'w' (idêntica, exceto pelo nome da variável).
rk2: parece que perdi algo muito básico em 'theano' ou 'pymc3', porque quando coloco 'FunctionIWantToFit' fora da classe, ele funciona. Veja o exemplo a seguir.
class cprofile:
def __init__(self):
self.observations = np.array([6.25,2.75,1.25,1.25,1.5,1.75,1.5,1])
def doMAP(self):
model = pm3.Model()
with model:
t = pm3.Uniform("t",0,5)
y = pm3.Uniform("y",0,5)
z = pm3.Uniform("z",0,5)
MyModel = pm3.Deterministic('MyModel',FunctionIWantToFit(t,y,z))
obs = pm3.Normal('obs',mu=MyModel,sd=0.1,observed=self.observations)
start = pm3.find_MAP()
print('start: ',start)
@theano.compile.ops.as_op(itypes=[tt.dscalar,tt.dscalar,tt.dscalar],
otypes=[tt.dvector])
def FunctionIWantToFit(t,y,z):
observed_x = np.array([0.3,1.4,3.1,5,6.8,9,13.4,17.1])
x = np.arange(0,18,0.5)
val=t+y*x+z*x**2
interp_values = interp1d(x,val)
return interp_values(observed_x)
test=cprofile()
test.doMAP()
dá:
Warning: gradient not available.(E.g. vars contains discrete variables). MAP estimates may not be accurate for the default parameters. Defaulting to non-gradient minimization fmin_powell.
WARNING:pymc3:Warning: gradient not available.(E.g. vars contains discrete variables). MAP estimates may not be accurate for the default parameters. Defaulting to non-gradient minimization fmin_powell.
Optimization terminated successfully.
Current function value: 1070.673818
Iterations: 4
Function evaluations: 179
start: {'t_interval_': array(-0.27924150484602733), 'y_interval_': array(-9.940000425802811), 'z_interval_': array(-12.524909223913992)}
Exceto que eu não sei fazer isso sem grandes modificações em vários módulos, já que a verdadeira 'FunctionIWantToFit' depende de várias variáveis e métodos que pertencem a essa instância do perfil da classe.
Na verdade, nem tenho certeza de que sei fazer isso, já que 'FunctionIWantToFit' deve ter objetos nos argumentos (que atualmente uso viaself
) e não tenho certeza de como fazer isso com o theano decorator.
Então, eu preferiria evitar essa solução ... a menos que necessário. então eu preciso de explicações sobre como implementá-lo ...
adicionado em 9 de abril de 2017:
Mesmo sem a questão da interpolação, não funciona porque devo ter perdido algo óbvio com theano e / ou pymc3. Por favor, você pode explicar o problema? Eu só quero comparar modelo e dados. Primeiro, é uma pena ficar preso ao pymc2. ; segundo, tenho certeza de que não sou o único com um problema tão básico.
Por exemplo, vamos considerar variações em torno deste código muito básico:
import numpy as np
import theano
import pymc3
theano.config.compute_test_value = 'ignore'
theano.config.on_unused_input = 'ignore'
class testclass:
x = np.arange(0,18,0.5)
observed_x = np.array([0.3,1.4,3.1,5,6.8,9,13.4,17.1])
observations = np.array([6.25,2.75,1.25,1.25,1.5,1.75,1.5,1])
def testfunc(self,t,y,z):
t2 = theano.tensor.dscalar('t2')
y2 = theano.tensor.dscalar('y2')
z2 = theano.tensor.dscalar('z2')
val = t2 + y2 * self.observed_x + z2 * self.observed_x**2
f = theano.function([t2,y2,z2],val)
return f
test=testclass()
model = pymc3.Model()
with model:
t = pymc3.Uniform("t",0,5)
y = pymc3.Uniform("y",0,5)
z = pymc3.Uniform("z",0,5)
with model:
MyModel = pymc3.Deterministic('MyModel',test.testfunc(t,y,z))
with model:
obs = pymc3.Normal('obs',mu=MyModel,sd=0.1,observed=test.observations)
este código falha na última linha com a mensagem de erro:TypeError: unsupported operand type(s) for -: 'TensorConstant' and 'Function'
se eu mudar 'testfunc' para:
def testfunc(self,t,y,z):
t2 = theano.tensor.dscalar('t2')
y2 = theano.tensor.dscalar('y2')
z2 = theano.tensor.dscalar('z2')
val = t2 + y2 * self.observed_x + z2 * self.observed_x**2
f = theano.function([t2,y2,z2],val)
fval = f(t,y,z,self.observed_x)
return fval
o código falha na linha 'MyModel =' com erroTypeError: ('Bad input argument to theano function with name "/Users/steph/work/profiles/GUI/pymc3/theanotest170409.py:32" at index 0(0-based)', 'Expected an array-like object, but found a Variable: maybe you are trying to call a function on a (possibly shared) variable instead of a numeric array?')
se eu voltar ao 'testfunc' original, mas alterar as últimas linhas 'with model' com:
with model:
fval = test.testfunc(t,y,z)
obs = pymc3.Normal('obs',mu=fval,sd=0.1,observed=test.observations)
o erro é o mesmo que o primeiro.
Apresentei aqui apenas três tentativas, mas gostaria de sublinhar que tentei muitas combinações, mais simples e mais simples até essas, durante horas. Sinto que o pymc3 mostra uma enorme mudança de espírito, em comparação com o pymc2, que não recebi e está mal documentado ...