É uma prática ruim usar uma versão de lançamento da biblioteca de terceiros no binário de depuração?

Eu estou usando uma biblioteca de terceiros e compilado uma biblioteca .lib de lançamento. Meu exe está no desenvolvimento do modo de depuração. Então eu peguei:

error LNK2038: mismatch detected for '_ITERATOR_DEBUG_LEVEL': value '0' doesn't match value '2' in test1.obj

Depois de algum googling eu descobri que é porque eu estou tentando misturar release com debug, e eu provavelmente deveria compilar a biblioteca no modo de depuração ou então atrapalhar com a macro _ITERATOR_DEBUG_LEVEL. Mas estou curioso para saber se essa é a maneira recomendada e por quê. Parece complicado que eu precise compilar e manter um registro dos binários de release e debug para cada biblioteca de terceiros que pretendo usar, o que será muito em breve, embora não tenha a intenção de depurar esse código.