¿Por qué falla la adición de una referencia al proyecto dirigido a .NET Framework 4.0?

Tenemos dos proyectos que son ambas bibliotecas de clases. El Proyecto 1 es un proyecto VS 2008 y está dirigido a .NET Framework 3.5. Project 2 es un proyecto VS 2010 (candidato de lanzamiento) que se dirige a .NET Framework 4.0. Cuando intento agregar una referencia al Proyecto 2 en el Proyecto 1, falla con un mensaje de error menos que informativo. Sé que si cambio el Marco objetivo para el Proyecto 2 a 3.5, entonces agregar la referencia funcionará. Mi pregunta es, si no cambio los marcos de destino, pero convierto el Proyecto 1 a VS 2010, ¿funcionará la referencia? Dicho de otra manera, ¿hay alguna incompatibilidad inherente entre las bibliotecas de clases que apuntan a diferentes versiones de framework o me falla porque VS 2008 no conoce el framework 4.0?