std::shared_ptr está garantizado para ser a prueba de hilos. No sé qué mecanismo usan las implementaciones típicas para garantizar esto, pero seguramente debe tener algo de sobrecarga. Y esa sobrecarga estaría presente incluso en el caso de que su aplicación sea de un solo subproceso.

¿Es lo anterior el caso? Y si es así, ¿eso significa que viola el principio de "no paga por lo que no usa", si no está utilizando las garantías de seguridad de hilos?