F & Xaml-noob, для консольных приложений мне удалось просто дать относительный путь к исполняемому файлу для доступа к файлу. Кажется, это не работает в xaml для меня. (код внизу)
Абсолютный путь работает отлично.

Возможно ли в XAML в приложении WPF получить доступ к файлу, просто используя относительный путь к каталогу вашего исполняемого файла в качестве допустимого UriSource? Если да, то как, а если нет, то почему?

Я нашел следующий вопрос, где они говорили о добавлении файла через «Добавить существующий элемент» в Visual Studio, так что это похоже на другую проблему.

Как установить для свойства WPF BitmapImage UriSource относительный путь?

<Window.Icon>
  <!--absolute path works:-->
  <BitmapImage UriSource="C:\LongPath\SolutionFolder\ProjectFolder\bin\Debug\path4.ico" />

  <!--none of the following relative paths worked:-->
  <!--AppDomain.CurrentDomain.BaseDirectory returns the Debug-folder-->
  <!--<BitmapImage UriSource="path4.ico" />-->
  <!--<BitmapImage UriSource="../path4.ico" />-->
  <!--<BitmapImage UriSource="Debug/path4.ico" />-->
  <!--<BitmapImage UriSource="bin/Debug/path4.ico" />-->
  <!--<BitmapImage UriSource="../bin/Debug/path4.ico" />-->
  <!--<BitmapImage UriSource="../../bin/Debug/path4.ico" />-->
  <!--<BitmapImage UriSource="../Debug/path4.ico" />-->
</Window.Icon>