Delphi XE - RawByteString vs AnsiString

Tuve una pregunta similar a esta aquí:Delphi XE: ¿debo usar String o AnsiString?. Después de decidir que es correcto usar cadenas ANSI en una biblioteca (grande) mía, me di cuenta de que en realidad puedo usar RawByteString en lugar de ANSI. Debido a que mezclo cadenas UNICODE con cadenas ANSI, mi código ahora tiene muy pocos lugares donde realiza conversiones entre ellas. Sin embargo, parece que si uso RawByteString me deshago de esas conversiones.

Por favor, hágame saber su opinión al respecto.
Gracias

Actualizar
Esto parece ser decepcionante. Parece que el compilador todavía realiza una conversión de RawByteString a cadena.

procedure TForm1.FormCreate(Sender: TObject);
var x1, x2: RawByteString;
    s: string;
begin
  x1:= 'a';
  x2:= 'b';
  x1:= x1+ x2;
  s:= x1;              {      <------- Implicit string cast from 'RawByteString' to 'string'     }
end;

Creo que hace algunos trabajos internos (como copiar datos) y mi código no será mucho más rápido y aún tendré que agregar muchos tipos de letra en mi código para silenciar el compilador.