Si subo archivos a mi servidor y así los clientes / clientes descargan estos archivos. ¿Cómo puedo restringir el acceso al archivo?

Por ejemplo, si subo un archivo a www.domain.com/files/download.zip

Y si el usuario tiene los permisos correctos, puede descargar el archivo, pero ¿y si el usuario conoce el enlace directo al archivo?

Porque puedo imaginar cómo no mostrar el enlace al usuario en el sitio si no tiene permiso para ver el enlace, pero ¿cómo puedo evitar que alguien solo escriba la URL directa de la ubicación del archivo para descargar el archivo? ¿archivo?

Gracias por adelantado.