Чтение HDFS и локальных файлов в Java
Я хочу прочитать пути к файлам независимо от того, являются ли они HDFS или локальными. В настоящее время я передаю локальные пути с префиксом file: // и пути HDFS с префиксом hdfs: // и пишу некоторый код следующим образом
Configuration configuration = new Configuration();
FileSystem fileSystem = null;
if (filePath.startsWith("hdfs://")) {
fileSystem = FileSystem.get(configuration);
} else if (filePath.startsWith("file://")) {
fileSystem = FileSystem.getLocal(configuration).getRawFileSystem();
}
Отсюда я использую APIс файловой системы, чтобы прочитать файл.
Можете ли вы дать мне знать, если есть какой-то другой способ лучше, чем этот?