Classe não encontrada no trabalho do Hadoop

Eu tenho um trabalho de redução de mapa que obtém sua entrada do DocumentDB. Eu adicionei aos arquivos jar no diretório lib no meu código-fonte e também utilizei o -libjars ao executar o trabalho. mas ainda recebo o erro de classe não encontrada para uma classe no arquivo jar. Aqui está uma parte do meu programa de driver

public class MapReduceDriver extends Configured implements Tool  {

public static void main(String[] args) throws Exception {

    int res = ToolRunner.run(new Configuration(), new MapReduceDriver(), args);
    System.exit(res);

}



@Override
public int run(String[] args) throws Exception {

    Configuration conf =  this.getConf();
    ....

Ao usar -libjars, coloquei os arquivos jar necessários no driver local e uma vez nos hdfs, mas nenhum deles funcionou. Como posso garantir que os libjars funcionem?

p.s. Estou usando o cluster HDInsight de 2 nós (em execução no Microsoft Azure).

Aqui está a mensagem de erro que recebo

 Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.microsoft.azure.documentdb.hadoop.DocumentDBInputFormat not found
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1961)
    at org.apache.hadoop.mapreduce.task.JobContextImpl.getInputFormatClass(JobContextImpl.java:174)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:726)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:340)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1594)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:163)
Caused by: java.lang.ClassNotFoundException: Class com.microsoft.azure.documentdb.hadoop.DocumentDBInputFormat not found
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1867)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:1959)
    ... 8 more

questionAnswers(2)

yourAnswerToTheQuestion