Linha do MahoutSimilaridade
Eu estou tentando calcular a semelhança de linha entre documentos da Wikipédia. Eu tenho os vetores tf-idf em formatoKey class: class org.apache.hadoop.io.Text Value Class: class org.apache.mahout.math.VectorWritable
. Estou seguindo o rápido tour da análise de texto a partir daqui:https://cwiki.apache.org/confluence/display/MAHOUT/Quick+tour+of+text+analysis+using+the+Mahout+command+line
Eu criei uma matriz de mahout da seguinte forma:
mahout rowid \
-i wikipedia-vectors/tfidf-vectors/part-r-00000
-o wikipedia-matrix
Eu tenho o número gerado linhas e colunas:
vectors.RowIdJob: Wrote out matrix with 4587604 rows and 14121544 columns to wikipedia-matrix/matrix
A matriz é de formatoKey class: class org.apache.hadoop.io.IntWritable Value Class: class org.apache.mahout.math.VectorWritable
eu tambem tenho umdocIndex
documento com o seguinte formato:Key class: class org.apache.hadoop.io.IntWritable Value Class: class org.apache.hadoop.io.Text
Então, quando eu executo o trabalho de similaridade de linhas
mahout rowsimilarity
-i wikipedia-matrix/matrix
-o wikipedia-similarity
-r 4587604
--similarityClassname SIMILARITY_COSINE
-m 50
-ess
Eu estou recebendo o seguinte erro:
13/08/25 15:18:18 INFO mapred.JobClient: Task Id : attempt_201308161435_0364_m_000001_1, Status : FAILED
java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.mahout.math.VectorWritable
at org.apache.mahout.math.hadoop.similarity.cooccurrence.RowSimilarityJob$VectorNormMapper.map(RowSimilarityJob.java:183)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:648)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:322)
at org.apache.hadoop.mapred.Child$4.run(Child.java:266)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
at org.apache.hadoop.mapred.Child.main(Child.java:260)
Alguém poderia me ajudar com o erro? Eu não tenho certeza de onde é issoorg.apache.hadoop.io.Text
quando a matriz de entrada é de formatoKey class: class org.apache.hadoop.io.IntWritable Value Class: class org.apache.mahout.math.VectorWritable
Muito obrigado.
Melhor, Dragan