Jestem nowy w sporcie apache.
Próbuję zobaczyć, jak mogę uzyskać jsona (jako źródło http), przeanalizować je i zapisać na ścieżce dynamicznej w plikach hdfs zgodnie z treścią.
Na przykład:
jeśli json jest:

[{   
  "field1" : "value1",
  "field2" : "value2"
}]

wtedy ścieżka hdfs będzie:
/ some-default-root-path / value1 / value2 / some-value-name-file
Czy istnieje taka konfiguracja koryta, która pozwala mi to zrobić?

Oto moja obecna konfiguracja (akceptuje json przez http i przechowuje ją w ścieżce zgodnie z datownikiem):

#flume.conf: http source, hdfs sink

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type =  org.apache.flume.source.http.HTTPSource
a1.sources.r1.port = 9000
#a1.sources.r1.handler = org.apache.flume.http.JSONHandler

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/uri/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

Dzięki!