Erhalten Sie für ca. 10 GB Daten für EMR m1.large-Instanzen

Ich erhalte die Fehlermeldung "Auf dem Gerät ist kein Speicherplatz mehr verfügbar", wenn ich meine Amazon EMR-Jobs mit m1.large als Instanztyp für die vom Jobflow zu erstellenden Hadoop-Instanzen ausführe. Der Job generiert ca. Maximal 10 GB Daten, und da die Kapazität einer m1.large-Instanz 420 GB * 2 betragen soll (laut:EC2-Instanztypen ). Ich bin verwirrt, wie nur 10 GB Daten zu einer Meldung führen können, dass der Speicherplatz voll ist. Mir ist bewusst, dass diese Art von Fehler auch dann auftreten kann, wenn wir die Gesamtzahl der im Dateisystem zulässigen Inodes vollständig ausgeschöpft haben. Dies entspricht einer großen Zahl von Millionen und ich bin mir ziemlich sicher, dass dies nicht mein Job ist so viele Dateien zu produzieren. Ich habe gesehen, dass beim Versuch, eine EC2-Instanz unabhängig von m1.large zu erstellen, ihr standardmäßig ein Root-Volume von 8 GB zugewiesen wird. Könnte dies auch der Grund für die Bereitstellung von Instanzen in EMR sein? Wann werden die Festplatten mit einer Größe von 420 GB einer Instanz zugewiesen?

Hier ist auch die Ausgabe von "df -hi" und "mount"

$ df -hi
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/xvda1              640K    100K    541K   16% /
tmpfs                   932K       3    932K    1% /lib/init/rw
udev                    930K     454    929K    1% /dev
tmpfs                   932K       3    932K    1% /dev/shm
ip-10-182-182-151.ec2.internal:/mapr
                        100G     50G     50G   50% /mapr

$ mount
/dev/xvda1 on / type ext3 (rw,noatime)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/var/run on /run type none (rw,bind)
/var/lock on /run/lock type none (rw,bind)
/dev/shm on /run/shm type none (rw,bind)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
ip-10-182-182-151.ec2.internal:/mapr on /mapr type nfs (rw,addr=10.182.182.151)
$ lsblk
NAME  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
xvda1 202:1    0    10G  0 disk /
xvdb  202:16   0   420G  0 disk 
xvdc  202:32   0   420G  0 disk

Antworten auf die Frage(1)

Ihre Antwort auf die Frage