Pierwsze „Brak miejsca na urządzeniu” przez ok. 10 GB danych w instancjach m1.large EMR

Podczas uruchamiania moich zadań Amazon EMR pojawia się błąd „Brak miejsca na urządzeniu” przy użyciu m1.large jako typu instancji dla instancji hadoop, które mają zostać utworzone przez przepływ pracy. Zadanie generuje ok. 10 GB danych na max i ponieważ pojemność instancji m1.large ma wynosić 420 GB * 2 (zgodnie z:Typy instancji EC2 ). Jestem zdezorientowany, jak tylko 10 GB danych może doprowadzić do wiadomości typu „pełne miejsce na dysku”. Zdaję sobie sprawę z tego, że ten rodzaj błędu może być również generowany, jeśli całkowicie wyczerpaliśmy całkowitą liczbę i-węzłów dozwolonych w systemie plików, ale to jest jak duża liczba milionów i jestem całkiem pewien, że moja praca nie jest produkując tyle plików. Widziałem, że gdy próbuję utworzyć instancję EC2 niezależnie od typu m1.large, domyślnie przypisuje do niej wolumin główny o wielkości 8 GB. Czy może to być przyczyną dostarczania instancji również w EMR? Kiedy dyski o rozmiarze 420 GB zostaną przydzielone do instancji?

Również tutaj jest wyjście „df -hi” i „mount”

$ df -hi
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/xvda1              640K    100K    541K   16% /
tmpfs                   932K       3    932K    1% /lib/init/rw
udev                    930K     454    929K    1% /dev
tmpfs                   932K       3    932K    1% /dev/shm
ip-10-182-182-151.ec2.internal:/mapr
                        100G     50G     50G   50% /mapr

$ mount
/dev/xvda1 on / type ext3 (rw,noatime)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/var/run on /run type none (rw,bind)
/var/lock on /run/lock type none (rw,bind)
/dev/shm on /run/shm type none (rw,bind)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
ip-10-182-182-151.ec2.internal:/mapr on /mapr type nfs (rw,addr=10.182.182.151)
$ lsblk
NAME  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
xvda1 202:1    0    10G  0 disk /
xvdb  202:16   0   420G  0 disk 
xvdc  202:32   0   420G  0 disk

questionAnswers(1)

yourAnswerToTheQuestion