Pierwsze „Brak miejsca na urządzeniu” przez ok. 10 GB danych w instancjach m1.large EMR
Podczas uruchamiania moich zadań Amazon EMR pojawia się błąd „Brak miejsca na urządzeniu” przy użyciu m1.large jako typu instancji dla instancji hadoop, które mają zostać utworzone przez przepływ pracy. Zadanie generuje ok. 10 GB danych na max i ponieważ pojemność instancji m1.large ma wynosić 420 GB * 2 (zgodnie z:Typy instancji EC2 ). Jestem zdezorientowany, jak tylko 10 GB danych może doprowadzić do wiadomości typu „pełne miejsce na dysku”. Zdaję sobie sprawę z tego, że ten rodzaj błędu może być również generowany, jeśli całkowicie wyczerpaliśmy całkowitą liczbę i-węzłów dozwolonych w systemie plików, ale to jest jak duża liczba milionów i jestem całkiem pewien, że moja praca nie jest produkując tyle plików. Widziałem, że gdy próbuję utworzyć instancję EC2 niezależnie od typu m1.large, domyślnie przypisuje do niej wolumin główny o wielkości 8 GB. Czy może to być przyczyną dostarczania instancji również w EMR? Kiedy dyski o rozmiarze 420 GB zostaną przydzielone do instancji?
Również tutaj jest wyjście „df -hi” i „mount”
$ df -hi Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 640K 100K 541K 16% / tmpfs 932K 3 932K 1% /lib/init/rw udev 930K 454 929K 1% /dev tmpfs 932K 3 932K 1% /dev/shm ip-10-182-182-151.ec2.internal:/mapr 100G 50G 50G 50% /mapr $ mount /dev/xvda1 on / type ext3 (rw,noatime) tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755) proc on /proc type proc (rw,noexec,nosuid,nodev) sysfs on /sys type sysfs (rw,noexec,nosuid,nodev) udev on /dev type tmpfs (rw,mode=0755) tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev) devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620) /var/run on /run type none (rw,bind) /var/lock on /run/lock type none (rw,bind) /dev/shm on /run/shm type none (rw,bind) rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw) ip-10-182-182-151.ec2.internal:/mapr on /mapr type nfs (rw,addr=10.182.182.151)
$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT xvda1 202:1 0 10G 0 disk / xvdb 202:16 0 420G 0 disk xvdc 202:32 0 420G 0 disk