kiedy Python przydziela nową pamięć dla identycznych ciągów?
Dwa ciągi Pythona o tych samych znakach, a == b, mogą współdzielić pamięć, id (a) == id (b), lub mogą być w pamięci dwa razy, id (a)! = Id (b). Próbować
ab = "ab"
print id( ab ), id( "a"+"b" )
Tutaj Python rozpoznaje, że nowo utworzony „a” + „b” jest taki sam jak „ab” już w pamięci - nieźle.
Rozważ teraz N-długą listę nazw stanów [„Arizona”, „Alaska”, „Alaska”, „California” ...] (w moim przypadku N ~ 500000).
Widzę 50 różnych id () s ⇒ każdy ciąg „Arizona” ... jest przechowywany tylko raz, dobrze.
ALE napisz listę na dysk i przeczytaj ją ponownie: „ta sama” lista ma teraz N różnych id () s, więcej pamięci, patrz poniżej.
Jak to możliwe - czy ktoś może wyjaśnić alokację pamięci ciągów Pythona?
""" when does Python allocate new memory for identical strings ?
ab = "ab"
print id( ab ), id( "a"+"b" ) # same !
list of N names from 50 states: 50 ids, mem ~ 4N + 50S, each string once
but list > file > mem again: N ids, mem ~ N * (4 + S)
"""
from __future__ import division
from collections import defaultdict
from copy import copy
import cPickle
import random
import sys
states = dict(
AL = "Alabama",
AK = "Alaska",
AZ = "Arizona",
AR = "Arkansas",
CA = "California",
CO = "Colorado",
CT = "Connecticut",
DE = "Delaware",
FL = "Florida",
GA = "Georgia",
)
def nid(alist):
""" nr distinct ids """
return "%d ids %d pickle len" % (
len( set( map( id, alist ))),
len( cPickle.dumps( alist, 0 ))) # rough est ?
# cf http://stackoverflow.com/questions/2117255/python-deep-getsizeof-list-with-contents
N = 10000
exec( "\n".join( sys.argv[1:] )) # var=val ...
random.seed(1)
# big list of random names of states --
names = []
for j in xrange(N):
name = copy( random.choice( states.values() ))
names.append(name)
print "%d strings in mem: %s" % (N, nid(names) ) # 10 ids, even with copy()
# list to a file, back again -- each string is allocated anew
joinsplit = "\n".join(names).split() # same as > file > mem again
assert joinsplit == names
print "%d strings from a file: %s" % (N, nid(joinsplit) )
# 10000 strings in mem: 10 ids 42149 pickle len
# 10000 strings from a file: 10000 ids 188080 pickle len
# Python 2.6.4 mac ppc
Dodano 25jan:
W pamięci Pythona istnieją dwa rodzaje łańcuchów (lub dowolnych programów):
intern(astring) umieszcza astring w Ucache (Alex +1); poza tym nic nie wiemy o tym, jak Python przenosi Ostrings do Ucache - jak „a” + „b” dostało się po „ab”? („Ciągi z plików” jest bez znaczenia - nie ma sposobu na poznanie.)
W skrócie, Ucaches (może być ich kilka) pozostają mętne.
Przypis historyczny:SPITBOL unikalne wszystkie ciągi ca. 1970.