* duży * słownik Pythona z pamięcią trwałości do szybkiego wyszukiwania
Mam 400 milionów linii unikalnych informacji o kluczowej wartości, które chciałbym udostępnić do szybkiego przeglądania w skrypcie. Zastanawiam się, jaki byłby sprytny sposób na zrobienie tego. Rozważyłem poniższe, ale nie jestem pewien, czy istnieje sposób na mapowanie dysku słownikiem i bez używania dużej ilości pamięci, z wyjątkiem tworzenia słownika.
obiekt słownika marynowanego: nie jestem pewien, czy jest to optymalne rozwiązanie mojego problemuDbazy typu NoSQL: najlepiej jest mieć coś, co ma minimalną zależność od rzeczy innych firm, a wartość klucza to po prostu liczby. Jeśli uważasz, że to nadal najlepsza opcja, chciałbym to także usłyszeć. Może to mnie przekona.Daj mi znać, jeśli coś nie jest jasne.
Dzięki! -Abhi