Bonjour, comment compresser un objet en python ?, en regardant sur la doc, j'ai ceci:

import cPickle
import zlib

obj=monobjet
compressed = zlib.compress(pickle.dumps(obj))

Se serait pour réduire l'impacte mémoire pour que cpikle puisse pikler un gros objet (sans avoir de memory error)

Ca ne marchera pas étant donné qu'avant d'appeler zlib.compress, il va devoir appeler pickle.dumps(objet) qui lui apparemment te cause un problème mémoire.

L'idée serait plutôt de morceler ton objet.

-
Edité par Dan737 18 mai 2015 à 12:33:06

Comme le dit Dan737, pickle.dump créer une chaîne de bytes contenant l'objet sérialisé et la MemoryError arrive quand cette chaîne est trop longue. Donc l'erreur se déclenchera avant que zlib.compress ne la reçoive.

Quel est cet objet si imposant en taille ? Une liste ? Si c'est ça, le plus simple est de pickler les éléments de la liste un à un dans ton fichier :

# pickling...
with open(FILENAME, "wb") as file:
    for element in LIST:
        pickle.dump(element, file)

# unpickling...
with open(FILENAME, "rb") as file:
    ls = []
    try:
        while True:
            ls.append(pickle.load(file))
    except EOFError:
        pass

J'ai pas testé, mais l'idée est là.

Oui c'est effectivement une liste de liste,

Je n'y ai pas penser car je croyait que pickle ne pouvais crée qu'un fichier/donnée, d’après le code de celton (pas encore testé, je tente cette après midi), on peut décomposer le dump, se qui pourrais donc régler mon problème, assez simplement.

Et sur Stackoverflow t'as même un exemple qui charge tes objets un à un, vu que c'est un générateur. Enfin à toi de voir ce qui est nécessaire.

Il y'a un léger mieux, mais parfois c'est pas encore suffisant.

Je pense donc que la solution serait de faire passer un élément de la liste de la liste a la fois.

import _pickle as pickle
import os 

FILENAME="test.tmp"
LIST=[1,2,3,4,5,6,7,8,9]
list2=[LIST,LIST,LIST,LIST]

# pickling...
with open(FILENAME, "wb") as file:
	for i in range(0,len(list2)):
		for element in list2[i]:
			pickle.dump(element, file)

		
os.system("pause")
	
	

# unpickling...
with open(FILENAME, "rb") as file:
    ls = []
    try:
        while True:
            ls.append(pickle.load(file))
    except EOFError:
        pass
		
print(ls[0])

Pour le pikler sa marche très bien, mais c'est pour recomposer la liste que sa plante, comment lui dire que les 9 premier éléments sont a la liste1 ?
J'ai penser a stocker la tailles de chaque liste dans une liste.... mais sa vas encore consommer de la ram.

-
Edité par zearte 19 mai 2015 à 10:51:07

Avant de continuer à parler de Pickle, dis-nous que fait ton programme exactement, à quoi il sert ? Et surtout, que contiennent ces listes et à quoi elles servent ?

Soit ton programme est mal conçu, sauf cas précis, il n'est pas normal d'avoir des listes qui consomment autant de mémoire. Soit Pickle n'est pas la solution pour sauvegarder leurs contenus, et il faudra voir du côté de SQLite, par exemple.

Ceci dit, si tu tiens obstinément à rester sur du pickling, c'est à toi de déterminer comment structurer ton fichier pour pouvoir lire et écrire dedans à ta guise.

Il ne faut pas stocker mais écrire dans le fichier la taille de tes sous-listes.

!/usr/bin/env python3

-- encoding: utf-8 --

import pickle

FILENAME = "test.tmp" LIST = list(range(1, 10)) list2 = [LIST, LIST, LIST, LIST]

pickling...

with open(FILENAME, "wb") as file:

for sub_list in list2:
    pickle.dump(len(sub_list), file)
    for element in sub_list:
        pickle.dump(element, file)

     

input('Les données sont sauvegardées. Pressey ENTER pour les charger')

unpickling...

with open(FILENAME, "rb") as file:

loaded_list = []
try:
    while True:
        sub_list = []
        sub_list_size = pickle.load(file)
        for _ in range(sub_list_size):
            sub_list.append(pickle.load(file))
        loaded_list.append(sub_list)
except EOFError:
    pass
     

print(loaded_list)

li = list(range(10))
for i in range(len(li)):

print(li[i]) # Beurk

for element in li:

print(element) # Ah, là c'est mieux!

-
Edité par Dan737 19 mai 2015 à 12:02:18