Bonjour

j'ai ce simple programme wordcount.py

import sys
from pyspark import SparkContext

sc = SparkContext()
lines = sc.textFile(sys.argv[1])
word_counts = lines.flatMap(lambda line: line.split(' ')) \
                   .map(lambda word: (word, 1)) \
                   .reduceByKey(lambda count1, count2: count1 + count2) \
                   .collect()

for (word, count) in word_counts:
    print(word, count)

et un fichier texte.txt

je peux executer le code selon la méthode 1 ci-dessous:

méthode 1

j'installe PySaprk depuis leur site web, j'ai donc le dossier spark-3.4.0-bin-hadoop3 dans mon dossier de travail

puis je fais

./spark-3.4.0-bin-hadoop3/bin/spark-submit ./wordcount.py ./text.txt

ok ca marche. par contre, si j'essaye cette méthode 2:

j'installe PySaprk depuis leur site web, j'ai donc le dossier spark-3.4.0-bin-hadoop3 dans mon dossier de travail

puis je fais

python./wordcount.py ./text.txt

j'ai une erreur car il ne connait pas le module pyspark alors j'ai bien installe PySaprk depuis leur site web,

d'ailleurs si je retente

./spark-3.4.0-bin-hadoop3/bin/spark-submit ./wordcount.py ./text.txt

 ca remarche.

On ne peut pas lancer ca?

python./wordcount.py ./text.txt

pourtant, je sais que des personnes bossent sur jupyternotebook et quand is lancent leur notebook ca fonctionne bien.
or lancer un notebook revient à faire :

python./wordcount.py ./text.txt

 non?

une explication?

-
Edité par marietartois 6 mai 2023 à 12:40:31