Come ottenere l'elenco di amici in comune tra una qualsiasi coppia di amici in rete che utilizzano pyspark

Question 1

Ho tre dischi come questo [('a1', ['b1', 'c1', 'd1', 'e1']), ('a2', ['b1', 'c2', 'd2', 'e1']),('a3', ['b1', 'c2', 'd1', 'e2'])] contenente l'id chiave come l'elenco dei valori per ogni tasto.

Voglio ottenere il numero totale di valori nell'elenco per ogni chiave in pyspark.
Come posso ottenere la lista degli amici in comune tra una qualsiasi coppia di demoni in pyspark.

Question 2

1 utilizzare Semplicemente l' size funzione.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilizzare il array_intersect funzione per ottenere il punto di intersezione degli allineamenti.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

过过招 · Answer 1 · 2021-11-24T02:39:00

1 utilizzare Semplicemente l' size funzione.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilizzare il array_intersect funzione per ottenere il punto di intersezione degli allineamenti.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

Come ottenere l'elenco di amici in comune tra una qualsiasi coppia di amici in rete che utilizzano pyspark

Domanda

Migliore risposta

In altre lingue

Questa pagina è in altre lingue

Popolare in questa categoria

Domande popolari in questa categoria