python教程—在给定稀疏矩阵数据的情况下,Python中计算余弦相似度最快的方法是什么?-Python实用宝典

python教程—在给定稀疏矩阵数据的情况下,Python中计算余弦相似度最快的方法是什么?

给定一个稀疏矩阵列表,计算矩阵中每一列(或行)之间余弦相似性的最佳方法是什么?我宁愿不迭代n- choice - 2次。

给定一个稀疏矩阵列表,计算矩阵中每一列(或行)之间余弦相似性的最佳方法是什么?我宁愿不迭代n- choice - 2次。

假设输入矩阵为:

    A= [0 1 0 0 1 0 0 1 1 1 1 1 0 1 0]

稀疏表示为:

    A = 0, 1 0, 4 1, 2 1, 3 1, 4 2, 0 2, 1 2, 3

在Python中,使用矩阵输入格式很简单:

    import numpy as np from sklearn.metrics import pairwise_distances from scipy.spatial.distance import cosine A = np.array( [[0, 1, 0, 0, 1], [0, 0, 1, 1, 1], [1, 1, 0, 1, 0]]) dist_out = 1-pairwise_distances(A, metric="cosine") dist_out

给:

    array([[ 1. , 0.40824829, 0.40824829], [ 0.40824829, 1. , 0.33333333], [ 0.40824829, 0.33333333, 1. ]])

对于全矩阵输入,这是可以的,但是我真的想从稀疏表示开始(由于矩阵的大小和稀疏性)。关于如何才能最好地实现这一点,您有什么想法吗?提前谢谢。

回答

您可以使用sklearn直接计算稀疏矩阵行上的成对余弦相似性。在0.17版本中,它还支持稀疏输出:

    from sklearn.metrics.pairwise import cosine_similarity from scipy import sparse A = np.array([[0, 1, 0, 0, 1], [0, 0, 1, 1, 1],[1, 1, 0, 1, 0]]) A_sparse = sparse.csr_matrix(A) similarities = cosine_similarity(A_sparse) print('pairwise dense output:n {}n'.format(similarities)) #also can output sparse matrices similarities_sparse = cosine_similarity(A_sparse,dense_output=False) print('pairwise sparse output:n {}n'.format(similarities_sparse))

结果:

    pairwise dense output: [[ 1. 0.40824829 0.40824829] [ 0.40824829 1. 0.33333333] [ 0.40824829 0.33333333 1. ]] pairwise sparse output: (0, 1) 0.408248290464 (0, 2) 0.408248290464 (0, 0) 1.0 (1, 0) 0.408248290464 (1, 2) 0.333333333333 (1, 1) 1.0 (2, 1) 0.333333333333 (2, 0) 0.408248290464 (2, 2) 1.0

如果你想要列余弦相似点,只需事先转置你的输入矩阵:

    A_sparse.transpose()

​Python实用宝典 (pythondict.com)
不只是一个宝典
欢迎关注公众号:Python实用宝典

本文由 Python实用宝典 作者:Python实用宝典 发表,其版权均为 Python实用宝典 所有,文章内容系作者个人观点,不代表 Python实用宝典 对观点赞同或支持。如需转载,请注明文章来源。
0

发表评论