最近在做轨迹大数据的相关工作,在建模的时候发现状态转移矩阵非常巨大,size = 6w * 5 * 6w ,创建时直接内存报错,矩阵是稀疏矩阵,有什么好的方法可以解决吗?
2个回答
6w * 5 * 6w?张量还是矩阵?
如果稀疏的,应该有对应的稀疏表达
很多处理方式都是跟具体的编程语言相关的
SofaSofa数据科学社区DS面试题库 DS面经
张量,主要是没找到稀疏的三维张量的表达方式,不知道该查什么内容,倒是很多稀疏矩阵的定义方式
-
mamazi
2019-04-22 10:56
tensorflow有稀疏tensor。python里也有稀疏矩阵的表达。
-
Zealing
2019-04-22 11:45
多谢
-
mamazi
2019-04-22 12:22
scipy里有相应的稀疏矩阵函数,参见https://docs.scipy.org/doc/scipy/reference/sparse.html
另外,matlab里也有相应的函数。稀疏矩阵的存储有专门的算法,因为稀疏,所以很多值不用存储。
SofaSofa数据科学社区DS面试题库 DS面经