本发明实施例提供自共轭矩阵的上三角部分存储装置和并行读取方法，所述装置包括：存储模块选择电路，用于选择待存取的自共轭矩阵上三角部分各元素对应的存储模块；地址生成电路，用于计算所述待存取的自共轭矩阵上三角部分各元素在其对应的存储模块中的逻辑地址；并行的m个存储模块，用于存储所述待存取的自共轭矩阵上三角部分各元素所对应的数据；数据混洗模块，用于对从所述存储模块中读取出的数据进行混洗操作；取共轭模块，用于对经过混洗后的数据进行旁路操作和取共轭操作。本发明实施例只需对自共轭矩阵的上三角部分进行存储，并支持并行读取并恢复自共轭矩阵的任意行向量和列向量，能充分利用硬件的并行计算单元，提高矩阵运算效率。