下面是小编为大家整理的一种解病态线性方程组的神经网络算法(共含10篇），仅供大家参考借鉴，希望大家喜欢，并能积极分享!同时，但愿您也能像本文投稿人“冰冰凉凉百果山”一样，积极向本站投稿分享好文章。
一种解病态线性方程组的神经网络算法
详细研究了求解病态线性方程组AX=b的神经网络算法,提出并证明了神经网络算法的收敛性定理,算法的收敛性定理为神经网络学习率的选择提供了理论依据.为了验证算法的有效性,给出了应用实例.研究结果表明了求解病态线性方程组的'神经网络算法是有效的.
作 者：陈内萍 CHEN Nei-Ping 作者单位：湖南商学院信息系,中国,长沙,410205 刊 名：湖南师范大学自然科学学报 ISTIC PKU英文刊名：JOURNAL OF NATURAL SCIENCE OF HUNAN NORMAL UNIVERSITY 年，卷(期)： 30(3) 分类号：O241.7 关键词：病态线性方程组 神经网络算法 收敛性 应用实例基于神经网络的病态线性方程组求解
提出了一种基于神经网络的病态线性方程组求解方法.将病态线性方程组的一般系数矩阵转化为对称正定矩阵,然后将此方程组的求解转化为一个无约束优化问题.以此优化问题的目标函数作为神经网络的`能量函数,利用最速下降原理构造神经网络的动力学方程,并证明该神经网络系统的稳定性.从而把原病态线性方程组的求解问题转化为一个等价的神经网络优化问题.最后通过两个算例的数值仿真求解以及与其他求解方法的比较,验证了该方法的可行性与有效性.
作 者：李海滨 尚凡华 LI Hai-bin SHANG Fan-hua 作者单位：内蒙古工业大学,理学院,内蒙古,呼和浩特,010051 刊 名：辽宁工程技术大学学报 ISTIC PKU英文刊名：JOURNAL OF LIAONING TECHNICAL UNIVERSITY 年，卷(期)：2007 26(6) 分类号：O241 关键词：病态线性方程组 动力学方程 神经网络 优化下面是一篇关于迭代法解线性方程组的论文,对正在写有关数学论文的写作者有一定的参考价值和指导作用!
摘 要:现实生活中许多数学模型都可以归结为解线性方程组,线性方程组的解法有很多种,其中数值分析中迭代法是比较重要的一种。本文利用系数矩阵A的对角线上元素的和给出了线性方程组Ax=b的一种新的迭代格式。
关键词:数值分析迭代法线性方程组
在工程技术、自然科学和社会科学中的许多问题最终都可归结为解线性方程组,因此线性方程组的求解对于解决实际问题是极其重要的。线性方程组的解法有很多种,其中数值分析中的迭代法是比较重要的一种。
Ax=b(其中A∈R,b∈R),(1)
经过变换构造出一个等价同解方程组:x=Mx+c,然后改写成Jacobi迭代式:
x=Mx+c(k=0,1,2,…),(2)
或者Gauss-Seidel迭代式:
x=Bx+Bx+c(k=0,1,2,…)(其中B+B=M),
选定初始向量:x=(x,x,…,x),反复不断地使用迭代式来构造一个序列:{x}(k=0,1,2,…)。如果{x}(k=0,1,2,…)收敛,它就是该方程组的近似解序列,否则它就没有实用价值。本文利用系数矩阵A的对角线上元素的和给出了系数为对称正定矩阵的线形方程组Ax=b的一种新的定常迭代格式,如果系数矩阵A为可逆的非正定矩阵,可以通过预处理转化为正定矩阵,令A:=AA,b:=Ab即可。且充分考虑加快计算速度。
一、收敛定理及证明
1.引理:如果M是一个n×n矩阵,对任意的n维向量c迭代格式(2)收敛的充分必要条件是ρ(M)<1,其中ρ(M)为矩阵的M谱半径。
证明见文献[1]。
2.定理1:如果A为对称正定n×n矩阵,则线形方程组Ax=b的迭代格式
x=[I-A]x+(3)
是收敛的。
证明见文献[3]。
对任意系数为正定矩阵的线性方程组,迭代格式(3)都是收敛的,因为收敛速度取决于迭代矩阵谱半径的大小,谱半径越小,收敛速度越快,谱半径越大,收敛速度越慢。但迭代格式(3)只能保证迭代矩阵的谱半径小于1,如果迭代矩阵的谱半径非常接近1,其收敛速度是非常慢的。
下面通过在迭代格式(3)中引入一个因子来改进收敛速度。
构造迭代格式:
{y=[I-A]x+b(4)
或者与(4)等价的迭代格式:
x=[I-A]x+b(5)
3.定理2:如果A为对称正定n×n矩阵,则线性方程组Ax=b的迭代格式(5)是收敛的。
证明:设λ(i=1,2,…,n)为A的n个特征值,因为A是对称正定矩阵,所以λ>0(i=1,2,…,n),λ+λ+…+λ=a+a+…+a。
I-A的n个特征值为1-(i=1,2,…,n),
显然-1<1-<1(i=1,2,…,n),
这样有ρ[I-A]<1,由引理知迭代格式(5)是收敛的。
如果正定线性方程组Ax=b的系数矩阵特征值的分布相对比较集中,还可以进一步对定理2的迭代格式进行改进,以加快计算速度。
当系数矩阵的特征值分布比较集中时,(i=1,2,…,n)近似等于,
即A的特征值近似等于。
构造迭代格式:
{y=[I-A]x+b(6)
或者与(6)等价的迭代格式:
x=[I-A]x+b(7)
因为当系数矩阵的特征值分布比较集中时,(i=1,2,…,n)近似等于,这时迭代格式(7)的'迭代矩阵[I-A]的谱半径就与0非常接近,从而使得收敛速度极快。
4.定理3:迭代格式(7)收敛的充分必要条件是:
<,i=1,2,…,n(8)
证明:迭代格式(7)收敛的充分必要条件是其迭代矩阵I-A的谱半径小于1,
而矩阵I-A的谱半径小于1的充分必要条件是:
<2,即<,i=1,2,…,n。
5.推论1:迭代格式(7)收敛的充分条件是λ≤2λ。
证:因为λ≤2λ,所以得到:<,i=1,2,…,n,
即迭代格式(7)是收敛的。
二、实验结果
在特征值分布比较集中时,分别用迭代格式(7)对应的算法(iterativen函数)与Gauss_seidel迭代算法、Cholesky分解算法对系数矩阵的阶数J=100,200,500,1000的4个线性方程组进行计算,对所耗时间进行比较,结果如下表:
Iterativen,Gauss_seidel,Cholesky算法耗时比较表
虽然Gauss_seidel算法的迭代次数比Iterativen算法少,但是Gauss_seidel算法在求逆的过程中浪费了大量的时间。当系数矩阵的特征值比较集中时,Iterativen算法要远远优于其他2种方法。
参考文献:
[1]Kelley C T.Iterative Methods for Linear and Nonlinear Equations[M].Philade-lphia U.S.A:SIAM,1995.
[2]张传林.数值方法[M].北京:中国科学文化出版社,:80-150.
[3]戈卢布・G.H,范洛恩・C.F著.袁亚湘译.矩阵计算[M].北京:科学出版社,.
[4]许波,刘征.Matlab工程数学应用[M].北京:清华大学出版社,.
[5]James W Demmel.Applied Numerical Linear Algebra[M].Philadelphia U.S.A:SIAM,.
刘勇
(大连交通大学理学院 辽宁大连 116028)
摘 要:本文对非齐次线性方程组进行了深入的讨论,并给出了另一种刻画非齐次线性方程组解的结构的方法,即只用自身的有限个解来表示全部的解。从而使非齐次线性方程组解的结构更加完善。关键词:线性方程组 线性无关 解的结构中图分类号:G642文献标识码:A文章编号:1674-098X12(b)-0033-01
线性方程组理论是线性代数最基本的内容之一,它在数学的各个领域及其他学科的各个分支都有着广泛的应用。研究线性方程组解之间的关系及解的结构是线性方程组理论的核心内容。齐次线性方程组解的结构可以通过自身的有限个解来表示其全部解。而在一般的线性代数教材中关于非齐次线性方程组解的结构则是借助于它的'导出方程组的基础解系和它自身的一个解来表示。那么,非齐次线性方程组能否也像齐次线性方程组一样也用其自身的解来表示全部解呢？这是我们要讨论的问题。
设数域P上的线性方程组为
AX=B (1)对应齐次方程组可表为
AX=0 (2)若令α1,α2,L,αn为A的列向量则(1)还可表为x1α1+x2α2+L+xnαn=B,显然方程组(1)有解的充要条件是B可由α1,α2,L,αn线性表示。
在解决线性方程组有解的判定之后,进一步讨论线性方程组解的结构问题。在线性方程组解是唯一的情况下当然不存在什么结构问题。有许多解的情况下,第一文库网所谓的解的结构问题就是解与解之间的关系问题。同样分两种情况:1.B=O
定理1设齐次线性方程组(2)有非零解即r(A)=r
定理2(齐次线性方程组解的结构定理)设齐次线性方程组(2)中,r(A)=r
2.B≠O
定理3(非齐次线性方程组解的结构定理)设非齐次线性方程组(1)中,
r(A)=r(A
%)=r
是非齐次线性方程组(1)的
导出η1方,η2程,L组,ηn(2)?r
的一个基础解系,那么非齐次线性方程组(1)的全部解为
γ0+k1η1+k2η2+L+kn?rη,
n?r
其中k1,k2,L,kn?r∈P。
r(A)=r(A
上述3个定理在一般的线性代数教材%)=r
如果γ1,γ2,L,γn?r+1是它的n?r+1个线现在,我们比较上述两种情况,齐次线性无关解,那么非齐次线性方程组(1)的全性方程组解的结构是通过自身有限个解来部解为:γ=k1γ1+k2γ2+L+kn?r+1γn?r+1,其表示全部解的,而非齐次线性方程组解的中k1+k2+L+kn?r+1=1。
结构则是通过导出方程组的基础解系和它这样,关于非齐次线性方程组解的结自身的一个解来表示的。那么,非齐次线性构我们有定理3和定理4两种表达形式。可方程组是否也可以用自身的有限个解表示以证明两个定理是等价的。
全部解呢？我们构想非齐次线性方程组(1)在有无穷多解时的另一种解的结构。
参考文献
引理1设非齐次线性方程组(1)有无穷
[1]陈志杰著.高等代数与解析几何[M].北
多解,即r(A)=r(A
%)=r
n?r+1个线性无关解。
[2]王德生著.高等代数与解析几何习题解
引理2设非齐次线性方程组(1)中
析[M].大连:辽宁师范大学出版社,2002.
r(A)=r(A
%)=r
如果γ1,γ2,L,γn?r+1是它的n?r+1个线育出版社,1994.
性无关解,则当k1+k2+L+kn?r+1=1时,
[4]蔡光兴著.线性代数[M].北京:科学出
γ=k1γ1+k2γ2+L+kn?r+1γn?r+1是非齐次线性
版社,2002.
方程组(1)的一个解。
引理3设非齐次线性方程组(1)满足r(A)=r(A
%)=r
程组(1)的任意一个解γ都是γ1,γ2,L,γn?r+1的线性组合:γ=k1γ1+k2γ2+L+kn?r+1γn?r+1,其中k1+k2+L+kn?r+1=1。
从引理1与引理3可以得到以下的结论:
非齐次线性方程组(1)中r(A)=r(A%)=r
η1,η2,L,ηn?r是齐次线性方程组(2)的一个基
础解系,则γ0,γ0+η1,γ0+η2,…,γ0+ηn?r线性无关且非齐次线性方程组(1)的任意解
可表示为:
nr
γ=k?0γ0+∑ki(γ0+ηi)i=1
,
其中k0+k1+L+kn?r=1
这并不是一个一般的结论。
现在,把上面这个结论进一步深化我们就得到了非齐次线性方程组在有无穷多解的时候如何用自身的有限个解来表示它全部解的方法。
定理4 (非齐次线性方程组解的结构定理)设非齐次线性方程组(1)中,
科技创新导报 Science and Technology Innovation Herald33
线性方程组的解的结构
本文对非齐次线性方程组进行了深入的讨论,并给出了另一种刻画非齐次线性方程组解的`结构的方法,即只用自身的有限个解来表示全部的解.从而使非齐次线性方程组解的结构更加完善.
作 者：刘勇 作者单位：大连交通大学理学院,辽宁大连,116028 刊 名：科技创新导报 英文刊名：SCIENCE AND TECHNOLOGY INNOVATION HERALD 年，卷(期)：2009 “”(35) 分类号：G642 关键词：线性方程组 线性无关 解的结构分层神经网络分类算法
提高遥感图像分类精度一直是受到普遍关注的`焦点问题.近年来,人工神经网络技术和分层处理技术由于它们的许多优点受到广泛欢迎.本文把这两种技术结合起来,提出了分层神经网络的概念,并基于此设计了一种分层神经网络分类算法.通过与最大似然法的对比实验表明,这种分层神经网络分类算法可以明显地提高分类精度,并对不规则分布的复杂数据具有很强的处理能力.
作 者：熊桢 郑兰芬 童庆禧 XIONG Zhen ZHENG Lan-fen TONG Qing-xi 作者单位：中国科学院,遥感信息科学开放研究实验室,北京,100101 刊 名：测绘学报 ISTIC EI PKU英文刊名：ACTA GEODAETICA ET CARTOGRAPHICA SINICA 年，卷(期)： 29(3) 分类号：P237 关键词：分层处理 神经网络 遥感图像分类 分类精度一种基于L-M算法的组合神经网络模糊控制器
提出了一种基于L-M算法的神经网络模糊控制器.用两个相同的三层前向神经网络①和②来生成E和EC的'隶属度,用三层前向神经网络③来实现模糊控制规则并生成控制输出,经过研究和对比选择了对于这3个网络来说最好的训练算法Levenberg-Marquardt算法.仿真结果表明了该控制器极好的控制性能.
作 者：尹志宇 李青茹 李文娜 马龙生 YIN Zhi-yu LI Qing-ru LI Wen-na MA Long-sheng 作者单位：尹志宇,李青茹,李文娜,YIN Zhi-yu,LI Qing-ru,LI Wen-na(河北师范大学物理学院,河北,石家庄,050016)马龙生,MA Long-sheng(燕山大学信息科学与工程学院,河北,秦皇岛,066004)
刊 名：电光与控制 ISTIC PKU英文刊名：ELECTRONICS OPTICS & CONTROL 年，卷(期)： 13(1) 分类号：V271.4 O159 关键词：模糊控制 神经网络 L-M算法一、概述
三对角线性方程组的求解是许多科学和工程计算中最重要也是最基本的问题之一。在核物理、流体力学、油藏工程、石油地震数据处理及数值天气预报等许多领域的大规模科学工程和数值处理中都会遇到三对角系统的求解问题。很多三对角线性方程组的算法可以直接推广到求解块三对角及带状线性方程组。由于在理论和实际应用上的重要性，近来三对角方程组的并行算法研究十分活跃。
大规模科学计算需要高性能的并行计算机。随着软硬件技术的发展，高性能的并行计算机日新月异。现今，SMP可构成每秒几十亿次运算的系统，PVP和COW可构成每秒几百亿次运算的系统，而MPP和DSM可构成每秒万亿次运算或更高的系统。
高性能并行计算机只是给大型科学计算提供了计算工具。如何发挥并行计算机的潜在性能和对三对角系统进行有效求解，其关键在于抓住并行计算的特点进行并行算法的研究和程序的设计与实现。另外，对处理机个数较多的并行计算系统，在设计并行算法时必须解决算法的可扩展性，并对可扩展性进行研究和分析。
二、问题的提出
AX=Y（1）
式中：A∈Rn×n非奇异，αij=0，。X=(x1，x2，…xn)TY=(y1，y2，…yn）T。
此系统在许多算法中被提出，因此研究其高性能并行算法是很有理论和实际意义的。
三、并行求解三对角系统的直接解法
关于三对角线性方程组的直接求解已经有大量并行算法，其中Wang的分裂法是最早针对实际硬件环境，基于分治策略提出的并行算法。它不仅通信结构简单，容易推广到一般带状线性方程组的并行求解，而且为相继出现的许多其它并行算法提供了可行的局部分解策略。
近20年来求解三对角方程组的并行算法都是基于分治策略，即通过将三对角方程组分解成P个小规模问题，求解这P个小规模问题，再将这些解结合起来得到原三对角方程组的解。一般求解三对角方程组的分治方法的计算过程可分为3个阶段：一是消去，每台处理机对子系统消元；二是求解缩减系统（需要通信）；三是回代，将缩减系统的解回代到每个子系统，求出最终结果。具体可分为以下几类：
（一）递推耦合算法（RecursiveDoubling）
由Stone于1975年提出，算法巧妙地把LU分解方法的时序性很强的递推计算转化为递推倍增并行计算。D.J.Evans对此方法做了大量研究。P.Dubois和G.Rodrigue的研究表明Stone算法是不稳定的。
（二）循环约化方法（CyclicReduction）
循环约化方法由Hockey和G.Golub在1965年提出，其基本思想是每次迭代将偶数编号方程中的奇变量消去，只剩下偶变量，问题转变成求解仅由偶变量组成的规模减半的新三对角方程组。求解该新方程组，得到所有的偶变量后，再回代求解所有的奇变量。即约化和回代过程。由于其基本的算术操作可以向量化，适合于向量机。此方法有大量学者进行研究，提出了许多改进的方法。例如，Heller针对最后几步的短向量操作提出了不完全循环约化方法；R.Reulter结合IBM3090VF向量机的特点提出了局部循环约化法；P.Amodio针对分布式系统的特点改进了循环约化方法；最近针对此方法又提出对三对角方程组进行更大约化步的交替迭代策略。
（三）基于矩阵乘分解算法
将系数矩阵A分解成A=FT，方程Ax=b化为Fy=b和Tx=y两个方程组的并行求解。这种算法又可以分为两类：
1.分解。
如Wang的分裂法及其改进算法就属于这一类。P.Amodio在1993年对这类算法进行了很好的总结，用本地LU、本地LUD和本地循环约化法求解，并在1995年提出基于矩阵乘分解的并行QR算法。H.Michielse和A.VanderVorst改变Wang算法的消元次序，提出了通信量减少的算法。李晓梅等将H.Michielse和A.VanderVorst算法中的通信模式从单向串行改为双向并行，提出DPP算法，是目前最好的三对角方程组分布式算法之一。2000年骆志刚等中依据DPP算法，利用计算与通信重叠技术，减少处理机空闲时间取得了更好的并行效果。此类算法要求解P-1阶缩减系统。
2.不重叠分解。
例如Lawrie&Sameh算法、Johsoon算法、Baron算法、Chawla在1991年提出的WZ分解算法以及Mattor在1995年提出的算法都属于这一类。此类算法要求解2P-2阶缩减系统。
（四）基于矩阵和分解算法
将系数矩阵分解成A=Ao+△A，这类算法的共同特点是利用Sherman&Morrison公式将和的逆化为子矩阵逆的和。按矩阵分解方法，这种算法又可分为两类：
1.重叠分解。
这类算法首先由Mehrmann在1990年提出，通过选择好的分解在计算过程中保持原方程组系数矩阵的结构特性，具有好的数值稳定性，需要求解P-1阶缩减系统。
2.不重叠分解。
Sun等在1992年提出的并行划分LU算法PPT算法和并行对角占优算法PDD算法均属于这一类。需要求解2P-2阶缩减系统。其中PDD算法的通讯时间不随处理机的变化而变化，具有很好的可扩展性。X.H.Sun和W.Zhang在2002年提出了两层混合并行方法PTH，其基本思想是在PDD中嵌入一个内层三对角解法以形成一个两层的并行，基本算法是PDD，三对角系统首先基于PDD分解。PTH算法也具有很好的可扩展性。
四、并行求解三对角系统的迭代解法
当稀疏线性方程组的系数矩阵不规则时，直接法在求解过程中会带来大量非零元素，增加了计算量、通信量和存储量，并且直接法不易并行，不能满足求解大规模问题的需要。因此通常使用迭代法来求解一般系数线性方程组和含零元素较多三对角线性方程组。迭代法包括古典迭代法和Krylov子空间迭代法。
古典迭代法包括Jacobi、Gauss-Seidel、SOR、SSOR等方法。通常采用红黑排序、多色排序和多分裂等技术进行并行计算。
由于古典迭代法有收敛速度慢、并行效果不好等缺点，目前已较少用于直接求解大型稀疏线性方程组，而是作为预条件子和其它方法（如Krylov子空间方法）相结合使用。
Krylov子空间方法具有存储量小，计算量小且易于并行等优点，非常适合于并行求解大型稀疏线性方程组。结合预条件子的Krylov子空间迭代法是目前并行求解大型稀疏线性方程组的最主要方法。
给定初值X0，求解稀疏线性方程组AX=Y。设Km为维子空间，一般投影方法是从m维仿射子空间X0+Km中寻找近似解Xm使之满足Petrov-Galerkin条件：
Y-AXm┻Lm
其中Lm为另一个维子空间。如果Km是Krylov子空间，则上述投影方法称为Krylov子空间方法。Krylov子空间Km(A，r0)定义为：
Km(A，r0)=span{r0，Ar0，A2r0，…，Am-1r0}
选取不同的Km和Lm就得到不同的Krylov子空间方法。主要算法包括四类：基于正交投影方法、基于正交化方法、基于双正交化方法、基于正规方程方法。
Krylov子空间迭代法的收敛速度依赖于系数矩阵特征值的分布，对于很多问题，直接使用迭代法的收敛速度特别慢，或者根本不收敛。因此使用预条件改变其收敛性，使中断问题可解，并加速收敛速度是需要的。目前人们研究的预条件技术可分为四类：采用基于矩阵分裂的古典迭代法作为预条件子、采用不完全LU分解作预条件子、基于系数矩阵近似逆的预条件子、结合实际问题用多重网格或区域分解作预条件子。对Krylov子空间和预条件Krylov子空间方法有详细的讨论。
预条件Krylov子空间方法的'并行计算问题一直是研究热点，已提出了一系列好的并行算法。目前预条件Krylov子空间方法的计算量主要集中在矩阵向量乘上。虽然学者们做了大量的研究工作，但是还没找到效果好，又易于并行的预条件子。
需要特别指出的是，对于一般线性代数方程组的并行求解，其可扩展并行计算的研究已相对成熟，并已形成相应的并行软件库，如美国田纳西亚州立大学和橡树岭国家实验室研制的基于消息传递计算平台的可扩展线性代数程序库ScaLAPACK和得克萨斯大学开发的界面更加友好的并行线性代数库PLAPACK。我们借鉴其研究成果和研究方法，对三对角线性方程组并行算法的研究是有帮助的。
五、结语
三对角线性方程组的直接解法，算法丰富，程序较容易实现。但计算过程要增加计算量，并且大部分算法都对系数矩阵的要求比较高。迭代解法适合于非零元素较多的情况，特别是结合预条件子的Krylov子空间迭代法已成为当前研究的热点。
尽管三对角系统并行算法的研究取得了很多成果。但是还存在一些问题：直接法中，分治策略带来计算量和通信量的增加，如何减少计算量和通信量有待于进一步的研究；目前直接算法均基于分治策略，如何把其它并行算法设计技术，如平衡树和流水线等技术应用到三对角系统的并行求解中也是需要引起重视的方向；对于非对称系统还没找到一种通用的Krylov子空间方法；Krylov子空间方法的并行实现时仅考虑系数矩阵与向量乘，对其它问题考虑不够；以往设计的并行算法缺乏对算法可扩展性的考虑和分析。
【参考文献】
[1]骆志刚，李晓梅，王正华.三对角线性方程组的一种有效分布式并行算法[J].计算机研究与发展，2000，（7）
★ 百度算法面试题
★ 排序算法总结
★ 解聘书
★ 年终奖个税算法
