音像计算电磁学中的超大规模并行矩量法张玉 等 著

章矩量法与场积分方程1
1.1矩量法简介1
1.1.1矩量法的数学原理1
1.1.2矩量法求解算子方程实例3
1.2电磁场基本理论6
1.2.1麦克斯韦方程组6
1.2.2时谐场的复数表示法7
1..电流连续方程
1.2.4媒质本构方程9
1.2.5边界条件10
1.2.6矢量波动方程11
1.2.7位函数理论12
1.2.8玻印廷定理
1.2.9对偶原理25
1.2.10定理27
1.2.11洛伦兹互易定理29
1.2.12等效原理30
1.3面积分方程32
1.3.1理想导体表面积分方程32
1.3.2两区域介质表面PMCHW积分方程37
1.3.3多区域任意复杂结构的积分方程40
1.4激励源43
1.4.1平面波43
1.4.2电压源44
1.4.3磁流源44
1.4.4导波场源45
1.4.5激励源的对称52
1.5小结55
参考文献55
第2章RWG基函数矩量法57
2.1几何建模57
2.2RWG基函数58
.电场积分方程的矩量法解60
..1矩阵方程构建60
..2矩阵元素的积分计算62
..低阶奇异积分的解析处理62
2.4磁场积分方程的矩量法解68
2.4.1矩阵方程构建68
2.4.2矩阵元素的积分计算70
2.4.3高阶奇异积分的解析处理70
2.5PMCHW积分方程的矩量法解76
2.5.1矩阵方程构建77
2.5.2矩阵元素的积分计算78
2.6EFIE+PMCHW方程的矩量法解79
2.7数值算例80
2.7.1EFIE与MFIE矩量法分析散问题80
2.7.2PMCHW矩量法分析散问题81
2.7.3微带结构的散82
2.7.4EFIE矩量法分析波端口问题82
2.8小结85
参考文献86
第3章高阶基函数矩量法87
3.1几何建模87
3.1.1线结构的截锥体建模87
3.1.2面结构的双线曲面建模88
3.2高阶基函数89
3.2.1细导线上电流的展开89
3.2.2双线曲面上电流的展开90
3.3矩阵方程构建93
3.3.1细导线的检验过程93
3.3.2双线曲面的检验过程95
3.4数值算例98
3.4.1平面波激励98
3.4.2矩形波端口激励99
3.4.3圆形波端口激励102
3.4.4同轴激励104
3.5高阶基函数矩量法与RWG基函数矩量法的比较107
3.5.1微带贴片阵列107
3.5.2X波段波导缝隙天线阵109
3.5.3Ka波段波导缝隙天线110
3.6小结111
参考文献111
第4章矩阵方程求解112
4.1直接解法112
4.1.1基于LU分解的矩阵方程求解方法112
4.1.2LU分解算法113
4.1.3分块LU分解算法118
4.1.4分块LU分解算法并行实现124
4.2线数学库140
4.2.1线代数库简介140
4.2.2OpenBLAS和矩阵乘法优化143
4.3并行分块LU分解算法的参数优化144
4.3.1分块大小144
4.3.2进程网格146
4.4并行分块LU分解算法能测试149
4.4.1随机矩阵LU分解能测试149
4.4.2矩量法矩阵LU分解能测试151
4.5迭代解法157
4.5.1共轭梯度法157
4.5.2广义余量法158
4.5.3块对角预条件159
4.5.4基函数邻居预条件160
4.5.5并行迭代解法161
4.6迭代求解器能分析161
4.6.1预条件加速RWG基函数MLFMA迭代求解161
4.6.2预条件加速正弦基函数矩量法矩阵方程求解163
4.6.3预条件加速屋顶基函数矩量法矩阵方程求解167
4.7小结169
参考文献169
第5章超大规模并行矩量法172
5.1并行矩量法矩阵填充172
5.1.1RWG基函数矩量法的并行矩阵填充172
5.1.2高阶基函数矩量法的并行矩阵填充182
5.2并行矩量法能评估183
5.2.1并行RWG基函数矩量法的能评估183
5.2.2并行高阶基函数矩量法的能评估187
5.3数值算例204
5.3.1波导缝隙天线阵列辐特204
5.3.2微带天线阵列辐特205
5.3.3机载八木天线阵列的辐特207
5.3.4机载微带天线阵列的辐特210
5.4小结2
参考文献2
第6章并行核外高阶基函数矩量法224
6.1并行核外算法的矩阵分布224
6.2并行核外高阶基函数矩量法矩阵填充方案225
6.3核外LU分解算法226
6.3.1核外LU分解算法的I/O分析226
6.3.2核外Left-LookingLU分解算法设计0
6.3.3核外One-SlabLeft-LookingLU分解算法设计
6.4并行核外LU分解算法的程序实现
6.5基于核外LU分解的矩阵方程求解方法
6.6并行核外LU分解算法的参数优化240
6.7能监测242
6.8数值算例247
6.8.1飞机的散特247
6.8.2波导缝隙阵天线的辐特250
6.8.3微带阵列天线的辐特251
6.8.4机载伞形印刷振子天线阵列的辐特252
6.9小结255
参考文献256
第7章基于RWG基函数矩量法的并行多层快速多极子257
7.1自由空间多层快速多极子方法257
7.1.1自由空间格林函数的加法定理和平面波展开理论258
7.1.2自由空间快速多极子方法259
7.1.3自由空间多层快速多极子方法261
7.2半空间多层快速多极子方法263
7.2.1半空间混合场积分方程264
7.2.2半空间MLFMA近相互作用266
7..半空间MLFMA远相互作用267
7.2.4半空间MLFMA的矩阵向量乘积270
7.3并行半空间多层快速多极子方法272
7.3.1矩阵向量乘积的数据分配方案272
7.3.2半空间MLFMA的自适应划分策略272
7.4并行能测试276
7.4.1精度验277
7.4.2并行效率测试278
7.5工程应用282
7.5.1波音737飞机RCS282
7.5.2某型飞机RCS284
7.5.3某大型飞机RCS287
7.5.4地面上RCS288
7.5.5地面上汽车RCS290
7.5.6海面上舰载天线电磁辐特292
7.6小结293
参考文献293
第8章基于矩量法的并行混合算法295
8.1并行矩量法的区域分解方法295
8.1.1区域分解算法的基本原理295
8.1.2算法精度验299
8.1.3数值算例304
8.2并行高阶基函数矩量法与多层快速多极子混合算法313
8.2.1混合算法的基本原理314
8.2.2算法精度验315
8..数值算例319
8.3小结333
参考文献333
第9章并行高阶基函数矩量法的工程应用335
9.1电磁辐特计算335
9.1.1机载微带天线阵列335
9.1.2波导缝隙天线阵列338
9.1.3民航客机周围近场341
9.1.4海事卫星天线344
9.1.5基站天线与室内电磁辐评估347
9.1.6车厢内WiFi天线355
9.2电磁散特计算356
9.2.1箔条云356
9.2.2飞机发动机357
9..机358
9.3旋转叶片调制效应计算361
9.3.1旋翼对散场的调制361
9.3.2螺旋桨对辐场的调制362
9.4小结364
参考文献364
0章异构平台中的并行矩量法365
10.1并行矩量法特征分析365
10.1.1并行框架分析365
10.1.2程序热点分析367
10.1.3异构协同计算的难点369
10.2CPU/GPU异构并行矩量法369
10.2.1国内外研究现状369
10.2.2基本并行框架设计370
10..程序热点加速373
10.2.4能测试与应用算例376
10.3CPU/GPU异构并行两级核外矩量法386
10.3.1算法基本原理386
10.3.2GPU与CPU任务分配比例优化389
10.3.3数值算例390
10.4CPU/MIC异构并行矩量法392
10.4.1基本并行框架设计392
10.4.2程序热点加速394
10.4.3MIC与CPU任务分配比例优化399
10.4.4数值算例399
10.5CPU/GPU与CPU/MIC的能比较405
10.6大规模CPU/MIC异构并行矩量法407
10.7小结411
参考文献411
附录A高斯数值积分413
A.1一维高斯积分413
A.2二维高斯积分414
参考文献416
附录B并行计算基础417
B.1硬件平台417
B.1.1计算机集群417
B.1.2本书使用的计算平台418
B.2并行编程环境421
B.3并行算法422
B.4并行计算能评测与优化4
B.5MPI编程示例424
B.6软件安装与设置427
参考文献430
附录C细线天线的矩量法分析432
C.1积分方程的构建432
C.2积分方程的离散433
C.3选配过程435
C.4矩阵元素的计算436
C.5辐远场的计算438
C.6矩阵填充算法439
C.7并行程序流程440
C.8并行程序实例442
C.9程序编译与运行465
参考文献467

近年来，我国在与电磁密切相关的领域取得了一系列重大进展，比如空中预警指挥飞机成功服役等，这些复杂系统工程的实施都离不开对电磁场与电磁波的研究。认知复杂系统电磁特的手段主要有实验测量和数值计算。实验测量不可或缺，这一点无需多论，但需要指出的是，许多实际的情况不允许也难以实现的实验测量，比如飞机在空中飞行时雷达所处的电磁环境与地面测试时所处的环境有极大不同。电磁场数值计算指的是采用数值方法在频域或时域求解Maxwell方程及其衍生的方程。对比而言，电磁场数值计算具有高效、灵活、方便等显著优势，因此成为设备电磁特分析与设计的现代化必要手段，也日益发挥着越来越重要的作用。
    电磁场数值计算所追求的高精度与复杂电大系统计算所需要的庞大计算资源是一对矛盾。传统上来看，通常能处理电大尺寸目标的数值方法一般都不具备很高的数值精度，而能算得准的数值方法一般都算不大。在大型天线阵列布局等复杂电磁工程中，算得“准”是一个前提，不然不仅起不到在总体设计中的指导意义，反而还可能会误导工程设计。当前“复杂、电大”系统的设计对电磁计算提出的迫切需求就是能提供“、高效”解，要求数值方法能同时具备“算得准、算得大、算得快” 的特点。
    就精度而言，在电磁场数值分析方法中矩量法具有高理论精度的特点。矩量法把所求解的电磁场算子方程转化为矩阵方程。由于其理论精度高，在处理诸如机载相控阵等复杂电大系统电磁问题时，会产生庞大的复数稠密矩阵，所需付出的计算存储资源与计算时间代价也会很高，这使得矩量法无法解决复杂系统的电磁计算问题。打破这个瓶颈的一个技术途径是采用快速算法，然而，在金属介质混合结构大型天线阵列等典型的复杂电磁模型计算中，快速算法所必须依赖的迭代解法又常常难于收敛。不同于快速算法，作者与美国同事一起，采用并行核外计算理论与技术，将“硬盘”存储动态纳入矩量法计算过程，极大地扩充了矩量法求解问题的规模，并分别于2009年、2012年在美国John Wiley出版社出版了重点介绍并行核外矩量理与技术的英文专著。这一方法直接从计算技术角度出发来扩展矩量法的计算规模，采用核外LU分解求解矩阵方程，在扩大规模的同时既不会带来精度损失，也不会存在收敛风险。2009年作者采用该技术已成功解决了一批在当时被认为对矩量法而言极具挑战的问题。
    近年来，国内上海计算中心的“魔方”计算机、超计算济南中心的“神威蓝光”计算机、超计算天津中心的天河一号、超计算广州中心的天河二号等计算机相继投入应用，表明了我国在高效能计算机研制领域取得了极大的成就。计算机指当今时代运算速度较快的大容量大型计算机，是解决经济建设、社会发展、科学进步、安全和国防建设等领域一系列重大挑战问题的重要工具，已成为世界各国特别是大国争夺的战略制高点。在2015年10月公布的超计算机500强榜单中，中国国防科学技术大学研制的“天河二号”计算机连续六次获得。中国高能计算在研制和建造方面取得了巨大的进步，在硬件层面已经逐渐赶上了国际水平。然而，我们还必须清醒地看到，国内高能计算的软硬件两个方面目前仍很不平衡，软件方面仍需要大力发展，尤其在应用方面，超大规模并行应用开发较少，这与发达相比仍有不小差距。
    重大电磁工程对电磁高精度计算的迫切需求以及国内高能矩量法计算软件匮乏的现状，促使我们在这一交叉学科领域开展了系统深入的长期研究。2006年作者采用PC集群研究了并行矩量法，2008年在惠普集群中实现了512核并行核外高阶矩量法计算。2010年，课题组在上海计算中心的“魔方”计算机上搭建了国内个千核规模的工业应用级电磁细真平台，计算了机载相控阵天线辐特等多个案例。在高效能计算机领域863重大课题“复杂电磁环境数值模拟”项目资下，2013年9月课题组在上海计算中心率先实施了1万CPU核规模的矩量法并行计算； 2015年初在超计算济南中心的纯“神威蓝光”计算机中实施了3万CPU核并行高阶矩量法计算，同年11月实施了10万CPU核并行高阶矩量法计算。值得一提的是，济南中心的建设成功，标志着我国已成为继美国、日本后第三个能够采用自主处理器构建千万亿次计算机系统的。2015年2月，课题组在排名世界的天河二号计算机成地开展了20万CPU核规模的矩量法超大规模电磁计算（同时也实现了20万CPU核规模FDTD等数值方法的高能并行计算）。这些研究工作使得我们已经具备了在计算机中采用矩量法处理复杂系统电磁计算的战略能力。
    另一方面，计算机虽然大幅度提升了电磁计算能力，但也要注意到，绝大多数的研究机构并没有千万亿次级别的高效能计算机。采用典型研究机构能拥有的千核计算机资源来开展复杂的系统级高精度电磁计算，是工程技术领域对电磁场数值计算能力提出的又一现实需求。在这种情况下，本书在解决了矩量法计算战略能力提升后，在并行矩量法研究基础上，讨论了并行矩量法的区域分解算法、高阶矩量法混合快速多极子等精度可控的算法，以期能够采用典型的千核规模计算机所拥有的计算资源，来高效地完成当前典型的工程。
    在兼顾矩量的理基础、高能计算、工程应用的基础上，本书围绕着矩量法处理电磁问题的算子方程、矩阵构建、矩阵方程求解、大规模并行计算、核外矩阵计算、快速算法、混合方法、异构加速计算技术、工程应用实例等几个方面进行了技术总结，以期能系统地介绍矩量法高能计算的关键理论与技术。考虑到并不是所有读者都已经是计算电磁学的多年从业者，书中也给出了必要的并行计算基础介绍和矩量法程序实例，以期能引导初学者理解、 掌握和使用本书介绍的方法。
    基于这些考虑，本书内容分为六个主要部分，具体架构如下图所示。
    部分即章。采用矩量法求解电磁场问题，首先需要构建电磁场边值问题的算子方程。从等效原理出发，本章给出了几种常用的电磁场积分方程，其中包括电场积分方程（EFIE）、磁场积分方程（MFIE）、混合场积分方程（CFIE）与PMCHW方程，并讨论了平面波、电压源、波端口激励源等典型的馈源模型。
    矩量法实施过程中的关键环节是选取基函数、权函数，用于构建矩阵。第、章分别介绍了低阶RWG基函数与高阶多项式基函数。这两章构成了本书的第二部分。选取基函数以后，在矩阵方程构建的过程中，奇异积分计算则是核心的计算理论。第2章对低阶RWG基函数矩量法的电场积分方程、磁场积分方程中的奇异积分处理方法给予了详细讨论；第3章则介绍了高阶多项式基函数矩量法，并对高阶基函数矩量法处理线天线问题的奇异积分进行了详细讨论。与低阶RWG基函数矩量法相比，高阶矩量法采用高阶多项式函数作为基函数来描述电磁流分布，可大大降低未知量个数，减小矩阵规模。结合不同的激励情形，第、章也分别给出了典型数值实例以表明其通用和有效。
    本书第三部分是第4章。求解矩阵方程是矩量法的另一个关键环节。第4章分别介绍了矩阵方程的直接解法与迭代解法。直接解法中给出了并行计算中的传统LU分解方法以及通信避免LU分解方法。迭代解法中则重点讨论了一种通用的预条件方法，以便使迭代解法适用于不同基函数矩量法，加快收敛过程。
    第5~9章构成了本书的第四部分，这一部分阐述大规模矩量法计算关键理论与技术。第5章分别介绍了矩量法的矩阵并行填充策略以及万核、10万核、20万核超大规模计算时程序的并行能情况。第6章重点讲述当内存资源不足时，采用硬盘来补充内存进行核外矩量法计算。第7章讲述基于矩量法的快速算法——快速多极子方法的基本理论与应用。如果说第6章是从计算机核外矩阵计算技术角度来扩展存储资源的，那么第7章则是从快速算法角度出发来缩减矩量法所需要的存储资源，使能求解的问题规模变大。第8章进一步综合使用了并行矩量法、快速多极子方法进行混合方法数值计算。第9章则给出了部分工程应用实例，以此表明本书介绍的方法处理典型电磁工程计算问题的能力。
    本书第五部分即0章。这一章对高能计算新技术进行了探索，给出了GPU核外、两级核外矩量法以及MIC加速矩量法。
    第六部分是附录。为了方便读者阅读，附录A对矩量法中的数值积分进行了介绍。附录B、附录C是读者掌握第四部分的基础。没有并行计算基础的读者，应先阅读附录B、附录C之后，再去阅读本书第四部分，有经验的读者则可以略过。
    围绕矩量法的矩阵构建、矩阵存储、矩阵方程求解三个关键环节，本书力求在以下五个方面做到内容新颖：
   （1）   高阶矩量法结合波 端口方法新。尽管波端口激励模型已被成功应用于低阶矩量法，但却鲜有文献研究高阶基函数矩量法中的波端口问题，本书给出了这方面的计算理论和数值实例。
   （2）   并行求解理论新。本书在求解矩量法矩阵方程方面，针对直接解法，给出了一种高效率的单向通信CALU算法，其能不仅优于商业数学库，还在超大规模并行计算时实现了自主保障。
   （3）   异构计算技术新。本书不仅给出了采用CPU计算资源的并行矩量法核心理论与关键技术，还分别给出了GPU与MIC 异构加速的矩量法计算技术研究进展。
   （4）   并行计算规模。    一方面，课题组在纯“神威蓝光”计算机上运行并行矩量法，突破了矩量法单一任务利用纯10万CPU核的并行规模，这是在采用完全CPU处理器的计算机上运行过的优选矩量法计算规模。
    另一方面，课题组借于当前排名世界的“天河二号”计算机，突破了高阶矩量法20万CPU核的并行规模。查新结果表明，这是国际上并行矩量法计算所达到的优选并行规模。
   （5）   工程应用范围广。本书给出了丰富的、不同领域的应用实例，原来很多被认为不可能采用矩量法进行计算的电磁问题，在本书中已经变为现实。读者可从这些算例中感受大规模并行矩量技带来的益处。将理论成果更好地服务于工程急需，也恰恰是本书写作的根本目的。本书的研究工作得到高技术研究发展计划（863计划）课题“复杂电磁环境数值模拟”（2012AA01A308）的支持。本书的研究工作离不开863专家组专家们的悉心指导与热情帮。本书的相关研究工作还得到了世纪人才支持计划(NCET-13-0949)和陕西省青年科技新星项目(2013KJXX-67)的支持。本书也是对近年来课题组研究工作的总结，多名参与了课题研究。王永、畅青参与了第2章，陈岩参与了第4、5章，左胜参与了第6章，李艳艳参与了第8章，林中朝参与了第5、8、9章，陈岩、吕兆峰、张光辉参与了0章的相关研究与文档整理。书中所述矩阵LU分解、OpenBLAS相关内容也分别得到了浪潮集团张清博士团队，计算所张云泉研究员、张先轶博士的热情帮。书中大量的测试调优工作得到了上海计算中心，超计算济南中心、广州中心的大力支持。作者对他们一并表示衷心感谢！在本书出版过程中，西安科技大学出版社的编辑也做了大量细致的工作，这里表示感谢。

    限于作者自身水平，书中难免会有一些疏漏与不足之处，敬请读者批评指正！