基于浸没边界LB方法和深度强化学习的鱼类自主游动行为模拟
本文是一篇决策模拟论文，本文通过高精度、高运算效率的浸没边界-格子Boltzmann方法以及柔性演员-评论家深度强化学习算法搭建计算平台，分别通过数值手段构建鱼类肉体、鱼类大脑以及流场生境，同时，提出一种用于平台数据交换的智能接口，保证了整个平台模拟的一体化、智能化和连续性，通过典型的鱼类游泳行为从多方面验证了计算平台的可靠性以及鲁棒性。
第一章 绪论
1.1 研究背景与意义
自然界中的生物经过上千万年的进化，已经在各自的生存领域积累了丰富的运动经验和卓越的运动技能，比如：候鸟能够精准感知大气中的环流而完成迁徙，猎豹能够以极为优异的生物运动学和动力学完成捕食狩猎过程，剑鱼在水中的游泳速度能够达到惊人的130 Km/h等，在漫长的进化中，各种鱼类也已经进化出了极为优秀的游泳性能[1]，由于鱼类身体两侧的侧线感受器官对水流的刺激尤为敏感，所以能帮助鱼确定水流的速度和识别方向，从而使其在复杂的流场环境下完成捕食、洄游产卵等游泳动作[2]。上述样本均为人类认识自然提高人类社会生产力提供了宝贵的经验。鱼类作为熟练掌握并运用流体动力学原理的高手之一，在过去的几十年里一直受到研究者的广泛关注，鱼类灵活、敏捷的运动方式和极高的游泳效率是任何人工载具都无法媲美的，因此，国内外研究人员致力于揭示鱼类游动的流体力学机制，以便为智能水下装备的研究、鱼类水生生物的保护等提供理论依据和实验参考。
对鱼类游泳的研究一般通过物理实验和数值模拟方法进行，传统物理实验可以客观反应真实自然界的鱼类行为，但存在着诸多限制，如无法表征鱼体受力、非接触式测量手段受限、实验成本高等。数值模拟方法因其模拟环境可控性、获取信息的丰富性等优势广受研究人员青睐，然而，传统数值模拟方法只能模拟鱼体的被动运动，鱼体行为都是预先通过计算机程式设定的，模拟的鱼尚无主动感知、主动决策以及与环境交互的能力，对鱼类游动问题的工具和方法有待进一步更新。
...................
1.2 国内外鱼类游泳运动的研究方法的研究进展
1.2.1 传统流体力学实验
对鱼类的游泳运动研究在早期一般通过实验的方式进行。对于实验研究，一般讨论以下主题：1、湍流对鱼类游泳的影响；2、鱼类在具有复杂漩涡的流场中的游泳运动学和节能游泳行为；3、量化鱼类在湍流中的游泳成本；4、鱼群的游泳行为学与动力学机制，研究手段往往通过鱼类游泳运动学分析、鱼体流场可视化、肌电图、运动呼吸计量法和感知屏蔽手术等来从多方面研究鱼类游泳的物理机制和生物学代价。学者们利用先进的实验方法，取得了一系列丰富的、具有实践意义的成果，为大坝生态调度、渔业管理、水下航行机器人研究和生物学领域中种群层次等问题作出了重要的贡献。
① 湍流对鱼类游泳的影响
关于湍流对鱼类游泳的影响的结论，目前仍然存在较大的争议，根据研究中特有的水动力条件，鱼可能会被湍流吸引或排斥。有研究表明，鱼类不喜欢湍动强度过大、混乱程度过高的水流，而更偏好湍动强度较低、具有较好可预测性的水流。当湍流强度较大时，湍流作为一种极为混乱与无序的流动，已经被证明会增加鱼类游泳运动的成本[3–5]。当湍流强度较小时，湍流具有类较高的稳定和可预测性从而能够被游动的鱼类感知和利用。大量的野外和实验室研究表明，鱼类可以通过利用水中的漩涡或其他鱼类的游泳产生的漩涡来降低移动成本[6–10]。在上述情况下，湍流对鱼类游泳的行为学和动力学是有一定益处的。
河道中往往存在各种各样的障碍物，当水流达到一定流速时，将在障碍物后方产生同样的涡街。对于鱼类的在卡门涡街中的游泳，Liao等[11]发现鱼类将以一定体长的距离作为标准，在非定常卡门涡街中进行稳定的卡门步态，当鱼在D形柱后面游泳时，鱼能感知流场中的能量变化，这使得它们能够在不同Strouhal数的涡街中同步它们的身体运动摆动频率与障碍物后的涡脱落频率，以达到节省游泳能量的目的。
...........................
第二章 基本理论与方法总结
2.3 强化学习理论
马尔科夫链（Markov Decision Process, MDP）是强化学习的基础，它可以用(S,A,P,R,)五元组来描述。其中 S表示状态矩阵，A表示动作矩阵，P为状态迁移概率，R为奖励函数，表示计算累计奖励时的折扣因子。对于无模型（Model-free）类问题，一般无法得到状态转移概率P，所以用转移过程四元组()s,a,r,s'来表示每次训练的基本单元，其中：s'表示经过动作a从状态s转移到新的状态，并在这个过程中得到奖励r。
传统强化学习大致可以分为基于值、基于策略和二者结合三大类方法。接下来本文将介绍前两种基本分类及其对应的代表性算法。
......................
2.4 深度学习理论
2006年，深度学习作为机器学习的一个分支被首次提出。深度学习的模型开发受到了人类大脑中数亿个神经元的相互交感的启发。研究者们通过创建多层隐藏层和多层感知器的深度神经网络（Deep Neural Network，DNN）来从技术上实现这一模型。相较于浅层神经网络（Shallow Neural Network，SNN），深度神经网络的性能得到全面增强，能够从大量训练数据中学习到更多特征表示。自从Krizhevsky等[59]在ImageNet图像分类比赛中获胜后，深度学习也开始快速发展并广泛应用于多个领域。多层感知机（Multilayer Perceptron，MLP）是深度学习的核心，相对于单层感知机，它具有更多的隐藏层和输出层，能够学习更复杂的特征信息，输出多个值解决例如分类、回归、降维和聚类等各类问题，MLP结合不同的激活函数能够进一步增强模型的表达能力。
决策模拟论文怎么写
...........................
第三章 智慧鱼体自主行为决策模拟平台设计 .................... 19
3.1 引言 ........................................ 19
3.2 智慧鱼体流场生境流固耦合模块设计 ......................... 19
第四章 鱼类捕食游泳行为模拟 ............................ 32
4.1 引言 .......................................... 32
4.2 实验环境及参数配置 ................................. 32
第五章 复杂涡流场中鱼类游泳行为模拟 ........................... 44
5.1 引言 ...................................... 44
5.2 结合侧线感知机的智能仿生鱼计算平台搭建 ............................ 44
第五章 复杂涡流场中鱼类游泳行为模拟
5.1 引言
本文第四章搭建的智慧鱼体自主行为决策模拟平台对于深度强化学习这一类的智能算法应用还处于较为初级的阶段。但是，由于仅仅通过将流场的一些特征参数输入智慧鱼的状态空间来进行端到端学习，无法使上文初级计算平台所模拟的智能鱼拥有对当前所处的流场环境进行定性识别和分类的能力，而且可能造成算法难以收敛，训练好的游泳策略也无法多个游泳环境之间顺利迁移，从而造成已有计算成果的浪费，这与真实自然界鱼类的行为模式也仍然是存在一定出入的。本章参考鱼类的侧线功能，设计了一种智能仿生鱼的流场识别与记忆移植方法，通过侧线感知机对当前流场的参数进行初步感知、识别，结合宏动作系统，可使已有的游泳策略在陌生的流场环境下适用，将其引入智慧鱼体自主行为决策模拟平台，得到了一个更加鲁棒的、泛化能力更强、模拟行为更接近自然界真实鱼类的智能鱼体游动控制器。在具有复杂漩涡的紊流场中进行了鱼类复杂游泳行为模拟，流场中的非线性漩涡会对鱼体的运动造成强干扰，这非常考验智慧鱼的游泳决策能力，在三种不同来流流速的卡门涡街下进行了游动模拟，分别对比了屏蔽所述系统和不屏蔽所述系统的情况下，对鱼体的控制效果，结果表明：激活所述系统的鱼，维持自身在紊流场中运动的能力显著增加，运动稳定性显著增强，鱼体在三种工况下的所有回合的运动时间均达到了设置回合上限时间100 T。
决策模拟论文参考
..........................
第六章 总结与展望
6.1 全文总结
6.1.1 主要内容与结论
对于鱼类游动的行为学和动力学研究，传统物理实验存在着实验成本高、可采集信息与非接触式测量手段有限等不足，传统计算流体力学数值模拟方法存在着无法实现鱼体主动感知和决策、智能模拟鱼体被动运动等不足。本文目标在于针对以上问题，结合更加先进的人工智能算法搭建与传统流固耦合算法相结合的计算平台，并以具体的应用实例佐证计算平台的优越性。为此，本文通过高精度、高运算效率的浸没边界-格子Boltzmann方法以及柔性演员-评论家深度强化学习算法搭建计算平台，分别通过数值手段构建鱼类肉体、鱼类大脑以及流场生境，同时，提出一种用于平台数据交换的智能接口，保证了整个平台模拟的一体化、智能化和连续性，通过典型的鱼类游泳行为从多方面验证了计算平台的可靠性以及鲁棒性。现将主要工作内容总结如下：
（1）为了解决传统CFD方法只能模拟鱼体被动运动等问题，通过自编程手段构建了智慧鱼体自主行为决策模拟平台。首先，通过高精度、高运算效率的浸没边界-格子Boltzmann方法实现鱼体游动流固耦合数值模拟模块，模拟鱼类肉体运动和鱼类流场生境的相互作用，提供训练数据和执行游动指令，该模块采用C++语言编译；然后，通过基于柔性演员-评论家的深度强化学习算法实现鱼脑高效训练学习和决策任务，该模块采用基于Python语言的Pytorch开源库编译；同时，针对跨平台、跨语言编程间通信的通信问题，提出一种用于智慧鱼体自主行为决策模拟平台数据交换的智能接口，保证了整个平台的一体化以及训练过程的智能化与连续性；
（2）通过水箱里两小球下沉算例以及柔性体静水前游算例验证流固耦合求解器可靠性，通过一级牛顿摆、一级倒立摆两个控制工程领域的经典非线性控制算例验证深度强化学习决策模块的可靠性，为后续模拟奠定基础；
参考文献（略）
