下面我将介绍内嵌物理知识神经网络(PINN)求解微分方程。首先介绍PINN基本方法,并基于Pytorch框架实现求解一维Poisson方程。
内嵌物理知识神经网络(PINN)入门及相关论文
深度学习求解微分方程系列一:PINN求解框架(Poisson 1d)
深度学习求解微分方程系列二:PINN求解burger方程正问题
深度学习求解微分方程系列三:PINN求解burger方程逆问题
深度学习求解微分方程系列四:基于自适应激活函数PINN求解burger方程逆问题

1.PINN简介

神经网络作为一种强大的信息处理工具在计算机视觉、生物医学、 油气工程领域得到广泛应用, 引发多领域技术变革.。深度学习网络具有非常强的学习能力, 不仅能发现物理规律, 还能求解偏微分方程.。近年来,基于深度学习的偏微分方程求解已是研究新热点。内嵌物理知识神经网络(PINN)是一种科学机器在传统数值领域的应用方法,能够用于解决与偏微分方程 (PDE) 相关的各种问题,包括方程求解、参数反演、模型发现、控制与优化等。

2.PINN方法

PINN的主要思想如图1,先构建一个输出结果为 u^ \hat{u}u^的神经网络,将其作为PDE解的代理模型,将PDE信息作为约束,编码到神经网络损失函数中进行训练。

损失函数主要包括4部分:偏微分结构损失(PDE loss),边值条件损失(BC loss)、初值条件损失(IC loss)以及真实数据条件损失(Data loss)。特别的,考虑下面这个的PDE问题,其中PDE的解 u ( x )u(x)u(x) Ω ⊂ Rd \Omega \subset \mathbb{R}^{d}ΩRd定义,其中 x = ( x 1,…, x d) \mathbf{x}=\left(x_{1}, \ldots, x_{d}\right)x=(x1,,xd)
f ( x ;∂ u ∂ x1 , … ,∂ u ∂ xd ;∂2u ∂ x1∂ x1 , … ,∂2u ∂ x1∂ xd )=0, x∈Ωf\left(\mathbf{x} ; \frac{\partial u}{\partial x_{1}}, \ldots, \frac{\partial u}{\partial x_{d}} ; \frac{\partial^{2} u}{\partial x_{1} \partial x_{1}}, \ldots, \frac{\partial^{2} u}{\partial x_{1} \partial x_{d}} \right)=0, \quad \mathbf{x} \in \Omega f(x;x1u,,xdu;x1x12u,,x1xd2u)=0,xΩ
同时,满足下面的边界
B(u,x)=0 on ∂Ω\mathcal{B}(u, \mathbf{x})=0 \quad \text { on } \quad \partial \Omega B(u,x)=0onΩ
为了衡量神经网络 u^ \hat{u}u^和约束之间的差异,考虑损失函数定义:
L ( θ )= w f L PDE( θ ; Tf)+ w i L IC( θ ; Ti)+ w b L BC( θ , ; Tb)+ w d L Data( θ , ; T d a t a)\mathcal{L}\left(\boldsymbol{\theta}\right)=w_{f} \mathcal{L}_{PDE}\left(\boldsymbol{\theta}; \mathcal{T}_{f}\right)+w_{i} \mathcal{L}_{IC}\left(\boldsymbol{\theta} ; \mathcal{T}_{i}\right)+w_{b} \mathcal{L}_{BC}\left(\boldsymbol{\theta},; \mathcal{T}_{b}\right)+w_{d} \mathcal{L}_{Data}\left(\boldsymbol{\theta},; \mathcal{T}_{data}\right) L(θ)=wfLPDE(θ;Tf)+wiLIC(θ;Ti)+wbLBC(θ,;Tb)+wdLData(θ,;Tdata)
式中:
L PDE( θ ; Tf) = 1 ∣ T f∣∑ x∈ T f∥f ( x ;∂ u^∂ x1 , … ,∂ u^∂ xd ;∂2u^∂ x1∂ x1 , … ,∂2u^∂ x1∂ xd )∥2 2 L IC( θ ; Ti) = 1 ∣ T i∣∑ x∈ T i ∥ u ^(x)−u(x) ∥ 2 2 L BC( θ ; Tb) = 1 ∣ T b∣∑ x∈ T b ∥B( u ^,x) ∥ 2 2 L Data( θ ; T d a t a) = 1 ∣ T data ∣∑ x∈ T data∥ u ^(x)−u(x) ∥ 2 2\begin{aligned} \mathcal{L}_{PDE}\left(\boldsymbol{\theta} ; \mathcal{T}_{f}\right) &=\frac{1}{\left|\mathcal{T}_{f}\right|} \sum_{\mathbf{x} \in \mathcal{T}_{f}}\left\|f\left(\mathbf{x} ; \frac{\partial \hat{u}}{\partial x_{1}}, \ldots, \frac{\partial \hat{u}}{\partial x_{d}} ; \frac{\partial^{2} \hat{u}}{\partial x_{1} \partial x_{1}}, \ldots, \frac{\partial^{2} \hat{u}}{\partial x_{1} \partial x_{d}} \right)\right\|_{2}^{2} \\ \mathcal{L}_{IC}\left(\boldsymbol{\theta}; \mathcal{T}_{i}\right) &=\frac{1}{\left|\mathcal{T}_{i}\right|} \sum_{\mathbf{x} \in \mathcal{T}_{i}}\|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_{2}^{2} \\ \mathcal{L}_{BC}\left(\boldsymbol{\theta}; \mathcal{T}_{b}\right) &=\frac{1}{\left|\mathcal{T}_{b}\right|} \sum_{\mathbf{x} \in \mathcal{T}_{b}}\|\mathcal{B}(\hat{u}, \mathbf{x})\|_{2}^{2}\\ \mathcal{L}_{Data}\left(\boldsymbol{\theta}; \mathcal{T}_{data}\right) &=\frac{1}{\left|\mathcal{T}_{data}\right|} \sum_{\mathbf{x} \in \mathcal{T}_{data}}\|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_{2}^{2} \end{aligned} LPDE(θ;Tf)LIC(θ;Ti)LBC(θ;Tb)LData(θ;Tdata)=Tf1xTff(x;x1u^,,xdu^;x1x12u^,,x1xd2u^)22=Ti1xTiu^(x)u(x)22=Tb1xTbB(u^,x)22=Tdata1xTdatau^(x)u(x)22
wf w_{f}wf wi w_{i}wi wb w_{b}wb wd w_{d}wd是权重。 Tf \mathcal{T}_{f}Tf Ti \mathcal{T}_{i}Ti Tb \mathcal{T}_{b}Tb T d a t a \mathcal{T}_{data}Tdata表示来自PDE,初值、边值以及真值的residual points。这里的 Tf⊂ Ω\mathcal{T}_{f} \subset \OmegaTfΩ是一组预定义的点来衡量神经网络输出 u^ \hat{u}u^与PDE的匹配程度。

3.求解问题定义

d 2ud x 2= − 0.49 ⋅ sin ⁡ ( 0.7 x ) − 2.25 ⋅ cos ⁡ ( 1.5 x ) u ( − 10 ) = − sin ⁡ ( 7 ) + cos ⁡ ( 15 ) + 1 u ( 10 ) = sin ⁡ ( 7 ) + cos ⁡ ( 15 ) − 1\begin{aligned} \frac{\mathrm{d}^2 u}{\mathrm{~d} x^2} &=-0.49 \cdot \sin (0.7 x)-2.25 \cdot \cos (1.5 x) \\ u(-10) &=-\sin (7)+\cos (15)+1 \\ u(10) &=\sin (7)+\cos (15)-1 \end{aligned}dx2d2uu(10)u(10)=0.49sin(0.7x)2.25cos(1.5x)=sin(7)+cos(15)+1=sin(7)+cos(15)1
真实解为
u : = sin ⁡ ( 0.7 x ) + cos ⁡ ( 1.5 x ) − 0.1 xu:=\sin (0.7 x)+\cos (1.5 x)-0.1 xu:=sin(0.7x)+cos(1.5x)0.1x

4.结果展示