一、ai人工智能的发展前沿？

围绕人工智能科学前沿、人工智能创新人才培养，人工智能与人类福祉等话题进行主题演讲和先锋对话，大会发布了开源平台。与会专家表示，人工智能的发展离不开多学科、跨学科的交叉融合，要让人工智能更好地赋能科学，必须坚持基础原创引领产业发展。

二、人工智能前沿科技有哪些？

人工智能前沿科技包括以下几个方面：

1. 深度学习（Deep Learning）：深度学习是机器学习中的一种方法，模拟人脑神经网络的工作原理，通过多层次的神经网络结构进行自动特征提取和模式识别，广泛应用于计算机视觉、自然语言处理等领域。

2. 强化学习（Reinforcement Learning）：强化学习是一种机器学习方法，通过智能体与环境的互动学习，通过试错和奖励机制来优化决策策略。强化学习在自动驾驶、机器人控制等领域有广泛应用。

3. 自然语言处理（Natural Language Processing）：自然语言处理是让计算机能够理解和处理人类自然语言的技术，包括文本处理、语音识别、机器翻译等。自然语言处理的发展使得机器能够与人进行更自然的交流。

4. 计算机视觉（Computer Vision）：计算机视觉是指让计算机能够理解和分析图像和视频的技术，包括图像识别、物体检测、人脸识别等。计算机视觉的进展使得机器能够感知和理解视觉世界。

5. 自主驾驶技术（Autonomous Driving）：自主驾驶技术利用传感器、人工智能算法等技术，使汽车能够在没有人类驾驶员的情况下自主行驶。自主驾驶技术涉及到感知、决策、控制等多个领域的人工智能技术。

6. 人机交互（Human-Computer Interaction）：人机交互是指通过自然的交互方式使人与计算机进行有效沟通和合作的技术。其中包括语音识别、手势识别、虚拟现实等技术。

7. 增强现实（Augmented Reality）：增强现实是将虚拟信息与真实世界进行叠加的技术，使用户能够在真实场景中获得增强的体验。增强现实在教育、娱乐、设计等领域有广泛应用。

以上只是人工智能前沿科技的一部分，随着技术的不断进步和创新，人工智能的应用领域还在不断拓展和发展。 

三、如何得知学术研究前沿，热点？

我觉得关注学术前沿热点问题，最重要的、最有效的途径是跟踪最新的顶级杂志上你自己专业的文章都写了啥。如果你不想探讨去这个杂志网站去检索，查看的话，比较有效率的方法有几个。

1.实时跟进最新动态

• 到领域内顶级期刊的官网注册和订阅，通过邮箱接收新文章的推送。（邮箱确实方便啊，你可以用这个软件设置一周接受一次的方式）下面这个就是我经常用的，基本上就是注册然后添加关键词就好了。

• 如果你有更加具体的研究方向或者业内的大牛学者，可以到谷歌学术关注实时文章动态。这个额外的好处是你可以选择国内的邮箱作为接受邮箱，如果身在国内还是不错的.
• 这个可以直接在Google Scholar中以格式author:"学者的姓名"进行搜索。
• 现在比较可惜的是Inoreader （是一个将文献RSS 阅读器），好像大家正常上不去了，就不说了。

2.进一步的数据分析

上面这种类型是对最新现有文章的持续跟踪，时间长了，自然就知道了。但其实你如果想要短时间确认它是不是研究热点，你可以用一些前沿热点分析工具，直接进行大数据文献分析啊。比如，vosviewer。

3.对特定性的文献深入阅读（贵在精，不在多）

在这基础上，应该已经知道一些你自己领域内的方向大致热点，如果想快速最为深入的确定并了解该领域，那就得看重要文献了。

这里我现阶段只推荐zotero。（endnote，mendeley,noteexpress之类的我都用过，最后只用这个了）

下面是具体流程：

先去数据库，比如Google

但要先设置一下

一般RefMan的格式能够适应基本上的文献管理软件

或者直接sciencedirect直接搜索sci文章

当然最好是高级搜索功能（还可以加逻辑运算符，非常方便）

然后搜索得到结果导入到zotero

当然最开心的功能是可以直接用网址添加文献，太方便

还可以一次输入多个标识符，或者网址（这个是最好用的，比网页直接扒取还要方便，也是其重要的卖点）

因为这个搜索完后，直接就是题录，而不是软连接

然后去重

去重的话，直接到重复条目中点击合并

然后一键全选，自动下载PDF

注意：当然你可以选择连接网盘，这个也很方便。下载文章存在坚果云，Dropbox或者其他云盘上面，这个根据你自己的云盘决定。但我觉得，自己领域重要的文献最好下载到本地吧，编辑啊，做笔记都比较方便。文献一般也不是很占地方。实在想用云盘的自己去搜一下。

强烈建议直接安装5以上版本，因为最好的是，自动下载重命名啊

show一下，哈哈哈

它还支持多个层级的文件夹。并且除了按照目录分类以外，可以为每个文献添加若干个标签。

这里建议标签不要和文件夹重合。

例如，

标注文献的重要性：如a、b等，

标注一个文献的用途。

每个标签可以设置对应颜色（右键标签设置颜色），这个色块也会自动显示在每一个条目的开头，方便查看，一目了然。

指定颜色后，文献中也会有显示

总之，这个是和文件夹不同的逻辑，可以通过点击标签直接定位到对应文献

需要点赞的是支持二次排序。

因为我们都会第一次自定义每个集合并且按照某种方式进行排序，但二次排序让会快速达到我们最终想要的结果。

上面的方法运用一段时间后，可能大体就知道啦自己领域的个别重要文章，这时候比较适合用下面的方法寻找研究领域内的大部分重要文献

顺藤摸瓜法：

从一篇领域内的较为新的文章找它的有限数量的高质量论文。

这种方法看似较为慢，但是会让你能够了解作者的写作的部分思路（可以猜出部分的）

而且也会找到同等级的高质量文章

例如：

先找到比较新的高引文章，找到右边的参考文献链接。

这种大文章的引用文献一般不会很多，第二一般都是同等级别的哈，第三就是参考文献链接基本都很方便在该网页找到。

perfect！！！

所以这就也会找到同等级的高质量文章

你看这就很容易通过参考文献找到另外一篇高引的重要文章

通过 RSS 进行订阅（包含了上面软件的功能，牛吧）

对于追文献， Zotero 本身也为我们提供了一种非常方便的方法。

可以将一些杂志主页提供的 URL 地址直接添加到这里（比如nature，science），并且高级设置可以设置更新订阅时间和删除时间等等。

比如说：

点击右下角的RSS后，

复制弹出的网页地址到zotero后

添加成功

如果看到有好的文献，可以直接右上角点击添加到文献中，因为这个是不断更新的，之后会固定时间删除。

然后会自动添加到未分类条目中的

还有一个更加省事的，就是去看clarivate每年一度的热点研究报告。如果你甚至还想看中文的，中科院这几年在和他们搞合作，也有中文版的啊。但是这个只是针对大方向的。如果你想省事，你可以先看这个大方向的，然后回头看上面的建议即可啊。

四、景观前沿热点分析

景观前沿热点分析

景观设计作为一门融合艺术和科学的学科，一直以来都备受瞩目。随着社会的发展和人们对环境美的需求不断增长，景观设计行业也在不断发展和变化。本文将探讨当前景观设计领域的前沿热点，为行业人士提供启示和参考。

1. 生态景观设计

随着环境保护意识的提高，生态景观设计成为当前的热点之一。生态景观设计强调与自然环境的和谐共生，注重生态系统的保护和恢复，以实现可持续发展。在设计中，可以运用自然的生态原理，选择适宜的植物和材料，创造独特的生态环境。这种设计理念不仅提升了景观的美感，还起到了环境保护和生态教育的作用。

2. 城市绿化

随着城市化的加速和城市建设的扩张，城市绿化成为一个备受关注的问题。城市绿化不仅可以改善城市环境，还能提供空气净化、水源净化和温度调节等多种功能。在当前的景观设计中，越来越多的项目将城市绿化作为重要的考虑因素。同时，大量绿化项目也为景观设计师提供了更多的工作机会。

3. 智慧景观设计

随着科技的发展，智慧景观设计正在逐渐崭露头角。智慧景观设计运用先进的技术，如物联网、人工智能等，来实现景观的智能化和自动化控制。通过传感器和互联网的连接，可以实时监测和调整景观的状态，提高景观的效果和管理的便利性。智慧景观设计将为人们带来更加便捷、舒适和智能的生活体验。

4. 可持续发展

可持续发展是近年来全球的共同关注点，景观设计也不例外。可持续景观设计强调在设计中考虑环境、社会和经济的可持续性。通过合理规划和设计，可以降低资源消耗和环境污染，减少对自然资源的依赖，实现生态和社会的平衡。可持续景观设计是现代社会追求绿色、生态和健康的生活方式的重要组成部分。

5. 社区参与

社区参与是推动景观设计进一步发展的关键因素之一。通过与居民、社区组织和其他利益相关者的合作，可以更好地了解社区的需求和期望，从而提供更优质的景观设计方案。社区参与还可以增强社区的凝聚力和归属感，促进社区的可持续发展。因此，在当前的景观设计中，社区参与得到了越来越多的重视。

6. 文化保护与创新

景观设计需要在保护传统文化的基础上，寻找创新的表达方式。在当前的景观设计中，越来越多的项目要求将当地传统文化与现代景观相结合，以丰富景观的内涵和表达。这种设计方式不仅能够保护传统文化，还能够为景观增添独特的魅力和文化氛围。

7. 自然与人工融合

在现代社会，人工环境与自然环境的融合成为了一个重要的议题。景观设计师需要在保留自然特色的同时，合理利用人工技术，创造出符合人们需求的景观环境。这种融合方式既能够提升景观的实用性和舒适度，又能够展现出人类与自然和谐共生的理念。

结语

随着社会的变迁和人们对环境美的追求，景观设计领域不断呈现新的热点和趋势。生态景观设计、城市绿化、智慧景观设计、可持续发展、社区参与、文化保护与创新，以及自然与人工融合等，都是当前景观设计领域的前沿热点。通过深入了解和研究这些热点问题，景观设计师可以更好地应对挑战，创造出更具创意和实用性的设计作品。

五、人工智能 前沿

人工智能的前沿发展

人工智能（Artificial Intelligence，简称AI）是指通过计算机科学和技术模拟、延伸和拓展人的智能的一门科学，是一种使机器能够思考、学习和处理复杂问题的能力。近年来，随着技术的不断进步和算法的不断优化，人工智能在各个领域取得了巨大的突破和进展。

在人工智能的前沿发展中，有几个关键领域值得我们关注。

深度学习

深度学习（Deep Learning）是指一种模拟人脑神经网络的计算模型，通过多层神经网络进行特征提取和学习，从而实现对数据的分类和预测。深度学习利用了大数据和强大的计算能力，对于图像识别、语音识别、自然语言处理等任务取得了重大突破。例如，目前深度学习在人脸识别领域表现出色，在金融领域的风险预测方面也显示出巨大潜力。

机器学习

机器学习（Machine Learning）是人工智能的一个重要分支，通过构建模型和算法使计算机具备自动学习和优化能力。机器学习可以根据大量的数据和经验进行训练，从而实现对未来数据的预测和决策。在金融、医疗、交通等领域，机器学习已经成功应用于风险评估、疾病诊断、智能交通等方面，取得了显著的成果。

自然语言处理

自然语言处理（Natural Language Processing，简称NLP）是人工智能与语言学的交叉学科，致力于使计算机能够理解、处理和分析自然语言。通过NLP技术，计算机可以识别和理解人类语言的意义、情感和目的，实现自动问答、机器翻译、情感分析等功能。随着语音助手、智能客服等应用的普及，自然语言处理已经成为人工智能领域的一个重要研究方向。

智能机器人

智能机器人是集成了人工智能技术的机器人，具备感知、识别、决策和执行等能力。随着机器人技术和人工智能技术的不断进步，智能机器人在家庭、医疗、工业等领域有着广泛的应用前景。例如，智能家居机器人可以通过语音交互帮助人们完成家务，医疗机器人可以辅助医生进行手术操作，工业机器人可以替代人工完成繁重、危险的任务。

人工智能的前景和挑战

人工智能的发展前景非常广阔，将对社会经济、科技创新、人类生活产生深远影响。然而，人工智能的发展也面临着一些挑战。

人机合作

人机合作是指人与机器之间的协同合作关系。在人工智能时代，人类将与智能机器共同工作和生活。如何实现人机合作的高效性、安全性和可持续性，是一个亟待解决的问题。人机合作需要建立在相互信任、共同理解和资源共享的基础上，同时还需要制定相关的法律、伦理和隐私保护政策。

数据安全和隐私保护

人工智能的发展离不开海量的数据支持，但同时也引发了数据安全和隐私保护的问题。人们担心个人信息可能被滥用、泄露或侵犯隐私。因此，人工智能的发展需要加强数据安全和隐私保护的法规和技术手段，确保数据的合法使用和隐私的保护。

伦理和道德问题

人工智能的发展引发了一系列的伦理和道德问题。例如，机器人是否应该拥有人权？人工智能的决策是否应该透明和可解释？人工智能在作出决策时是否有偏见？这些问题需要我们思考和回答。在人工智能的发展过程中，我们需要制定合适的伦理准则，确保人工智能的应用符合伦理和道德标准。

结语

人工智能的前沿发展带来了许多令人兴奋的创新和突破，对社会经济发展和人类生活产生了深远影响。然而，我们也应该认识到人工智能所面临的挑战和问题。只有坚持科学的探索和技术的创新，加强伦理和法律的规范，才能实现人工智能的可持续发展和应用。

六、景观前沿热点有哪些

在当今的建筑和景观设计领域，景观前沿热点备受关注。作为一个行业从业者，深入了解并熟悉景观前沿热点是非常重要的，它可以帮助我们把握潮流，引领创新，提升自身的竞争力。

1. 城市农业

城市农业是当前景观设计领域的热点之一。随着城市人口的不断增加和农田资源的减少，传统的农业模式面临着巨大的压力。城市农业提供了一种解决方案，它是在城市内部开展农业和种植活动的一种方式。

城市农业有许多优势。首先，它可以提供新鲜的、有机的农产品，满足城市居民对健康食品的需求。其次，城市农业可以减少食品运输距离，降低二氧化碳排放量，对环境更加友好。此外，城市农业还能够提供就业机会，促进城市经济的发展。

2. 环境可持续性

环境可持续性是当今社会的重要议题，也是景观设计中一个非常重要的热点。景观设计师在规划和设计过程中需要考虑到环境的可持续性，以减少资源消耗和环境破坏。

景观设计中的环境可持续性包括以下几个方面。首先，要充分利用可再生能源，如太阳能和风能，以减少对传统能源的依赖。其次，要采用节水技术，减少水资源的浪费。此外，还要选择适应当地气候条件的植物，减少对化学农药和肥料的使用。

3. 智慧景观

智慧景观是指通过应用智能技术，使景观更加智能化和智能化的设计理念。智慧景观可以提供更好的用户体验，提高城市的整体品质和生活质量。

在智慧景观中，可以应用各种智能技术。比如，利用物联网技术将景观设施、设备和用户连接起来，实现智能化的管理和控制；利用大数据分析技术来了解用户需求和行为，进一步优化景观设计和规划。

4. 生物多样性保护

随着人类活动的增加，生物多样性正面临着日益严重的威胁。景观设计师应该积极参与生物多样性保护工作，通过合理的设计和规划，保护和恢复生物多样性。

在景观设计中，可以采用以下措施来保护生物多样性。首先，要保留和恢复原有的自然植被和生境，为野生动植物提供适宜的生存环境。其次，要选择适应当地条件的植物，以提供适合野生动物生存和繁衍的食物和栖息地。

5. 景观文化保护

景观设计不仅仅是创造美丽的景观，还要保护和传承景观的文化价值。景观文化保护成为了景观设计领域的一个重要热点。

在景观文化保护中，景观设计师需要综合考虑历史、文化、社会和经济等多个因素，保护和传承景观的文化特色。比如，可以利用传统材料和工艺来设计景观元素，强调文化传统的延续性和独特性。

结语

以上是当今景观设计领域的一些热点问题，包括城市农业、环境可持续性、智慧景观、生物多样性保护和景观文化保护。作为一个行业从业者，理解和关注这些热点问题，将有助于我们不断提升自己的专业水平，推动整个行业的可持续发展。

参考: [景观前沿热点有哪些](e.com/blog/post12345)

七、智慧城市前沿热点期刊

智慧城市前沿热点期刊

智慧城市是当今社会发展的一个重要方向，通过信息技术的应用和城市管理的优化，实现城市资源的高效利用和人民生活质量的提升。随着智慧城市建设的不断推进，涌现了大量关于智慧城市发展的研究成果和前沿技术。这些成果和技术的交流分享对于促进智慧城市建设具有重要意义。

期刊作为学术领域的重要载体，承载着大量关于智慧城市的研究成果和前沿热点。选择一本权威的智慧城市前沿热点期刊进行阅读，不仅可以及时了解领域内最新的研究成果和技术动向，还有助于激发学术思维，拓展学术视野，推动自身研究的深入发展。

为什么选择智慧城市前沿热点期刊？

权威性：智慧城市前沿热点期刊通常由权威的学术机构或学术团体主办，拥有严格的论文审核机制和专业的编委团队，确保发表的内容具有学术水准和可信度。

前沿性：智慧城市前沿热点期刊关注领域内的前沿问题和热点话题，提供最新的研究成果和技术进展，帮助读者跟踪领域内最新动态，把握学术发展方向。

全面性：智慧城市前沿热点期刊涵盖了智慧城市建设的各个方面，包括但不限于城市规划、信息技术、智能交通、数字化治理等，读者可以从多个角度深入了解智慧城市发展的全貌。

如何选择适合自己的智慧城市前沿热点期刊？

在众多智慧城市前沿热点期刊中，如何选择适合自己的期刊成为了一个需要认真考虑的问题。以下几点建议供您参考：

• 查阅目录：首先可以通过查阅期刊的目录和投稿指南，了解期刊的主要研究方向和发表要求，确保期刊的内容与自己的研究方向契合。
• 参考影响因子：影响因子是衡量期刊学术水平和影响力的重要指标，选择具有较高影响因子的智慧城市前沿热点期刊可提高研究成果的曝光度和影响力。
• 关注审稿周期：考虑到自身研究的时间节点和发表的紧迫性，选择审稿周期较短的期刊可以提高发表成果的效率。
• 了解编委团队：期刊的编委团队是保证期刊学术质量的重要保障，了解期刊的编委成员和专业背景，可以更好地评估期刊的学术水准。

智慧城市前沿热点期刊推荐

以下是几本备受推荐的智慧城市前沿热点期刊，值得您关注和阅读：

• 《智慧城市研究》：该期刊致力于智慧城市建设领域的研究和实践经验分享，涵盖城市规划、信息技术应用、城市管理等方面的研究成果。
• 《数字化城市论坛》：关注数字化城市建设的前沿技术和发展趋势，是深入了解数字化城市治理和智慧城市发展的重要参考。
• 《智慧交通技术》：专注于智能交通领域的研究和技术创新，为研究者和实践者提供关于智慧交通技术的最新成果和经验分享。

以上期刊均为智慧城市建设领域的知名期刊，期待您的关注和支持，共同推动智慧城市建设的发展和进步。

希望以上推荐对您选择合适的智慧城市前沿热点期刊有所帮助，愿您在学术研究道路上越走越远，不断探索智慧城市建设的新知识和新思路。

八、智慧城市发展前沿热点

智慧城市发展前沿热点

智慧城市概念及其发展背景

智慧城市是指利用信息和通信技术以及互联网思维来提升城市管理和服务水平，实现城市可持续发展的新型城市形态。随着信息技术的快速发展，智慧城市理念逐渐成为城市规划和建设的重要方向。

智慧城市的发展背景主要包括城市化进程加快、信息技术发展日新月异、人们对城市生活质量及便利性的不断追求等因素。在这样的背景下，智慧城市作为城市管理和建设的新思路被越来越多的城市所采纳和实践。

智慧城市发展面临的挑战

虽然智慧城市具有诸多优势和潜力，但是在实践过程中也面临一些挑战。其中，数据安全、隐私保护、技术标准等问题是智慧城市发展的热点之一。

此外，智慧城市建设需要各方协同合作，包括政府、企业、社会组织等多方参与，如何协调各方利益关系也是智慧城市发展中需要解决的难题。

智慧城市发展的未来趋势

随着技术的不断创新和智慧城市建设的不断深化，未来智慧城市将呈现出智能化、绿色化、共享化等新特征。人工智能、物联网、大数据等新技术将进一步应用于智慧城市建设中，为城市发展注入新的动力。

另外，智慧城市建设也将更加注重居民参与和需求响应，实现城市管理更加智能、高效、便利。未来智慧城市将成为城市发展的重要引擎，推动城市由传统向现代转变。

九、人工智能的前沿研究领域有什么？

这里分享一篇nature最新的一篇关于AI的重要review文章，对于里面AI重要研究点和框架非常有用。

人工智能(AI)正越来越多地融入科学发现，以增强和加速研究，帮助科学家产生假设，设计实验，收集和解释大型数据集，并获得仅使用传统科学方法可能无法获得的见解。在这里，我们研究了过去十年的突破，包括自我监督学习，它允许模型在大量未标记的数据上进行训练，以及几何深度学习，它利用有关科学数据结构的知识来提高模型的准确性和效率。生成式人工智能方法可以通过分析各种数据模式(包括图像和序列)来创建设计，例如小分子药物和蛋白质。我们将讨论这些方法如何在整个科学过程中帮助科学家，以及尽管取得了这些进步，但仍然存在的核心问题。人工智能工具的开发人员和用户都需要更好地了解这些方法何时需要改进，数据质量差和管理不善带来的挑战仍然存在。这些问题跨越了科学学科，需要开发能够有助于科学理解或自主获取科学知识的基础算法方法，使其成为人工智能创新的关键重点领域。复现中相关代码可私信，留下vx。

1 学习科学数据的有意义的表示（Representation learning）

表示学习技术自动生成图像、文档、序列或图形等数据的表示。这些表示通常是密集的，紧凑的向量，称为嵌入或潜在向量，优化以捕获输入数据的基本特征。科学上有意义的表征是

• 紧凑的(compact)、
• 有区别的(discriminative)，
• 能够理清潜在的变异因素(disententfactors)，
• 并能够编码众多任务的潜在的机制。

下面主要介绍了满足这些要求的三种emerging策略：几何先验、自监督学习和语言建模（不介绍）。

1.1 几何先验

• 对称是几何学中一个被广泛研究的概念。
• 重要的结构性质，如分子体系的二级结构含量、溶剂可及性、残留物致密性和氢键模式，与空间取向无关。
• 将对称纳入模型可以使用AI受益有限的标签数据集,如3 d structures RNA和蛋白质,通过增加训练样本,可以提高外推预测输入比遇到在模型训练明显不同。

1.2 Self-supervised learning

当只有少数标记样本可用于模型训练或为特定任务标记数据过于昂贵时，监督学习可能是不够的。在这种情况下，利用标记和未标记的数据可以提高模型性能和学习能力。自监督学习是一种从未标记数据中学习的训练策略。例如，生成式自我监督学习涉及基于其余部分的原始数据预测一部分，而对比式自我监督学习涉及定义输入的积极和消极观点，然后对齐积极和分离消极观点。这两种方法都旨在增强模型在不需要标记数据的情况下学习有意义特征的能力。

• 有效的自我监督策略包括预测图像的遮挡区域，预测视频中过去或未来的帧，以及使用对比学习来教模型区分相似和不同的数据点。
• 在微调小标记数据集上的模型在执行下个任务之前，自监督学习可以是学习大型未标记数据集中可转移特征的关键预处理步骤。这种对科学领域有广泛理解的预训练模型是通用的预测器，可以适应各种任务，从而提高标签效率，超越纯监督方法。

1.3 A transformer

是一种神经结构，它利用注意力通过一系列步骤对顺序数据进行并行处理。在每一步中，注意机制从前一步序列中选择和组合元素，以可微和soft约束的方式对序列中的每个位置形成新的表示。主要出现在自然语言处理领域，也已成功应用于各类问题。虽然transformer结合图形神经网络和语言模型，但transformer的运行时间和内存占用可以随着序列的长度二次扩展，导致long-range建模和线性注意力机制被用作去解决效率问题。因此，无监督或自监督生成预训练变压器，然后是参数有效微调，被广泛使用。

1.4 Neural operators

标准的神经网络模型可能不适合科学应用，因为它们假设一个固定的数据离散化。这种方法不适用于以不同分辨率和基于网格生成的许多科学数据集。此外，数据通常是从连续域的底层物理现象中采样，例如地震活动或流体流动。神经算子通过学习函数空间之间的映射来学习离散化不变的表示。神经算子保证离散化不变性，这意味着它们可以处理任何离散化的输入，并收敛到网格细化的极限。一旦神经操作员被训练，他们就可以在任何分辨率下进行评估，而不需要重新训练。相比之下，当部署期间的数据分辨率与模型训练发生变化时，标准神经网络的性能会下降。

下面主要介绍DeepOnet、FNO、VFNO、CORAL几种神经算子。

1.4.1 DeepOnet

方法介绍

以下面一维算例为例

讲解DeepOnet是如何通过输入函数来实现对算子的学习。DeepOnet可用的网络结构如下，主要由两部分组成，主干网络（trunk net）和分支网络（branch net），主干网络主要是编码输出函数的locations，分支网络主要是由固定的sensor组成。

目标是学习算子 ,需要输入一组组函数（ 对应上面一维算例中方程左边的方程形式即算子），先讨论一次输入，即这次输入应该先固定一个特定的函数，在这些点上可以得到确定的一组值（这里可以理解为一种工况，即一个确定的PDE方程，这些点为sensors，这些sensor对应着问题的解）。而可能比较难理解，这个就代表的自变量。换言之，就是算子在作用于函数时的自变量，而即是算子在作用于函数时代入具体自变量后对应的值，它可以也可以不和的位置相同。通过这样的网络学习学习到了方程的算子，即变量间的表示关系（不同s对应下 ）。

A）是比较暴力的直接把 在固定一组位置 的值和一组任意点 直接作为神经网络的输入，然后输出对应的值 ，是一组和 规模相当的实数向量。

B）则算是比较直观的说明了模型的输入 和输出 到底是什么样的，可以看出一组固定的自变量 ，在各种各样的函数 上的一组组 作为输入，输出则是一组组 在给定的一组 上的结果 。

C) 是stacked DeepONet，即不同的点 都对应着不同的p个branch net，也就是说 这个位置在不同的函数 下的值都进入相同的这个branch网络中。至于m个点和p个branch net是怎么对应的貌似没有具体的依据。点 则进入trunk net，得到一组中间结果。之后，将二者的输出做点积。

D) 是unstacked DeepONet，和C同理，只不过只有一个branch net和一个trunk net。

接下来我们就可以开始看一下针对算子的通用近似定理的形式化语言了，结合上述内容，应该理解就比较清晰了。

代码实现

下面算例是基于torch实现的算例结果。

• 算例1 线性ODE（Forcing terms变化）

上式中s可以取不同的函数，DeepOnet学习不同对应下的s，下面是一组实验结果（绿色曲线为预测）。

• 算例2，Advection方程（Variable coefficients）

sensor测点数据是系数 ，学习不同对应下的解

• 算例3 ，Diffusion reaction（Source terms变化）

sensor测点数据是源项 ，学习不同对应下的解

特别需要注意的是：

• sensor位置对于不同源项或是不同系数项是相同的。
• 数据的生成对于模型的学习以及泛化性能影响也非常大。

算子学习需要输入的是函数。如何取一大组函数 能让神经网络成功学习算子 则成了研究的重点，在DeepONet的这篇文章中，作者主要研究了两个函数空间，分别是Gaussian random field(GRF)和orthogonal (Chebyshev) polynomials。

先来谈谈GRF，作者使用了均值为0的GRF， 其中 为核函数， 。个人理解，这里作者应该是想借鉴径向基函数的思想，不同的 则能采样出不同平滑程度的函数 。

另一种采样 的方法则使用了切比雪夫多项式， 通过在 的区间里随机采样 ，来得到一组组函数 。

而通过传统的数值方法去求解ODE和PDE来获得训练所需要用到的label，也就是用于监督 的label。这样数据集的三元组就有了，即 。

• 对于网络的输入训练还需对输入数据进行repeat，以便更好学习映射关系，可以参照下图对输入数据进行处理。

Lu, L. , Jin, P. , Pang, G. , Zhang, Z. , & Karniadakis, G. E. . (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence,3(3), 218-229. Lu, L. , Jin, P. , Pang, G. , Zhang, Z. , & Karniadakis, G. E. . (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature Machine Intelligence,3(3), 218-229. https://zhuanlan.zhihu.com/p/514148390

1.1.2 FNO

（1）FNO

待补充。

（2）VNO（Vandermonde Neural Operators）

FNOs依靠计算效率的快速傅里叶变换,架构可以限制输入数据在均布笛卡尔网格，提出一种VNO网络框架，有效利用Vandermonde-structured矩阵来计算,逆傅里叶变换,即输入可以在任意分布的点。简而言之，FNO是直接只输入sensor数据，并没有编码输入sensor的位置信息，VNO引入范德蒙矩阵编码位置信息，从而输入数据可用为任意点处的sensor。

1.1.3 CORAL

Operator Learning with Neural Fields: Tackling PDEs on General Geometries

2 基于人工智能的重要科学假设

2.1 黑箱预测

大多数深度学习模型是一个黑箱优化问题。

• 为了解决优化问题，可以使用进化算法求解符号回归任务。

该算法生成随机符号律作为初始解集。在每一代中，候选解决方案会有轻微的变化。该算法检查是否有任何修改产生了比先前的解决方案更符合观察结果的符号规律，并将最佳的保留给下一代。

• 然而，强化学习方法正逐渐取代这一标准策略。

强化学习使用神经网络，通过从预定义的词汇表中添加数学符号，并使用学习到的策略来决定下一步添加哪个符号，从而依次生成数学表达式。数学公式表示为解析树。学习到的策略将解析树作为输入，以确定要扩展的叶节点和要添加的表示法。然而，在模型训练过程中，强化学习方法可能无法很好地泛化到看不见的数据，因为智能体一旦发现一系列效果良好的动作，可能会陷入局部最优状态。

• 为了提高泛化，需要一些探索策略来收集更广泛的搜索轨迹，这可以帮助智能体在新的和修改的设置中表现得更好。

2.2 优化可微假设空间

科学假设通常采用离散对象的形式，例如物理学中的符号公式或制药和材料科学中的化学化合物。除了组合优化方法可用于求解这些问题，可微的空间还可以用于基于梯度的优化方法，也能够有效地找到当地的最适条件。

为了使用基于梯度的优化，经常使用两种方法：

• 第一种方法是使用诸如VAEs之类的模型将离散的候选假设映射到潜在可微空间中的点。

在化学中，简化分子输入行输入系统(SMILES)-VAE等模型可以将SMILES字符串(计算机可以轻松理解的一系列离散符号形式的化学结构的分子符号)转换为可微分的潜在空间，然后使用贝叶斯优化技术进行优化。通过将分子结构表示为潜在空间中的点，我们可以设计可微目标并使用自监督学习对其进行优化，从而基于分子的潜在表示来预测分子性质。这意味着我们可以通过将AI预测器的梯度反向传播到分子输入的连续值表示来优化离散分子结构。解码器可以将这些分子表示转换成近似对应的离散输入。这种方法被用于设计蛋白质和小分子。

• 第二种方法是将离散假设松弛为可微对象，并在可微空间中进行优化。这种松弛可以采取不同的形式，例如用连续变量替换离散变量或使用原始约束的软版本。

在潜在空间中进行优化，可以比在原始假设空间中采用机械方法更灵活地对底层数据分布进行建模。然而，在假设空间的稀疏探索区域的外推预测可能很差。在许多科学学科中，假设空间可能比通过实验检验的空间大得多。例如，据估计大约有个分子，而即使是最大的化学libariaryies包含的分子也不到 个。因此，迫切需要一种方法来有效地搜索和识别这些大部分未开发区域的高质量候选解决方案。

3 基于AI的仿真

计算机模拟已经成为一种很有前途的替代方案，为更有效和灵活的实验提供了方法。虽然模拟依赖于手工制作的参数和启发式来模仿现实世界的场景，但与物理实验相比，它们需要在准确性和速度之间进行权衡，这就需要理解潜在的机制。然而，随着深度学习的出现，这些挑战正在通过识别和优化有效测试的假设以及计算机模拟将结合观察与假设进行解决。

3.1 通过模拟从假设中推断出可观察的结果

计算机模拟是一种强大的工具，可以从假设中推断出可观察到的结果，从而对不能直接检验的假设进行评估。然而，现有的模拟技术严重依赖于人类对所研究系统的潜在机制的理解和知识，这可能是次优和低效的。人工智能系统可以通过更好地拟合复杂系统的关键参数、求解控制复杂系统的微分方程和对复杂系统中的状态进行建模，从而提高计算机模拟的准确性和效率。这就是这些年较热门的，基于AI实现物理系统的模拟。

微分方程对于复杂系统在空间和时间上的动力学建模至关重要。与数值代数求解器相比，基于人工智能的神经求解器（物理驱动深度学习方法）更是集成了数据和物理。这些神经解算器通过在领域知识中建立神经网络，将物理与深度学习的灵活性结合起来。人工智能方法已被应用于求解各个领域的微分方程，包括计算流体动力学、预测玻璃系统的结构、求解刚性化学动力学问题和求解表征地震波传播时间的Eikonal方程。在动力学建模中，连续时间可以用神经常微分方程来建模。神经网络可以使用物理信息损失在时空域中参数化Navier-Stokes方程的解。然而，标准卷积神经网络在模拟解决方案的精细结构特征方面能力有限。这个问题可以通过学习运算符来解决，这些运算符使用神经网络对函数之间的映射建模。此外，求解器必须能够适应不同的域和边界条件。这可以通过将神经微分方程与图神经网络相结合，通过图划分将任意离散化来实现。物理驱动深度学习方法更多详细介绍，可参考博客，物理驱动深度学习入门基础。

统计建模是一种强大的工具，通过对复杂系统中的状态分布进行建模，可以提供复杂系统的完整定量描述。由于其捕获高度复杂分布的能力，深度生成建模最近成为复杂系统模拟的一种有价值的方法。一个著名的例子是基于归一化流的玻尔兹曼发生器(Boltzmann generator)。normalizing flows可以将任何复杂分布映射到一个先验分布(例如，一个简单的高斯分布)，并使用一系列可逆神经网络返回。虽然计算成本很高(通常需要数百或数千个神经层)，但normalizing flows提供了精确的密度函数，可以进行采样和训练。与传统模拟不同，normalizing flows可以通过直接从先验分布中采样并应用神经网络产生平衡状态，这具有固定的计算成本。

Noé, F. et al. Boltzmann generators: sampling equilibrium states of many-body systems with deep learning. Science 365, eaaw1147 (2019). This paper presents an efficient sampling algorithm using normalizing flows to simulate equilibrium states in many-body systems.Rezende, D. & Mohamed, S. Variational inference with normalizing flows. In International Conference on Machine Learning 37, 1530–1538, (2015). Dinh, L., Sohl-Dickstein, J. & Bengio, S. Density estimation using real NVP. In International Conference on Learning Representations (2017).

4 重要challenges

为了利用科学数据，必须建立模型，并利用模拟和人类专业知识。这种融合为科学发现提供了机会。然而，为了进一步增强人工智能在科学学科上的影响，需要在理论、方法、软件和硬件基础设施方面取得重大进展。跨学科合作对于实现通过人工智能推进科学的全面和实用方法至关重要。

4.1 Practical considerations

深度学习的使用对人工智能驱动的设计、发现和评估提出了复杂的挑战。为了自动化科学工作流程、优化大规模模拟代码和操作仪器，自主机器人控制可以利用预测并在高通量合成和测试线上进行实验，从而创建自动驾驶实验室。生成模型在材料探索中的早期应用表明，数百万种可能的材料可以被识别出具有所需的特性和功能，并评估其可合成性。例如，King等人204将逻辑人工智能和机器人技术结合起来，自主生成关于酵母的功能基因组学假设，并使用实验室自动化对这些假设进行实验测试。在化学合成中，人工智能优化候选合成路线，然后机器人在预测的合成路线上指导化学反应

人工智能系统的实际实施涉及复杂的软件和硬件工程，需要一系列相互依存的步骤，从数据管理和处理到算法实现以及用户和应用程序界面的设计。实施中的微小变化可能导致性能的重大变化，并影响将人工智能模型集成到科学实践中的成功。因此，需要同时考虑数据和模型的标准化。由于模型训练的随机性、不断变化的模型参数和不断发展的训练数据集(既依赖于数据又依赖于任务)，人工智能方法可能会受到再现性的影响。标准化的基准测试和实验设计可以缓解这些问题。提高可重复性的另一个方向是通过发布开放模型、数据集和项目的开源框架。

4.2 Algorithmic innovations

分布外泛化问题是人工智能研究的前沿问题。对来自特定区域的数据进行训练的神经网络可能会发现在基础分布发生变化的不同区域中无法推广的规律。尽管许多科学定律并不普遍，但它们的适用性通常是广泛的。自我监督学习等技术对科学问题具有巨大的潜力，因为它们可以利用大量未标记的数据，并将其知识转移到低数据机制中。然而，目前的迁移学习方案缺乏理论指导，并且容易受到潜在分布变化的影响。虽然初步的尝试已经解决了这一挑战，但需要更多的探索来系统地测量跨域的可转移性并防止负迁移。此外，为了解决科学家们所关心的困难，人工智能方法的开发和评估必须在现实世界的场景中进行，并包括经过校准的不确定性估计器，以评估模型的可靠性，然后将其过渡到现实世界的实施。

科学数据是多模态的，包括图像(如宇宙学中的黑洞图像)、自然语言(如科学文献)、时间序列(如材料的热变黄)、序列(如生物序列)、图形(如复杂系统)和结构(如3D蛋白质配体构象)。尽管整合多模态观测仍然是一个挑战，但神经网络的模块化特性意味着不同的神经模块可以将不同的数据模态转换为通用的向量表示。科学知识，如分子的旋转等变性、数学中的等式约束、生物学中的疾病机制和复杂系统中的多尺度结构，都可以纳入人工智能模型。然而，哪些原则和知识是最有帮助和实用的，目前还不清楚。由于人工智能模型需要大量数据来拟合，因此在数据集较小或注释较少的情况下，将科学知识纳入模型可以帮助学习。因此，研究必须建立有原则的方法，将知识整合到人工智能模型中，并理解领域知识和从测量数据中学习之间的权衡。人工智能方法通常像黑盒子一样运作，这意味着用户无法完全解释输出是如何产生的，以及在产生输出时哪些输入是至关重要的。黑箱模型可能会降低用户对预测的信任，并且在现实世界实施之前必须了解模型输出的领域(如人类空间探索领域)和预测提供信息的领域(如气候科学领域)的适用性有限。尽管有大量的可解释性技术，透明的深度学习模型仍然难以捉摸。然而，人类大脑可以综合高层次的解释，即使不完美，也可以说服其他人，这一事实带来了希望，即通过在类似的高层次抽象上对现象进行建模，未来的人工智能模型将提供至少与人类大脑提供的解释一样有价值的可解释解释。这也表明，研究更高层次的认知可能会激发未来的深度学习模型，将当前的深度学习能力和操纵能力结合起来。

重要概念

• An autoencoder

自动编码器是一种神经结构，它学习未标记数据的压缩表示，由编码器(将数据映射到表示)和解码器(从表示中重建数据)组成。

• Data augmentation

数据扩充是一种通过从现有数据样本中创建新数据样本来增强模型健壮性和泛化性的策略。这个过程可以包括替换序列中的记号，改变图像的视觉方面，或改变原子位置，始终保留基本信息。这种技术不仅增加了数据的多样性，而且增加了数据量，从而有助于模型的训练。

• Distribution shift

人工智能方法应用中的一个普遍问题，即算法最初训练的underlying data分布不同于它在实现过程中遇到的数据分布。

• End-to-end learning

端到端学习使用可微分组件，如神经网络模块，直接将原始输入连接到输出，避免了手工制作输入特征的需要，并允许从输入直接生成预测。

• Generative models

生成模型估计underlying data的概率分布，然后可以从该分布中生成新的样本。例子包括变分自编码器、生成对抗网络、normalizing flows、扩散模型和生成预训练变压器。

• Geometric deep learning

几何深度学习是机器学习的一个领域，它处理几何数据，如图形或流形。它通常保留几何数据在变换下的不变性，可以应用于3D结构。

• Weakly supervised learning

弱监督学习利用不完善、部分或嘈杂的监督形式，如有偏见或不精确的标签，来训练人工智能模型。

• An inverse problem

逆问题是一种科学或数学挑战，其目标是decipher导致特定观察或数据集的潜在原因或参数。逆问题不是从原因到结果的直接预测，而是在相反的方向上运作，试图从结果观察中推断出原始条件。由于非唯一性和不稳定性，这些问题通常很复杂，其中多组原因可能导致类似的结果，数据的微小变化可能会极大地改变逆问题的解。

• Physics-informed AI

基于物理的人工智能是指将物理定律作为一种先验知识形式纳入人工智能模型的技术。利用深度学习模型强大计算能力求解基于PDE的物理系统，基于PDE的物理系统是对现实世界的近似，如圆柱绕流问题满足流体方程，求解流体方程能够更好理解圆柱在流场中的物理状态，之类的还有力学方程等等。这里主要总结了近几年来，基于数据和基于物理深度学习常用模型。

这里主要介绍物理驱动深度学习方法

（1）内嵌物理全连接神经网络

下面我将介绍内嵌物理知识神经网络（PINN）求解微分方程。首先介绍PINN基本方法，并基于Pytorch的PINN求解框架实现求解方程。

（1.1）PINN简介

神经网络作为一种强大的信息处理工具在计算机视觉、生物医学、 油气工程领域得到广泛应用, 引发多领域技术变革.。深度学习网络具有非常强的学习能力, 不仅能发现物理规律, 还能求解偏微分方程.。近年来，基于深度学习的偏微分方程求解已是研究新热点。内嵌物理知识神经网络（PINN）是一种科学机器在传统数值领域的应用方法，能够用于解决与偏微分方程 （PDE） 相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。

PINN方法

PINN的主要思想如图1，先构建一个输出结果为 的神经网络，将其作为PDE解的代理模型，将PDE信息作为约束，编码到神经网络损失函数中进行训练。损失函数主要包括4部分：偏微分结构损失(PDE loss)，边值条件损失(BC loss)、初值条件损失(IC loss)以及真实数据条件损失(Data loss)。

特别的，考虑下面这个的PDE问题，其中PDE的解 在 定义，其中 ：

同时，满足下面的边界

PINN求解过程主要包括：

• 第一步，首先定义D层全连接层的神经网络模型：

式中：

以及 为激活函数， 和 为权重和偏差参数。

• 第二步，为了衡量神经网络 和约束之间的差异，考虑损失函数定义：

式中：

， 、 和 是权重。 ， 、 和 表示来自PDE，初值、边值以及真值的residual points。这里的 是一组预定义的点来衡量神经网络输出 与PDE的匹配程度。

• 最后，利用梯度优化算法最小化损失函数，直到找到满足预测精度的网络参数 。

值得注意的是，对于逆问题，即方程中的某些参数未知。若只知道PDE方程及边界条件，PDE参数未知，该逆问题为非定问题，所以必须要知道其他信息，如部分观测点 的值。在这种情况下，PINN做法可将方程中的参数作为未知变量，加到训练器中进行优化，损失函数包括Data loss。

（1.2）算例实现

1.Burger 算例

式中：参数 。数值解通过Hopf-Cole transformation获得，如图2。该任务为已知边界条件和微分方程，求解 。

预测结果如图3-5所示。此外值得注意的是该算法对网络采用随机初始化，当初始化不好时，就会出现图5所示的训练误差。

2. NS方程

不可压缩流体可以由如下NS方程求解：

正问题：

• 参数 ,为已知参数，该问题为已知边界条件和微分方程，求解 。

考虑下图所示长方形区域内，求解不可压缩流场，特别地，流体方程的解同时满足divergence-free functions，可以表述为：

网络，输出应该为三维（ ），但在求解过程，可引入latent function， ，满足，

网络输出，则可表示为二维（ ）。

特别地，为了展示效果，这里我们选择10s下的流场对比预测效果。实验结果下图所示，通过训练，PINN能实现u，v，p的准确预测。

(2) 内嵌物理卷积神经网络

下面我将介绍物理驱动神经网络求解微分方程。首先介绍物理驱动神经网络基本方法，并基于Pytorch的深度学习求解框架实现求解麦克斯韦方程。该方法可视作一种物理驱动的麦克斯韦方程求解器，主要是利用物理损失替代传统深度学习模型监督学习损失项，通过训练一个网络，实现输入不同球面透镜形状输出对应的方程解，即建立了输入形状输出对应麦克斯韦方程解的代理模型。

(2.1) 问题介绍

麦克斯韦方程控制着光的传播及其与物质的相互作用。因此，利用计算电磁学模拟求解麦克斯韦方程对理解光与物质相互作用和设计光学元件起着至关重要的作用。对于线性、非磁性、各向同性材料没有电、磁电流密度的方程通常可以写成如下形式：

式中 为electric field vector， 为wavevector given a wavelength in the air， 为relative electric permittivity distribution(相对介质常数分布)。

(2.2) 物理驱动深度学习方法简介

神经网络作为一种强大的信息处理工具在计算机视觉、生物医学、 油气工程领域得到广泛应用, 引发多领域技术变革.。深度学习网络具有非常强的学习能力, 不仅能发现物理规律, 还能求解偏微分方程。近年来，基于深度学习的偏微分方程求解已是研究新热点。内嵌物理知识神经网络（PINN）是一种科学机器在传统数值领域的应用方法，能够用于解决与偏微分方程 （PDE） 相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。受PINN启发，可以将物理损失引入代理模型中代替模型的监督损失项，由此提出了物理驱动的神经网络代理模型。

物理驱动的神经网络代理模型

基于物理驱动的神经网络代理模型。深度学习模型，输入为相对介质常数分布，输出为三维的electric field vector分布。物理驱动深度学习方法具体步骤为

• 首先，定义求解预上的CNN模型。这里主要采用Unet网络。
• 定义训练集上的损失函数，这里主要考虑物理损失项，也可以加上数据损失项。物理损失项主要通过麦克斯韦方程所定义，微分算子可由不同阶数的差分格式表示，再利用不同卷积操作快速计算。
• 利用梯度下降算法，最小化损失函数，训练网络得到不同介质常数分布下的electric field。

(2.3) 算例实现

实验结果如下图所示，通过训练，模型能实现不同形状下的准确预测。

(3) 内嵌物理卷积循环神经网络

现有的大多数基于全连接神经网络的PINN方法对求解低维时空参数化PDE存在内在限制，此外，由于初始/边界条件是通过惩罚轻轻地施加的，解的质量严重依赖于超参数调优。下面我将介绍一种用于时空PDE的内嵌物理卷积循环神经网络，不需要任何标签数据。

(3.1) 动机

最近的一些研究表明，基于物理的离散学习方案，例如卷积神经网络(cnn)，由于其轻量级架构和在计算域上有效提前特点的能力，在建模PDE系统方面具有更好的可扩展性和更快的收敛性。对于时间无关系统(如稳态PDE)， Zhu等在矩形参考域应用CNN对PDE系统进行代理建模和不确定性量化(UQ)[1,2]。此外，[3]还提出了PhyGeoNet，通过物理域和参考域之间的坐标转换，对稳态偏微分方程进行几何自适应求解。另一方面，对于依赖时间的系统，大多数基于神经网络的解决方案仍然集中在规则/矩形网格或不规则网格中的数据驱动方法。较少的研究工作(例如，[4]中的AR-DenseED方法)探索了使用离散学习在没有任何标记数据的情况下求解偏微分方程的可能性。虽然现有的工作避开了对高质量训练数据的苛刻要求，但由于基本自回归(AR)过程的限制，它在误差传播方面并没有表现出令人满意的性能[4]。总体而言，文献中关于求解“小数据”时空偏微分方程的可扩展离散学习架构的相关研究仍然有限。

[1] Y. Zhu, N. Zabaras, Bayesian deep convolutional encoder–decoder networks for surrogate modeling and uncertainty quantification, Journal of Computational Physics 366 (2018) 415–447 [2] Y. Zhu, N. Zabaras, P.-S. Koutsourelakis, P. Perdikaris, Physics-constrained deep learning for high-dimensional surrogate modeling and uncertainty quantification without labeled data, Journal of Computational Physics 394 (2019) 56–81 [3]H. Gao, L. Sun, J.-X. Wang, Phygeonet: Physics-informed geometry-adaptive convolutional neural networks for solving parameterized steady-state PDEs on irregular domain, Journal of Computational Physics (2020) 110079. [4]N. Geneva, N. Zabaras, Modeling the dynamics of PDE systems with physics-constrained deep auto-regressive networks, Journal of Computational Physics 403 (2020) 109056.

(3.2) 方法介绍

针对现有求解时间依赖PDE方法精度不足问题，提出了一种用于低维空间特征提取和时间evolution学习的编器-解码器卷积长短期记忆网络。损失函数被定义为离散的PDE残差，而初值和边值在网络中被hard编码以确保强制满足（例如，周期性边界填充）。网络通过time marching的自回归和残差连接进一步增强。

首先，所提架构结合了以下优势:

• 编码器-解码器卷积长短期记忆网络(ConvLSTM)[60]，提取低维空间特征并学习它们的时间演变;
• 严格映射PDE解决方案的时间行进动态的全局残差连接
• 基于有限差分的高阶时空滤波，精确确定构建残差损失函数所需的PDE导数。
• 基于PhyCRNet的基本神经网络组件，我们还提出了周期性跳过编码器部分的PhyCRNet-s，以提高计算效率。其次，将初始/边界条件(I/ bc)硬编码到网络中。硬施加的物理约束极大地提高了边界上解的精度。
• 数值结果表明，与两种baseline相比，所提架构在解精度、外推性和泛化性方面具有优势。

• 第一部分

编码器包括三个卷积层，用于从输入状态变量中学习低维潜在特征 ，卷积网络应用relu激活函数，ConvLSTM层作为低分辨率潜在特征的时间传播器，初始隐藏/细胞状态从静止开始 。在低维变量上建立基本动态模型能够准确地捕获时间依赖性，同时有助于减轻内存负担。使用LSTM的另一个优点来自于输出状态的双曲正切函数，它保持平滑的梯度曲线，并将值推到1和1之间。因此，在中心建立卷积-循环格式后，我们直接基于上采样操作将低分辨率潜在空间重构为高分辨率量。特别是，由于与反卷积相比，sub-pixel convolution layer(即sub-pixel convolution layer)具有更好的效率和重建精度，因此应用了sub-pixel convolution laye。最后，添加了另一个卷积层，用于将有界输出缩放回原始感兴趣的大小。在这个缩放层后面没有激活函数。此外，值得一提的是，由于输入变量的数量有限，并且在超分辨率方面存在不足，因此我们在PhyCRNet中没有考虑批归一化。作为替代，我们用权值归一化训练网络来训练加速和更好的收敛性。

• 第二部分

受前向欧拉格式的启发，在输入状态变量 和输出变量 之间附加了一个全局残差连接。时刻i的学习过程表示为 ，其中 为训练后的网络算子，δt为时间间隔。时刻i的输出状态变量ui ' 1转换为时刻i ' 1的输入变量。实际上，这种输入-输出流程可以看作是一个简单的自回归过程。

• 第三部分，物理约束

表示中进行了时间evolution，而且在每个时间瞬间建立了输入和输出的传播。此外，引入ConvLSTM还可以帮助缓和严格的时间步进问题，与传统的数值方法相比，可以采用更大的时间间隔。这里，u0是给定的IC, u1, u2，， uT是要预测的离散解变量。接下来，剩下的挑战是如何计算导数项。我们应用无梯度卷积滤波器来表示离散数值微分，以近似感兴趣的导数项。例如，在本文中考虑的基于有限差分的滤波器分别是用于计算时间和空间导数的二阶和四阶中心差分格式，

• 第四部分，强制边界

对于边界条件，一般形式在损失函数中施加边界soft约束，但是不利于优化，优化结果可能也不满足边界条件。由此，可以采用强制约束方式对边界初值条件进行约束，通过在预测结果的边界填充特定值的方式施加约束。如图所示，在Dirichlet边界处施加常数填充，使边界处的值在训练过程中保持不变。对于Neumann边界，填充值通过有限差分由内部节点的解确定，虽然填充值随着训练过程不断变化，但严格满足Neumann边界定义的关系。

(3.3) 代码实现

下面二维burger算例是基于torch实现的算例结果。

算例1 2D Burgers equations

上式中 表示流体速度， ，求解域为 ，初值条件为由一个高斯随机场产生的周期性： ，真实解通过四阶 Runge-kutta time integration。训练PhyCRNet在[0,2]的持续时间内获得burger方程的1000个时间步的数值解。训练时间为24小时。此外，基于训练好的模型，我们预测了另外1000个时间步长的解决方案(在时间[2,4]内)，以测试我们提出的方法的可外推性。学习率从6°10°4开始，每50次衰减1%。

上图为实验结果，可以看出，在训练集上误差，PINN和所提方法都接近。但是在外推测试集上，所提方法明显优于PINN。

• Reinforcement learning

强化学习涉及顺序决策，并被表示为马尔可夫决策过程，该过程包括一个代理、一组状态、一个行动空间、一个环境(决定状态如何随行动变化)和一个奖励函数。强化学习智能体被训练成基于产生最大期望累积奖励的状态来选择最优行为。

• Surrogate models

代理模型是一种分析上易于处理的模型，用于近似复杂系统的特性。

• Inductive bias

归纳偏差是指指导人工智能模型决策过程的一组假设或偏好，例如卷积网络中的翻译等方差。

• Symmetries

方差，在物理学中也称为协方差，表征函数的对称性。An equivariant function数在特定组的操作下等价地变换输入。不变性是对称的另一种形式，如果一个函数在输入变换时输出保持不变，那么它对一组变换是不变性的。

Wang H, Fu T, Du Y, et al. Scientific discovery in the age of artificial intelligence[J]. Nature, 2023, 620(7972): 47-60.

十、人工智能的发展学派和当前主要前沿方向？

人工智能的发展方向：1、智能医疗；2、智能农业；3、智能物流；4、智能金融；5、智能交通；6、智能家居；7、智能教育；8、智能机器人；9、智能安防；10、AR与VR。

人工智能的发展,在不同的时间阶段经历了不同的流派,并且相互之间盛衰有别。目前人工智能的主要学派有下列三家:

1.符号主义( symbolicism ),又称为逻辑主义、心理学派或计算机学派,其原理主要为物理符号系统,即符号操作系统,假设和有限合理性原理。

2.连接主义( connectionism ),又称为仿生学派或生理学派,其主要原理为神经网络及神经网络间的连接机制与学习算法。3.行为主义( actionism ),又称为进化主义或控制论学派,其原理为控制论及感知—动作型控制系统。

会发现三者的根源依据存在着较大的差异性,也为后世的学派发展产牛了较为深远的影响。