多智能体投稿期刊

Expert systems with Applications是一份具有参考价值的国际期刊，专注于交流与世界各地工业、政府和大学应用的专家和智能系统相关的信息。该期刊的主要目的是发表有关专家和智能系统的设计、开发、测试、实施和/或管理的论文，并为这些系统的开发和管理提供实践指导。本刊将发表专家和智能系统技术及应用方面的论文，包括但不限于：财务、会计、工程、市场、审计、法律、采购与合同、项目管理、风险评估、信息管理、信息检索、危机管理、股票交易、战略管理、网络管理、电信、航天教育、智能前端智能数据库管理系统、医学、化学、人力资源管理、人力资本、商业、生产管理、考古、经济、能源和国防。有关多智能体系统、知识管理、神经网络、知识发现、数据和文本挖掘、多媒体挖掘和遗传算法的论文也将发表在该杂志上。拓展资料：1、普通期刊投稿有以下三种方式：为官网投稿。目前，大多数期刊都可以在线投稿。需要找到相应期刊的官网，有“在线投稿”窗口。准备好PDF或latex格式的稿件，按要求操作，非常方便。如果提交成功，它将立即通过电子邮件发送回执。几天后，编辑部将通过电子邮件发送正式收据，给出稿件的正式编号。您还可以在互联网上查看您稿件的当前处理状态。在线提交时，记得找正确的官网。有很多假的官方网站。如需登录，只需按要求登录即可。无非是提供一些个人信息。这很简单。记住您的登录号码和密码下次可以直接登录。2、可以通过电子邮件提交的期刊很多。一般在这个期刊上都能找到邮箱地址。发送时应注意需要通过电子邮件发送的“PDF”文件或“PS”文件。不要发送“DVI”文件，因为这个文件会显示不正确。另外，学习保护您的知识产权。除非收到您的手稿，否则不要轻易将“tex”文件发送给个人。3、邮寄投稿一些期刊要求将稿件的“硬拷贝”直接发送到编辑部，从 3 到 5 份不等。一般在“作者须知”中有相关说明。邮寄稿件时，您应该清楚地看到邮寄地址。寄往国外的稿件一般不需要注册。国内部分杂志要求在邮寄稿件的同时寄送稿件听证费，否则不予受理。如果是通过电子邮件或邮寄方式提交的，通常会在一个月内给您一个收据和您的稿件编号。如果您没有收到收据，您应该去电子邮件或信件查询。如今，电子邮件丢失是很常见的。即使通过电子邮件作为附件发送，也可能作为垃圾邮件被删除。4、不管你怎么投稿，我都建议你写一封求职信。这是很多同学会忽略的一个细节。简洁的投稿信会给编辑对你文章的第一印象加分不少。它还可以节省您的文章审阅周期，提高论文接受的概率。首先，我们可以通过百度、谷歌、360、搜狗等搜索引擎搜索目标期刊杂志。最常见的方式是使用“期刊名称”+“投稿方式”或“联系电话”查找相关期刊的联系方式。这种方法最大的好处是我们可以查询大量的目标期刊信息。通过筛选和不断的确认，我们最终可以定位到我们的目标期刊。但这种方法的缺点是费时费力。5、其次，中国知网、万方、VIP三大数据库平台不仅收集了大量的期刊杂志全文，还对收录的期刊进行了分类整理。一些期刊的联系方式可以在这些平台上找到。如果某些期刊找不到自己的联系方式，可以在检索此类数据库时使用组合查询。比如以“中国远程教育”+“投稿”的形式，获取期刊发表的投稿通知。（操作环境：QQ邮箱6.0.0，google版本 92.0.4515.131，CNKI手机知网appV8.0.3，万方数据手机版 v1.10.5 ）

相比大众所熟知的共同基金，对冲基金似乎要更神秘。为数不多的媒体报告也常常围绕“索罗斯英镑狙击”、“麦道夫庞氏”等负面话题，似乎，对冲基金是更高风险的投机行为。事实上，对冲基金因其更稳定的收益、更低的风险，成为机构资金和大规模家族资金的首选品种。比如，世界上最大规模的对冲基金桥水，为投资人管理着上千亿美元的资产。而且 ，对冲基金因为高比例的分红奖励，也吸引了大批非常优秀的基金经理。什么是对冲基金？还真很难用一句话来给对冲基金一个很准确的定义。美国投资人马拉比在《学习热爱对冲基金》一文中，总结了对冲基金的四个特征：1、私募。 对冲基金属于私募基金，不公开发行，有较高的投资门槛。2、业绩提成。对冲基金更考验基金管理者的资产管理能力，所以，投资人和投资管理者通常是共享收益，通常是2%的管理费，再加上20%的业绩提成。3、对冲。采用对冲的方式，屏蔽市场风险，只承担胜率较大的风险，以取得确定的收益。4、杠杆。可以借助杠杆放大风险和收益，根据投资人的风险承受能力调整预期收益和风险。对冲基金的投资范围很广，除非上市公司的股权以外，对冲基金基本上可以投资所有的有价证券，股权、期权、股指期货、大宗商品期货、外汇，等等各种金融工具及衍生品。投资组合的收益率在说对冲基金的盈利方式前，有必要先了解一个概念：投资组合的收益率。投资的目的是为了获得回报，也就是要有正的收益率，但是在进行任何一项投资之前，我们都无法预知未来到底是赚钱还是赔钱，这种不确定性就是投资的风险。通常情况下，风险与回报成正比，风险越高收益可能越高。那么，有没有可能既有高收益又有低风险呢？1952年，哈里.马科维茨最早提出了风险与收益同等重要的概念，开创了现代投资组合理论，标志着现代金融科学的开始。现代金融理论把投资组合的收益分为两部分，与市场无关的α收益，也叫做绝对收益，或者超额收益，与市场相关的β收益，也叫做相对收益。指数基金完全跟踪的股票市场，是单纯的β收益，只要市场上涨指数就会上涨，指数下跌自然也就会下跌。对冲基金想要获得的是更有价值的α收益，也就是在市场下跌的时候，要减少亏损甚至获得收益。易方达基金公司总经理刘震云曾这样比喻：α是肉，β是面。指数基金全是β，卖的是面；主动型公募基金有肉有面，卖的是包子；而对冲基金卖的就是纯肉。肉比包子贵，包子比馒头贵。很形象地说明了“为什么对冲基金的管理费很贵”这个问题。对冲基金如何盈利金融市场是一个创造奇迹的地方。1949年，美国投资人琼斯推出了世界上第一只对冲基金。到1968年，他的累计回报率几乎高达5000%，远远超过了同时代的其他基金管理者。在1965年之前的5年里，他的收益率325%，远远超过当时最热门的共同基金225%的收益率。（数据来源：《富可敌国》）琼斯是如何做到的呢？在一份招股说明书中，他用一个例子解释了赚钱的逻辑：假设有10万美元的资金用来投资，且近期内对市场持乐观态度。那么，琼斯的投资策略是这样的：1、借入10万美元，一共有20万美元；2、用其中的13万美元，买入好公司的股票；用剩余的7万美元卖空不好公司的股票；3、这样一来，净持有股票仅为6万美元。未来，如果股市平均上涨20%，因为选择了好公司的股票，所持有的股票可能可以获得30%的上涨。而做空部分，因为选择的是差公司的股票，可能只上涨了10%，从而减少了做空的损失。整个组合的盈利是 13万*30% -7万*10% = 3.2万美元。而万一未来股市平均下跌20%，因为选择了好公司，所持有的股票下跌幅度可能只有10%，而做空部分因为是差公司，下跌会更剧烈可能有30%的跌幅。这样一来，整个组合反而有盈利：7万*30%-13万*10% = 8000美元也就是说，不管是市场上涨还是下跌，琼斯的投资组合都能做到盈利。这是对冲基金最早也是最基础的盈利模式。经过之后长时间的改进和创新，现在的对冲基金，有了更多的投资策略，包括：1、宏观策略。 通过对宏观经济和金融环境分析的基础上，直接对股市、债券、外汇、大宗商品进行操作，主要做方向性的交易。先对原生资产的走势做出判断，然后通过一些流动性好的衍生产品，比如期货进行操作。比较少做对冲套利。典型的宏观策略基金是索罗斯的量子基金。2、统计套利。统计套利最核心的是交易模型，根据输入的市场参数，由模型计算出来应该买什么卖什么。爱德华.索普是第一个实现统计套利策略的人，也建立了第一个成功的量化交易对冲基金。在对冲基金的风云录上，留下了非常多的故事：至今仍是全球最大规模的对冲基金桥水，曾与索罗斯量子基金平分秋色的老虎基金，曾风靡一时的美国长期资本管理公司。。。背后是资本的盛宴，也有资本的血雨腥风。不管如何风云变幻，对冲基金在金融市场，仍然扮演着非常重要的角色，是资本管理非常重要的工具。因为中国金融市场的特殊性，对冲基金还没有成熟市场那么大规模，未来，随中国金融市场的创新和发展，相信会有更好的发展。（案例来源：《富可敌国》）康愉子优质财经领域创作者3.6万粉丝 · 14万赞搜索新手买基金怎么买基金七不买三不卖口诀传奇对冲基金是什么一分钟看懂私募基金基金下周一会大跌吗支付宝买基金十大禁忌

IJCAI 2019 奖项全部出炉！中国接收论文居首2019年08月14日 · 优质科技领域创作者8月10日-16日，第28届国际人工智能联合会议IJCAI在中国澳门隆重召开。来自全球各国3000 余名 AI 研究人员和专家齐聚中国澳门，共同探讨人工智能的现状和未来。IJCAI 2019 奖项全部出炉！中国接收论文居首会议现场IJCAI作为AI领域的首个国际性的学术会议，一直以来都被该领域的研究者们视为发表论文和参加会议的重要殿堂。本届大会共收到4752篇有效提交论文，最终收录论文850篇，接收率为17.9%。虽然，今年的论文提交量和录取量都创历史新高，但录取比率却是近10年最低。今年IJCAI的投稿总数相较于去年增加了约37%（去年论文投稿量3470篇、收录量710篇），而录取数仅比去年多了141篇。可以看出，一方面AI正受到越来越多研究者的关注，另一方面论文被接受的难度也在不断加大，但论文的含金量也得到了大大提高。IJCAI 2019 奖项全部出炉！中国接收论文居首大会历年来接收论文数量从通讯作者来看，来自中国的研究人员为本届IJCAI贡献了主要力量。据大会官方统计，今年的接收论文中，38%的论文来自中国，48%的论文来自亚洲。IJCAI 2019 奖项全部出炉！中国接收论文居首根据通讯作者所在地区划分：中国327篇（38%）中国香港15篇美国169篇（20%）欧盟152篇（其中包括英国32，法国29，意大利19，德国28）澳大利亚37篇加拿大14篇其他亚洲国家：日本18篇，新加坡18篇，印度20篇，以色列8根据论文主题划分，机器学习投稿2516篇，接收438篇，依旧是最热门的子领域。其次是计算机视觉，提交833篇，接受117篇；机器学习应用提交785篇论文，收录144篇论文。多智能体系统、自然语言处理、人类和AL、Al中的不确定性等都成为此次热门投稿论文。IJCAI 2019奖项全部出炉在13日上午的开幕致辞中，IJCAI2019理事会主席、香港科技大学计算机科学与工程学系主任杨强教授为各位获奖者颁发了奖项。

论文题目： Policy Distillation and Value Matching in Multiagent Reinforcement Learning 论文链接 ： 研究对象 ：多智能体协作系统 研究动机 ：现有的关于多智能体强化学习（multi-agent reinforcement learning, MARL）的工作，主要通过集中式评价机制（centralized critic）或智能体之间的通信来共享信息，从而提升学习效果。但是这些工作通常不会研究智能体之间如何通过信息共享来解决维度灾难（the curse of dimensionality）的问题。 假设 ：多智能体问题可以被分解成一个多任务问题，这样每个智能体可以只在整体状态空间的子集中进行搜索，而不用在整个状态空间中搜索。这种假设的好处是可以大大缩小系统的搜索空间，从而加快学习速度。 主要工作 ： 基于以上假设，通过蒸馏（distillation）和值匹配（value-matching）的方法将同质智能体的知识进行整合，提出一种新的multi-agent actor-critic算法。 所谓同质多智能体，就是状态空间和动作空间都是一样的智能体，比如无人机和无人机组成的就是同质智能体，无人机和无人车组成的就是异质多智能体。 问题背景 ： 多智能体系统中，智能体独立地在同一个环境中行动，但是同时彼此也会影响到对方的决策。因此，如果直接将单智能体强化学习技术应用到多智能体中，也就是所谓的independent learning，学习过程将会不稳定。因为传统的单智能体强化学习假设外部环境的变化是稳定的，而在多智能体系统中，任何一个智能体策略的改变，都会影响到其它智能体的学习。为此，研究人员常常采用一种集中式训练和分布式执行的架构来实现MARL。但是这就会存在一个问题，就是当智能体的数量增大的时候，整个系统的状态空间和动作空间会指数增长，智能体的搜索空间也变得特别大。 对每个智能体来说，有的状态对最优策略的求解并不起作用，因此它并不需要对整个状态空间进行搜索。一个高效率的搜索可以帮助智能体缩短训练时间，但是现有的方法却没有一个通用的方法来解决这样的问题，这也是现在MARL研究中智能体数量受到限制的原因之一。 解决思路： 在训练中，共享智能体之间的经验数据等信息，通过策略蒸馏（Policy distillation）的思路充分利用并学习新的策略。 关于policy distillation，一开始提出来是为了解决单智能体-多任务强化（mutli-task reinforcement learning, MTRL）问题，论文链接： 。因此本文先将单任务-MARL问题看成单智能体-MTRL问题，这样就可以利用policy distillation方法来寻找最优策略了。 但是怎么理解这种假设呢？比如三个智能体A、B、C，任务是分别以最短的时间到达指定位置L1、L2、L3，这是一个单任务-MARL问题。现在将这个问题看成一个智能体A，同时具备以最短的时间到达L1、L2、L3的能力，这就是一个单智能体-MTRL问题了。 算法细节： 由于要用到policy distillation，所以本文用的是随机策略（stochastic policy）。对于连续动作问题，作者将Soft Actor-Critic算法由单智能体扩展到多智能体。同时还要将actor的输出利用softmax函数转换为概率分布的形式。 Policy Distillation:  蒸馏策略的损失函数为                       （1） 注意（1）式中的 都是概率分布，并不是策略本身。从replay buffer中只采样变量 ，而不采样 。这是因为replay buffer中的 可能是次优的，而通过这种方式直接从 中遍历动作空间中的所有动作，更容易找到最优动作。每次蒸馏之后，所有的智能体策略都更新为 （硬更新）。这样，智能体 和其它智能体就实现了信息的共享。 策略蒸馏的好处是，即使智能体 有的状态没被采样过，但是其它智能体采样过，那么这个状态的信息就可以通过其它智能体策略的蒸馏间接地传递到智能体 中。 Value Matching:  光有蒸馏策略对策略进行更新还是不够的，如果策略学习加入了蒸馏环节，而值函数的学习用传统的方法，显然会产生分歧。因此，也需要对值函数进行调整。 需要指出的是，对于合作任务的同质多智能体，由于其状态空间和动作空间一致，同时共享一个reward，所以它们的最佳策略是相同的。基于这个前提，作者提出value matching的方法来缩小搜索空间。 传统的集中式训练，其值函数的输入为所有智能体的观测和动作，如 和 。并且这些输入的顺序一般是固定的，例如对状态值函数来说，就会满足 。但是根据本文的设定，即多智能体是同质的，而且共享一个reward函数，因此值函数输入的顺序是不影响输出的具体值的。 例如对于上图中的两个智能体，假设状态A（ ）的值函数已经学出来了为 ；状态B是状态A的对称形式， ，根据同质智能体合作任务的假设，这两个状态的值函数应该相等，即 。扩展到具有 个智能体的情况下，满足                 (2) 其中 表示 所有顺序的排列组成的集合。这样，一旦某个状态的值函数学到了，以此为监督信息，训练value-matching的评价网络，则对应的不同组合的对称状态值就都有了。Policy的Distillation和critic的value-matching，合起来就是DVM。 为了训练这个新的值函数（蒸馏值函数），本文使用的是均方误差损失函数（MSE）， .                      (3) 其中， 表示matched value function（匹配值函数）的参数。 和蒸馏策略类似，匹配值函数不需要遍历所有的状态就能表征状态空间中的知识。本文还指出，很多MARL方法使用Q值函数来作为critic，以上的方法同样适用，只需要保证状态和动作是一致的就行。 Multi-agent Soft Actor-Critic （SAC）: Actor-Critic（AC）大家都很熟悉，那什么是Soft Actor-Critic呢？ SAC最早出现在ICML2018中，论文链接： SAC不仅的优化目标不仅是最大化期望累积奖励，还要最大化信息熵（entropy），这样有利于平衡智能体的学习和探索。即使动作的选择足够随机，也能保证任务的学习。SAC的actor输出的是随机变量，这也是本文为什么选择使用SAC框架的原因。接着，作者SAC扩展到多智能体，提出MA-SAC，同时加入前面提到的DVM。 作者在文章中指出，这里使用Policy Distillation方法来训练策略网络，因此其actor网络输出的都是概率分布。对于MADDPG这样的确定性策略的算法，由于策略网络输出的是连续的动作值，因此无法计算KL损失。 本文中对于连续动作控制问题，策略函数输出的是一定均值和方差的高斯分布，然后从这个高斯分布中采样得到一个连续的动作值。 本文提出的算法流程如下：实验环境： 总结： 本文提出的DVM方法，主要用于同质协作多智能体之间的信息共享和传递，通过另外学习一个单独的蒸馏策略和蒸馏值函数，将多智能体单任务问题看成单智能体多任务问题。作者认为这种方法可以有效降低智能体的状态搜索空间，从而加快学习速度。即使一些状态某个智能体没遇到过，只要其它智能体遇到过就行。蒸馏策略可以将其它智能体学习到的知识整合到一个策略中，从而实现知识在智能体之间的共享。而对于连续动作无法计算KL损失的问题，作者使用MA-SAC框架实现MARL，从而继续利用DVM来学习。