论文笔记
时间：2022-12-24 02:00:00
论文笔记
本文用于记录阅读一些论文后的收入。
Computation Offloading in Multi-access Edge Computing using Deep Sequential Model based on Reinforcement Learning
论文解决了哪些问题？
由于MEC卸载问题是NP-hard是的，现有的卸载策略大多是基于启发性算法，但随着MEC随着应用和无线网络系统结构的日益复杂，任何启发式卸载策略都难以完全适应MEC各种场景。为了解决任务依赖性和适应动态场景的挑战，本文提出了新的基础DRL卸载框架。各种应用程序背后的通用模式可以自动找到解决方案，从而在不同的场景中推断出最佳卸载策略。计划的目标是最小化服务的总体延迟。
二、如何解决？
本文利用深度强化学习解决问题，将状态空间表示为编码DAG与卸载计划相结合，S=(G,A1:i),G表示DAG,A1:i表示前i任务卸载计划的向量。将动作空间定义为A={1，0}，1表示卸载，0表示在本地执行。奖励定义为做出决定后的延迟估计负增量。
三、有哪些亮点？
虽然目前有基础DRL卸载方法，但都假设任务是独立的，考虑了一般任务的依赖性，并将其建模为无环图。这是第一次考虑一般任务MEC卸载问题。受以往旅行者问题的启发，使用DRL训练的S2S神将网络解决MEC任务卸载问题。
Online Learning for Offloading and Autoscaling in Energy Harvesting Mobile Edge Computing
论文解决了哪些问题？
为支持移动边缘计算提供电网供电是昂贵的，甚至在一些不发达地区是不可行的。因此，在越来越多的情况下，现场可再生资源需要作为主要甚至唯一的电力供应。然而，可再生能源具有高间歇性和不可预测性。本文将可再生能源纳入移动边缘计算，提出了动态负载卸载（集中云）和边缘服务器配置的长期系统成本最小化（包括服务延迟和运营成本）。
二、如何解决问题？
本文提出了一种基于决策状态的新方法（PDS）学习算法。该算法采用（离线）值迭代和（在线）加强学习分解，允许许批处理学习算法的许多组件，与一般强化学习算法相比具有良好的收敛性。
三、有哪些亮点？
使用了基于PDS算法后，基于PDS在贝尔曼方程中，预期操作与最小操作分离。如果我们能在决策后获得最佳值函数，那么最小值可以在没有任何系统动力学先验知识的情况下完成；该算法将环境动力学分为几个组件，使我们能够批量学习算法的许多组件，显著提高了收敛速度。
Deep Reinforcement Learning for Vehicular Edge Computing: An Intelligent Offloading System
论文解决了哪些问题？
智能汽车的发展给驾驶员和乘客带来了舒适和安全的环境。然而，如何在资源有限的车辆上执行密集的计算任务仍然面临着巨大的挑战。本文提出了一种基于深度强化学习的车辆边缘计算智能卸载系统，包括任务调度模块和资源分配模块两个模块。QOE最大化这两个模块的联合优化问题。
二、如何解决问题？
首先，建模通信架构和边缘计算架构。信道状态和计算能力是时变的连续值，下一刻的状态只与上一刻有关。为了便于分析马尔科夫链，它们被分散和量化为几个层次，并进一步建模为有限状态。此外，离散随机跳跃用于模拟车辆的可移动性。RSU与车辆的接触数服从泊松分布，参数表示移动强度。在此基础上，提出了车辆网络中交通调度和资源分配的联合优化问题。由于不同因素和变量之间的耦合，原始问题被分为两个子优化问题。对于第一个问题，多车辆的优先级是通过设计有效函数来确定的，第二个问题是一个问题RL问题，选用DRL中的DQN解决问题的算法。
三、有哪些亮点？
文中对DQN采用算法进行了改进dropout正则化与双深度Q网络相结合，解决了深度Q网络估计过高的问题。在任务调度问题中，为了解决卸载请求调度过程中的冲突，将调度过程建模为双边匹配模型，提出动态V2I匹配算法(DVIM)寻找最佳匹配。传统的静态匹配算法每次都需要匹配整个集合，既耗时又浪费计算资源。为了降低设计算法的计算复杂性，将被设计算法RSU k将拒绝用户添加到禁止列表中。默认情况下，这一轮不能再次选中它们。类似地，RSU k用接受列表记录当前接受的卸载请求。
Deep Reinforcement Learning for Offloading and Resource Allocation in Vehicle Edge Computing and Networks
论文解决了哪些问题？
本文的研究重点是设计车辆边缘计算(VEC)网络使车辆能够像传统的边缘服务器一样提供计算服务和服务。本文为用户提出了高效的计算卸载方案，并提出了最大限度地利用提出的优化问题VEC为了解决这一问题，还必须考虑车辆交通的随机性、动态通信需求和不断变化的通信条件。
二、如何解决问题？
本文将提出的问题表示为半马尔科夫过程，并提出了基于Q-learning为了避免维数保证问题，提出了基于维数的方法DRL获得最佳计算卸载和资源分配策略的方法。
三、有哪些亮点？
由于时间的不同，经验池中的数据会有复杂的层次变化，比如晚上车辆比白天少。随着时间的推移，转换数据的复杂性会发生变化，即使在同一位置，也会因时间的不同而有所不同。进一步完善DRL提出了模型辅助效率DRL框架，框架中的DRL代理根据学习的复杂性自适应地选择训练数据，而不是从经验池中随机选择数据。
A Double Deep Q-learning Model for Energy-efficient Edge Scheduling
一、文中解决了哪些问题？
降低能耗是边缘计算设备面临的一个重要而具有挑战性的问题。边缘计算的能量主要由其处理器消耗。本文的目标是降低处理器的能耗，一般分为静态能耗和动态能耗。
二、如何解决问题？
本文提出了双深度Q学习模型，并选择了它ReLU作为激活函数。该模型根据系统状态计算每个模型DVFS算法(即选择action）的Q值，Q值代表DVFS算法在超周期内的期望平均能耗，然后选择Q值最小的DVFS设置电压和频率的算法。
三、有哪些亮点？
1.利用ReLU提高训练效率，避免梯度消失，作为激活函数。
2.设计目标Q网络代替Q学习模型，生成更客观的目标Q值，更有效地训练参数。
Smart Manufacturing Scheduling with Edge Computing Using Multiclass Deep Q Network
一、文中解决了哪些问题？
在智能工厂中，边缘计算支持生产边缘的计算资源，以减少生产决策的响应时间。JSP大多数工作不考虑边缘计算。本文提出了一个基于边缘计算的智能制造工厂框架，并进一步研究了框架下的框架JSP（作业车间调度问题）
二、如何解决问题？
本文使用了DQN解决边缘计算框架JSP问题。云中心可以通过网关和雾设备连接到所有边缘计算设备，收集所有边缘设备的信息，然后确定所有机器的调度规则，然后发送到所有边缘设备。
三、有哪些亮点？
与以往只考虑一个决策的经典不同，DQN算法，本文将DQN将算法调整为多个决策(MDQN)，以满足所涉及问题的需求。
四、有哪些不足？
假设机器从不出现故障，忽略了部件的老化和损坏，那么实际应用的效果可能就不那么好了。
Traffic and Computation Co-Offloading WithReinforcement Learning in Fog Computing forIndustrial Applications
一、解决了哪些问题？
本文综合考虑了工业交通中的网络流量和计算量，探讨了能耗与服务延迟在车载网络中提供移动服务时的基本权衡，可以找到最佳的卸载策略，最大限度地减少能耗和服务延迟。
问题是什么？解决的？
在文中利用了马尔科夫决策过程的思想，提出了动态强化学习调度算法和深度动态调度算法来解决卸载决策问题。
三、有什么亮点？
在文中提出了一种新颖的模型来描述用户向公众贡献资源的意愿。
