2023年12月28日学习记录

1、今日计划学习内容

• 读一篇文献，要有个人思考
• 整理一下流量预测的代码资源
• 学习时不玩手机 🤡

开始今日学习👍

2、今日学习内容

文献阅读—A Data-driven Base Station Sleeping Strategy Based on Traffic Prediction

0、选这篇文章的原因

在我读的综述文献里面指出了cellular traffic prediction 的显著应用就是设计sleeping strategies for BSs。当基站的流量需求比较低的时候，部分基站可以关闭或者可以在保证用户的服务质量的同时使用low-function 状态来节约能量。我想看看具体的研究是怎么做的。

1、文章的主要内容和贡献

• 首先提出了时空小区流量预测模型：使用multi-graph convolutional network(MGCN)来提取空间特征，使用multi-channel LSTM提取时间特征。

• 对MBS和SBS进行建模，使用clustering(?)和transfer learning 来衡量MBS和SBS的容量（我的理解是他是不是把基站进行了聚类，不同的基站能够提供的容量不同，往下看）

  • 问：为什么要对基站的容量进行建模？因为原始数据集不提供。
  • 问：聚类的依据是什么？基站数量，POI数量，最大流量->Kmeans算法
    
  • 问：迁移学习指的是什么？使用MBS的流量特征表征SBS的流量特征

• 最后提出来BS休眠策略，来最小化网络的功耗。从公共数据中收集一些有限的信息，比如总流量和基站数。基于小区的流量预测和基站的容量建模寻求一个区域内基站的最佳数量(?)
  优化公式：

1. 目标是最小化激活的基站的能量消耗
   $$\underset{n_m,n_s}{\min }{n}_m{P}_m+n_s{P}_s$$
2. 约束条件
   • 激活的基站应该能提供足够的容量，满足容量需求并且有剩余
     $$C_m(\vec{r},n_m)+C_s(\vec{r},n_s)?\mu +\Delta$$
   • 激活的宏基站数量限制
   • 激活的微基站数量限制
     

2、使用的数据集

• Telecom Italia 意大利电信 2015
  链接指路
  • 数据集介绍：
    • This dataset was collected in the city of Milan, Italy, from November 1, 2013, to January 1, 2014.
    • 空域被分为100x100的网格，每个网格是235x235平方米
    • 在每个网格中记录了三种流量信息：short message service(SMS), call service(Call), Internet service
    • 原始数据包括Square ID, Time stamp, SMS-in, SMS-out, Call-in, Call-out and Internet
    • 这个数据集可以用于单变量、多变量的时空预测流量问题
• POI（points of interest）信息
  POI information was recorded using Google Places API. Available:https://developers.google.com/maps
  每个方格手机12个不同的POI，包括银行，酒吧等数量
• 基站数量信息
  BS information is obtained from OpenCellID. Available: https://opencellid.org/
  记录每个网格的基站数量
• 社交活动：
  Social activity is collected through Dandelion API. Available:
  https://dandelion.eu
  社交活动对于流量预测有着很大的影响

3、结果及分析

ARIMA模型的偏差最大，因为ARIMA特别关注过去时刻的平均值。此外，LSTM优于ARIMA，因为LSTM能够捕获时间相关性。此外，ConvLSTM能够同时提取时空特征，因此具有比LSTM更好的预测性能。最重要的是，所提出的MGCNLSTM的性能最好，特别是图13中小区流量预测曲线的波峰和波谷。这是因为MGCN-LSTM利用了多图卷积，从各个方面捕捉空间特征。

误差的CDF图：

对于SMS流量，ARIMA、LSTM、ConvLSTM和MGCN-LSTM的绝对误差分别小于1335、622、158、103，概率为80%。与ConvLSTM相比，**MGCNLSTM的性能提高了34.8%。**同样，在图13(e)和图13(f)中，MGCN-LSTM比ConvLSTM分别提高了约47%和11.6%。

流量预测的优势：

• 通过GCN模块，采用多图技术提取多个空间特征
• 时域预测涉及POIs、BSs、社会活动和多周期特征
• 采用注意机制对提取的特征进行优化

结论：网络容量取决于BS数量，和环境差异无关（POI数量，社交活动数量，基站数量）
宏基站的数量增加，网络容量和基站数量成线性增长趋势，但是在成熟中心，容量不会一直随基站的数量增加而增加，而是逐渐趋向饱和，这是因为小区密集化过程的干扰也不断增加
但是微基站的容量随基站数量的变化曲线却没有饱和区属，因为微基站的传输功率较低，告饶引起的容量饱和只出现在超密集网络的场景中，米兰的流量数据微基站并没有达到超密集的程度（我想在超密集网络的场景下做诶）

结论：激活的微基站数量和流量的变化有关，宏基站变化不大。因为宏基站目标是无缝覆盖小区和用户移动，我们的策略是激活最少数量的宏基站，但流量负载超过基本水平时，才会激活更多的宏基站微基站增加网络容量，由于微基站的功耗是远小于宏基站的，所以肯定会为了节能尽可能多的启动微基站来提高网络容量。
结论：非线性模型和穷举搜索得到的最优数很接近。二次函数比线性函数更加精确
结论：郊区的流量比城市的流量小，所以基站数量也少

结论：能耗和激活的基站数量有关

4、郭郭有话说

这篇文献就是通过时域和空域对流量进行预测，用预测的结果来决定基站激活的数量，进而降低消耗。其中基站的容量通过建模来获得，使用聚类把不同地区的基站聚为一类，然后使用迁移学习，农村包围城市的方法来得到全部基站的容量信息。

整理流量预测的代码

• paper with code
  搜索词条：cellular traffic prediction

1. Towards Energy-Aware Federated Traffic Prediction for Cellular Networks_2022
   链接：link here
   描述：我们通过提出一种新的可持续性指标来评估ML模型的可行性，从而解决了联邦学习中准确性和能耗之间的权衡。然后，我们使用来自 Barcelona, Spain地区基站(BS)站点的实际测量数据，在联邦场景中全面评估了最先进的深度学习(DL)架构。
   github链接：link here
   论文：Federated Learning for 5G Base Station Traffic Forecasting
   大赛:Federated Traffic Prediction for 5G and Beyond Challenge link
   代码说明：该代码可以作为联邦时间序列预测的基准。我们专注于原始LTE数据，并使用三个不同基站在不同时间间隔上的测量来训练一个全局联合模型。具体来说，我们在具有分布、数量和时间倾斜的非id设置上实现了6种不同的模型架构(MLP、RNN、LSTM、GRU、CNN、双注意力LSTM自动编码器)和9种不同的联邦聚合算法(SimpleAvg、MedianAvg、FedAvg、FedProx、FedAvgM、FedNova、FedAdagrad、FedYogi、FedAdam)。
   代码：pytorch python3.8
2. Adaptive（适应的） Hybrid（混合的） Spatial-Temporal Graph Neural Network for Cellular Traffic Prediction_2023
   链接：link here
   描述：蜂窝通信量预测是智能通信网的重要组成部分。然而，由于频繁的用户移动性和复杂的网络调度机制，蜂窝流量通常继承复杂的时空模式，这使得预测非常具有挑战性。尽管最近提出了一些先进的算法，如基于图的预测方法，但它们经常基于静态或动态图来建模空间依赖性，而忽略了由交通生成引起的共存的多个空间相关性。同时，一些研究缺乏对蜂窝通信模式多样性的考虑，导致预测结果不够理想。在本文中，我们提出了一种新的深度学习网络架构，自适应混合时空图神经网络(AHSTGNN)，以解决蜂窝流量预测问题。首先，我们应用自适应混合图学习来学习信号塔之间的复合空间相关性。其次，我们实现了一个具有多周期时间数据输入的时间卷积模块，以捕获非线性时间依赖性。此外，我们还引入了一个额外的时空自适应模块来克服信号塔的异质性。我们在两个真实蜂窝流量数据集上的实验表明，AHSTGNN的性能明显优于最先进的技术，这说明了我们的方法在时空蜂窝流量预测方面具有优越的可扩展性。
   论文：Adaptive Hybrid Spatial-Temporal Graph Neural Network for Cellular Traffic Prediction
   数据集：米兰数据集（公开的）
   代码：AHSTGNN
   Requirements:
   python 3.9
   numpy == 1.20.3
   scipy == 1.7.3
   pandas == 1.5.3
   torch == 1.11.0
3. Dual Attention-Based Federated Learning for Wireless Traffic Prediction
   链接：link here
   描述：巴拉巴拉流量预测很重要，现有的流量预测方法大多使用集中式训练结构，需要大量的流量数据，这样就有隐私问题的隐患，提出了一个流量预测架构叫做：Dual Attention-Based Federated Learning（FedDA），这个高质量的预测模型是由多个边缘客户端协同训练的。为了同时捕获各种无线通信模式并将原始数据保存在本地，FedDA首先使用一个小型增强数据集将客户端分组到不同的集群中。然后，训练准全局模型并作为先验知识在客户端之间共享，旨在解决联邦学习面临的统计异质性挑战。为了构建全局模型，我们进一步提出了一种dual attention方案，即通过聚集簇内和簇间模型来代替简单地平均局部模型的权重。我们在两个真实世界的无线流量数据集上进行了广泛的实验，结果表明FedDA优于最先进的方法。这两个数据集的平均均方误差性能增益分别高达10%和30%。
   论文：Dual Attention-Based Federated Learning for Wireless Traffic Prediction
   数据集：First one Milano and second one Trentino
   github代码：link here
4. Long term 5G network traffic forecasting via modeling non-stationarity（非平稳） with deep learning_2023
   链接：添加链接描述
   描述：流量的增长超过了网络的扩张，这种不匹配可能会降低网络质量并导致严重的性能问题。为了降低风险，运营商需要长期流量预测，以便提前几个月实施网络扩展计划。然而，长期预测水平暴露了序列数据的非平稳性，从而降低了现有方法的性能。我们通过开发深度学习模型Diviner来解决这个问题，Diviner将平稳过程整合到一个设计良好的分层结构中，并对具有多尺度稳定特征的非平稳时间序列进行建模。我们展示了Diviner在5G网络流量预测方面的显著性能改进，对具有复杂流量模式的大型端口进行了详细的月级预测。大量的实验进一步证明了它在不需要任何修改的情况下对各种预测场景的适用性，显示了解决更广泛的工程问题的潜力。
   论文：Long term 5G network traffic forecasting via modeling non-stationarity with deep learning
   数据集给出了
   github代码：link here
   Requirements
   Python 3.6+
   numpy == 1.21.6
   pandas == 1.3.5
   scikit_learn == 1.0.2
   torch == 1.12.0+cu113

搜素词条：cellular traffic forecasting

5. FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting_2020
   链接：link here
   描述：多元时间序列预测是交通管理、蜂窝网络配置和定量金融等领域的重要问题。当存在捕获时间序列之间关系的可用图表时，就会出现这种问题的特殊情况。在本文中，我们提出了一种新的学习架构，可以在不需要图知识的情况下实现与现有最佳算法竞争或更好的性能。我们提出的体系结构的关键要素是可学习的全连接硬图门控机制，它可以在交通预测应用中使用最先进的、计算效率最高的全连接时间序列预测体系结构。两个公共交通网络数据集的实验结果说明了我们的方法的价值，消融研究证实了架构中每个元素的重要性。
   github代码：link here

• kaggle：

6. Forecasting Mobile Network Traffic RNN
   链接：link here
   数据集：Telecommunications - SMS, Call, Internet - MI

• github：

7. 一个好像没有写完的demo：LSTM
   链接：link here
8. Spatio-Temporal-mobile-traffic-forecasting_2020
   链接：link here
   硕士毕业论文，看起来还不错

• medium:

9. Cellular Traffic Prediction using Deep Neural Network(LSTM)
   链接：link here
   目前只找到这么多了，之后可以继续找😕

3、今日学习总结

今天读了文献，对代码进行了整理，效率比较低，因为一直想看抖音hhh
下次还是要把手机拿远一点！
回去，原神启动！
在这里插入图片描述

ps 有没有深度学习研究生搭子一起假期发论文！🤡