簡易檢索 / 詳目顯示

研究生: 于一方
Yu, Yi-Fang
論文名稱: 使用強化學習的基於效用的資源分配以在異質網路中提供公平性和使用者滿意度
A Utility-based Resource Allocation Using Reinforce Learning to provide Fairness and User Satisfaction in Heterogeneous Network
指導教授: 王嘉斌
Wang, Chia-Pin
口試委員: 王嘉斌
Wang, Chia-Pin
郭文興
Kuo, Wen-Hsing
方士豪
Fang, Shih-Hau
口試日期: 2023/10/27
學位類別: 碩士
Master
系所名稱: 電機工程學系
Department of Electrical Engineering
論文出版年: 2024
畢業學年度: 112
語文別: 中文
論文頁數: 68
中文關鍵詞: 微小型基地台未許可頻段IEEE 802.11長期演進強化式學習
英文關鍵詞: Small cell, Unlicensed band, IEEE 802.11, Reinforcement learning, LTE
研究方法: 行動研究法
DOI URL: http://doi.org/10.6345/NTNU202400134
論文種類: 學術論文
相關次數: 點閱:82下載:2
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在下一代異構網絡中,5G NR基站將與Wi-Fi接入點競爭使用未許可的頻段,以提高傳輸速率。在3GPP LAA標準中,引入了一種名為LBT的技術,用於NR基站和Wi-Fi接入點的共存。然而,在LAA和Wi-Fi之間爭奪未許可頻段時,LAA中使用的LBT使競爭相對不公平;使用LBT的LAA的吞吐量遠高於Wi-Fi中使用的CSMA/CA。當Wi-Fi在與LAA共存時的性能主要取決於LAA如何配置LBT參數時,我們在本文中提出了一種基於強化學習的新型無線資源分配方案,該方案調整LAA的TXOP持續時間,以改善LAA和Wi-Fi之間的公平性。為了實現用戶公平性和系統吞吐量之間的均衡,這兩者通常是相互衝突且難以同時改善的,我們提出的基於RL的TXOP調整方案包括兩種策略:絕對公平和中度公平。如果最關心用戶的公平性,則可以利用提出的絕對公平方案以提供最佳的公平性性能。否則,如果需要兼顧公平性和吞吐量,則可以採用提出的中度公平方案以實現用戶公平性和系統吞吐量之間的平衡。
    此外,我們還引入了一種基於效用的公平方案,可以根據效用函數來保證用戶感知的服務質量(QoS)。模擬結果表明,所提出的方案能夠有效改善LAA和Wi-Fi之間的公平性,並同時考慮根據不同的網絡策略和用戶需求,系統吞吐量和用戶感知的QoS。

    In next-generation heterogeneous networks, the coexistence of 5G NR base stations and Wi-Fi access points in the unlicensed frequency bands presents a challenge. While both technologies aim to enhance transmission rates, the contention for these unlicensed bands is not always equitable. The 3GPP LAA standards introduce the LBT technology to facilitate the coexistence of NR base stations and Wi-Fi access points. However, the fairness of this contention is in question as throughput with LBT in LAA significantly outperforms CSMA/CA in Wi-Fi.
    The performance of Wi-Fi in this coexistence scenario heavily depends on how LAA configures the LBT parameters. To address this issue, the paper proposes a novel radio resource allocation scheme. This scheme adjusts the TXOP duration of LAA using RL to improve fairness between LAA and Wi-Fi. Striking a balance between user fairness and system throughput is a challenging task, as these goals often conflict and are hard to improve simultaneously.

    第一章 緒論 1 1.1 研究動機與背景 1 1.2 研究目的 1 1.3論文架構 2、 第二章 相關知識介紹 3 2.1 無線網路 3 2.2 IEEE802.11無線網路與未授權頻段 3 2.3異質性網路 5 2.4 LTE-LAA 5 2.5 強化學習 7 2.5.1強化學習Q-Learning 7 2.6 使用者滿意度 9 第三章 系統模型與演算法 10 3.1 系統模型-Wi-Fi 與LAA 共存機制 10 3.2 Wi-Fi DCF 10 3.3 LAA LBT 11 3.4 使用馬爾可夫模型分析Wi-Fi DCF 11 3.5 使用馬爾可夫模型分析LAA 14 3.6 共存Wi-Fi和LAA的吞吐量 17 3.6 使用者滿意度 20 3.7 強化學習Q-Learning設計 22 3.7.1 吞吐量絕對公平性強化學習之Q-Learning設計 23 3.7.2 吞吐量相對公平性強化學習之Q-Learning設計 25 3.7.3 使用者滿意度絕對公平性強化學習之Q-Learning設計 26 3.7.4 使用者滿意度相對公平性強化學習之Q-Learning設計 27 3.8 使用Q-Learning修改TXOP的演算法設計: 27 第四章 說明模擬參數設定與模擬結果 29 4.1 模擬環境與參數設定 29 4.2 Wi-Fi & LAA模擬結果 30 4.2.1 吞吐量為訓練基礎之演算法結果 35 4.2.2 以使用者滿意度為訓練基礎之演算法結果 44 4.3 Q-Learning演算法模擬結果比較 50 4.3.1 總吞吐量比較 51 4.3.2 平均使用者滿意度比較 54 4.3.3 吞吐量公平性比較 58 4.3.4 使用者滿意度公平性比較 62 第五章  結論 66 參 考 文 獻 67

    M. Cavalcante, E. Almeida, R. D. Vieira, S. Choudhury, E. Tuomaala,K. Doppler, F. Chaves, R. C. D. Paiva, and F. Abinader, “Performance Evaluation of LTE and Wi-Fi Coexistence in Unlicensed Bands,” in IEEE 77th Vehicular Technology Conference, June 2013, pp. 1–6.
    Junjie Tan, Sa Xiao, Shiying Han, Ying-Chang Liang, and Victor C. M. Leung, “QoS-Aware User Association and Resource Allocation in LAA-LTE/ Wi-Fi Coexistence Systems”, IEEE Transaction on Wireless Communications, VOL. 18, NO. 4, April 2019
    B. Chen, J. Chen, Y. Gao and J. Zhang, "Coexistence of LTE-LAA and Wi-Fi on 5 GHz With Corresponding Deployment Scenarios: A Survey," in IEEE Communications Surveys & Tutorials, vol. 19, no. 1, pp. 7-32, Firstquarter 2017.
    S. Saadat, D. Chen, K. Luo, M. Feng and T. Jiang, "License assisted access-Wi-Fi coexistence with TXOP backoff for LTE in unlicensed band", China Commun., vol. 14, no. 3, pp. 1-14, Mar. 2017.
    Jie Xiao; Jun Zheng ; Liangyu Chu ; Qilei Ren(Oct. 2018). Performance Modeling of LAA LBT with Random Backoff and a Variable Contention Window, IEEE 2018 10th International Conference on Wireless Communications and Signal Processing (WCSP), Hangzhou, China
    3GPP, “3rd Generation Partnership Project; Technical Specification Group Radio Access Network; Study on Licensed-Assisted Access to Unlicensed Spectrum,” 3GPP TR 36.889, V13.0.0, June 2015.
    B. Chen, J. Chen, Y. Gao and J. Zhang, "Coexistence of LTE-LAA and Wi-Fi on 5 GHz With Corresponding Deployment Scenarios: A Survey," in IEEE Communications Surveys & Tutorials, vol. 19, no. 1, pp. 7-32, First quarter 2017.
    Qualcomm Research LTE in Unlicensed Spectrum: Harmonious Coexistence with Wi-Fi, San Diego, CA, USA, Jun. 2014.
    R. Bajracharya et al., "LWA in 5G: State-of-the-art architecture opportunities and research challenges", IEEE Communication Mag., vol. 56, no. 10, pp. 134-141, Oct. 2018.
    M. Cavalcante, E. Almeida, R. D. Vieira, S. Choudhury, E. Tuomaala, K. Doppler, F. Chaves, R. C. D. Paiva, and F. Abinader, “Performance Evaluation of LTE and Wi-Fi Coexistence in Unlicensed Bands,” in IEEE 77th Vehicular Technology Conference, June 2013, pp. 1–6.

    下載圖示
    QR CODE