隨著信息技術的不斷發展，無線網絡得到了非常廣泛的應用，為人們的工作和生活帶來了極大的便利。但是無線網絡中存在大量的復雜異構網絡，并且具有時空動態變化的特點，這就給傳統的無線網絡接入技術造成了不小的困難，限制了無線網絡的有效接入，這就會給用戶接入體驗帶來較差的影響。因此，為了提高無線網絡的接入質量，通過將強化學習的接入控制技術有效的運用于無線網絡的接入控制中，能夠在一定程度上提高無線網絡的接入質量，對于從事相關工作的技術人員具有一定的借鑒意義。

　　關鍵詞：無線;智能

　　隨著科學技術的不斷發展，無線網絡獲得了非常廣泛的應用，尤其是復雜異構網絡能夠適用于不同場景，例如連續廣域覆蓋、熱點高容量以及高可靠低延時等，但是由于用戶終端性能和業務的需求不盡相同，不同用戶在不同場景中的體驗不盡相同。在當前的無線網絡中，主要有2G、3G、4G、5G以及Wi-Fi等，不同類型的無線網絡所采用的接入技術不盡相同。同時，隨著無線網絡用戶數量的逐漸增加，這就需要對網絡容量進行更進一步的擴充。為了滿足不同用戶連接無線網絡的需求，往往就會在傳統的站點上增設蜂窩和終端直通類似的應用站點，這就會導致無線網絡發生一定程度的重疊。隨著無線網絡用戶的逐漸增加，其密度也會隨著增加，這就會進一步增加不同無線網絡之間的發生干擾的概率，進而降低用戶的連接體驗。在無線網絡傳統的連接過程中，所采用的接入技術主要是建立在網絡-頻譜的基礎之上，通過對無線網絡的接入點進行科學合理的分配，進而確保設備能夠順利的接入到無線網絡中。但是在無線網絡實際的接入過程中，由于在無線網絡中存在一定數量的異構網絡，而用戶接入異構網絡往往是一種隨機行為，進而會造成不同網絡的連接數量之間存在較大的差別，這就會嚴重影響用戶連接無線網絡的體驗。當前，傳統的無線網絡“網絡-頻譜”連接形式所能提供的連接點數量非常有限，已經無法滿足不斷增加的連接需求，這就會嚴重影響無線網絡連接能力的有效發揮，進而給用戶帶來了較差的連接體驗。為了改善用戶在無線網絡連接過程中的體驗，就必須打破傳統的無線資源管理和服務接入控制的僵化機制，通過將強化學習的接入技術有效運用于無線網絡的接入過程中，進而能夠在一定程度上提高無線網絡的連接質量。

　　1強化學習在無線網絡中的應用

　　強化學習是一種能夠在非確定環境下做出符合發展變化要求決策的一種工具，通過將其有效的運用于異構網絡的接入控制過程中，能夠根據網絡的動態性進行有針對性的調整變化，進而能夠智能的協調用戶與基站之間的關系。

　　1.1強化學習的分類

　　(1)根據強化算法與模型之間的依賴關系可以將強化算法分為基于模型的強化算法和無模型的強化算法，其中，前者通過利用與環境交互而形成的數據學習系統對數據進行科學合理的分析，再根據模型做出相應的決策;而后者則直接根據與環境交互而形成的數據分析結果，對自身的行為進行科學合理的調整。在實際的應用過程中，這兩種算法各有自身的優勢，通常來說基于模型的算法效率相對較高，這是由于智能體能夠對環境中的各種信息進行系統全面的分析利用;但是并不是所有的任務都能建立相應的模型，因此，只能采用無模型的強化算法，后者具有更加廣泛的通用性。(2)根據策略更新和學習方法的不同，強化學習算法又可以細分為基于值函數的強化學習算法、基于直接策略搜索的強化學習算法以及Actor-Critic(AC)的方法。其中，基于值函數主要是指學習值函數，并通過值函數的貪婪得到相應的控制策略，即在任意的狀態下，值函數的最大動作表征為最優策略�；�于AC的強化學習算法在實施過程中，主要是將前兩種算法進行有機結合，進而得到最優的處理結果。(3)強化學習算法根據環境所反饋的回報函數是否已知的不同，能夠進一步細分為正向和逆向強化學習算法。其中，正向強化學習是指在實際的學習過程中，所選用的回報函數經過了人為指定，在進行學習之前已經知道。但是在較多的情況下回報函數往往無法進行人為指定，這就需要通過逆向強化學習，由函數自身進行相應的學習進而得到相應的回報函數。

　　1.2強化學習在無線網絡中的應用

　　無線網絡連接中的頻譜資源是有限的，而隨著無線網絡連接用戶數量的不斷增加，為了能夠有效的接入到無線網絡中，不同的用戶之間就要進行激烈的連接競爭，主要在競爭中獲得優勝才能有效的接入到無線網絡中，這就會導致無線網絡的連接狀況變差，嚴重影響用戶的連接體驗。同時，無線網絡在連接過程中的狀態不是一成不變的，而是會發生連續性或離散性的不斷變化，通過將無線網絡的連接過程進行相應的建模，進而對無線網絡的整個連接過程進行系統全面的有效模擬學習。其中，建立的連續時間MDP模型要求無線網絡的整個連接過程能夠比較快速的完成，同時，還要完成在線學習過程。通俗的講，普通強化學習是在MDP建模的基礎上發展而來的，其能夠解決的主要問題是序貫博弈，在實際的應用過程中要予以充分的重視。

　　2強化學習的無線網絡智能化接入控制技術

　　2.1基于毫米波技術的智能切換技術

　　(1)強化學習的獎勵函數設計在無線網絡的接入控制過程中，由于獎勵函數與切換次數之間具有緊密的關系，導致其在實際運用過程中的反映難度較大。因此，通過對獎勵函數進行相應的改善，進而達到最小化Hn的目的。所建立的獎勵函數如下所示：上述函數所包含的物理意義主要是，當用戶(UE)n選擇切換至基站(BS)k，在發生下次切換的這段時間內所傳數據的總量。(2)估計期望收益對于服務類型相同的UE而言，可以采用同一類型的回報函數，將其表示為，其中，Cn類中每個UE的采用共同更新類回報函數。在實際更新過程中的定義如下所示：上式中的表示當前BSk被服務類型為Cn的用戶所選中的次數。通過采用類回報函數用來表征服務類型為Cn用戶的回報函數值，這就能夠從一定程度上避免單個用戶無法及時對的相關問題進行更新。(3)基站選擇策略根據強化學習中探索和利用的相關定理，在無線網絡的接入控制過程中，不得總是選擇當前回報函數期望值最大的基站進行切換。為了能夠對強化學習過程中形成策略的優劣進行科學合理的衡量，則可以借助Regret來進行實現，其中Regret能夠表征所采取的策略與最優策略之間的差距。將UEn在策略π的要求下進行W次切換處理，所得到的Regret結果表示如下式所示：上式中的表示按照最優無線網絡接入策略π在某一時刻所能獲得的回報，根據計算可以得到最優的Regret結果是關于切換W次數呈對數數量級的。算法UCB已經被證明：無論何種形式的reward函數都可以實現對數量級的Regret。在UCB算法中的策略選擇方式為：agent每次選擇機器j，而j的計算公式如下所示：上式中的表示機器j所獲得的平均回報值，Wj表示當前機器j被選中的次數，而W表示目前為止總的執行決策的次數。

　　2.2Multi-RAT智能接入技術

　　為了能夠在復雜和動態的無線網絡環境中獲得最優化的系統吞吐量，同時還能滿足用戶的QoS需求，通過將強化學習的Multi-RAT智能接入技術有效運用于無線網絡的接入控制過程中，進而能夠對實際的網絡環境進行動態的感知，從而為用戶進行有針對性的信道資源分配，其具體的實施過程如下所示。多無線電的整個接入過程具體表現為一個多主體的隨機過程，在這個環境中，能夠對其他主體所做出決策的回報值進行有效的觀測。基于該多主體的隨機過程和兩層決策框架，無線電/信道選擇過程(RSP)和資源分配過程(RAP)中分別存在著同時博弈和序貫博弈的過程。在第1階段RSP的整個過程，其主要的工作目的是避免碰撞和亂序情況的發生，進而能夠對決策空間進行科學合理的壓縮;隨著強化學習算法的不斷收斂就進入到第2階段RAP過程，該階段是在有限的網絡資源和多樣的用戶喜好條件下，利用非常有限的信道資源為不同的用戶提供有針對性的服務，并且使得系統平均吞吐量最大化。

　　3結語

　　總而言之，隨著信息技術的不斷發展，無線網絡得到了非常廣泛的應用，為人們的工作和學習帶來了極大的便利。但是在無線網絡實際的應用過程中，其資源非常有限，而需要進行接入的用戶數量較多，為了能夠對無線網絡資源進行充分的利用，滿足不同用戶的接入需求。通過將強化學習的智能接入技術有效運用于無線網絡的連接過程中，這就有利于對有限的無線網絡資源進行統籌規劃、合理利用，進而在一定程度上提升無線網絡的性能，滿足不同用戶的連接需求，從而不斷提高無線網絡的連接質量，為用戶提供更加優質的服務。

　　作者：龔嘯