Iyileştirilmiş pekiştirmeli öğrenme yöntemi ve dinamik yükleme ile kentiçi ulaşım ağlarının tasarımı

Abstract

Bu çalışmada iyileştirilmiş pekiştirmeli öğrenme yöntemi ile dinamik kullanıcı dengesi altında ulaşım ağ tasarımı probleminin çözümü amaçlanmıştır. Problemin çözümü için iki seviyeli programlama tekniği kullanılmıştır. İki seviyeli programlama içinde alt seviye olan trafik atama probleminin çözümü için benzetim bazlı dinamik trafik atama modeli olan Dynasmart-P yazılımı kullanılmıştır. Üst seviye olarak adlandırılan sinyal kontrol aşamasında ise iyileştirilmiş pekiştirmeli öğrenme yöntemi ile atama sonunda elde edilen bağ akımlarına göre en uygun sinyal kontrol parametreleri bulunmuştur. Sinyal kontrol parametreleri, ortak devre süresi, kavşaklar arası ofset süreleri ve faz yeşil süreleri olarak tanımlanmıştır. Ulaşım ağı üzerindeki sinyal kontrol parametrelerine bağlı olarak trafik akımlarının birim zamanda duruş sayılarının ve gecikmelerinin ağırlıklandırılmış toplamı olarak ifade edilen ağ performans indeksi, TRANSYT-7F yazılımının trafik modeli ile değerlendirilmiştir. İyileştirilmiş pekiştirmeli öğrenme yönteminin, trafik atama ve sinyal kontrol problemine entegre edilmesiyle oluşturulan iyileştirilmiş Pekiştirmeli Öğrenme TRANSYT-7F Dynasmart-P (PÖTRAD) modeli dinamik kullanıcı dengesi altında ulaşım ağ tasarımı probleminin çözümü için önerilmiştir. Geliştirilen PÖTRAD modelinin amaç fonksiyonu ağ performans indeksidir. Geliştirilen PÖTRAD modeli örnek ulaşım ağları üzerinde test edilmiştir. Hem küçük ölçekli hem de Allsop & Charlesworth örnek ulaşım ağında olumlu sonuçlar elde edilmiştir. PÖTRAD modelinin sayısal uygulaması için çeşitli senaryolar oluşturulmuştur. PÖTRAD modeli her senaryoda amaç fonksiyonu olan ağ performans indeksi değerini enküçükleyebilmiş ve her senaryo için oldukça kararlı bir yakınsama eğilimi göstermiştir. Elde edilen sonuçlar, önerilen PÖTRAD modelinin etkin şekilde sinyal kontrol parametrelerini ve ağ performans indeksini en iyilebildiğini göstermiştir. Bu nedenlerden dolayı geliştirilen PÖTRAD modelinin dinamik kullanıcı dengesi altında ulaşım ağ tasarımı probleminin çözümünde kullanılabileceği sonucuna varılmıştır.

This study aims to solve dynamic user equilibrium transportation networks using modified reinforcement learning approach. The bi-level programming technique is used to solve the problem. At the lower level of the problem, the equilibrium link flows are obtained by simulation based dynamic traffic assignment with Dynasmart-P and signal timings are obtained at the upper level by modified reinforcement learning method. Signal timings are defined by the common network cycle time, the green time for each signal stage, and the offsets between the junctions. The system performance index is defined as the sum of a weighted linear combination of delay and number of stops per unit time for all traffic streams, which is evaulated by the traffic model of TRANSYT-7F. By integrating the modified reinforcement learning method, traffic assignment and traffic control, the modified Reinforcement Learning TRANSYT-7F Dynasmart-P (POTRAD) model is proposed to solve the dynamic equilibrium road network design problem. The objective function of the proposed POTRAD model is network performance index. The proposed POTRAD model is tested on the example road networks.The encouraging results are obtained for both small sized and Allsop & Charlesworth?s network examples. Various scenariaos are proposed for numerical applications of the POTRAD model. The proposed POTRAD model minimized the network performance index that is the objective function at each scenario and showed steady convergence for each scenario. Results showed that the proposed POTRAD model effectively optimizes the signal timings and values of the network performance index. Because of these reasons, it is obtained that the POTRAD model can effectively be used to solve network design problem under dynamic user equilibrium conditions.