建元三年（前138年）起，刘彻开始频繁微服私访于关中地区，他挑选了陇西郡和北地郡擅长骑射的良家子，称为“期门”，作为自己出行时的贴身护卫。往往在夜漏下十刻才出行，自称“平阳侯”。到早上，就到山下奔驰打猎，或徒手与熊罴搏斗，往往会践踏庄稼，导致民怨沸腾，告发于鄠县和杜县的县令。

县令想去谒见“平阳侯”，刘彻身边的期门就要鞭打县令，县令大怒，让手下官吏呵斥制止，扣押下几名期门，这几人出示了皇家物品后才被释放。刘彻夜出夕还，后来甚至携带五日粮食，回来时正好赶上去长信宫向太后请安，刘彻乐此不疲。后来，大家都知道是刘彻屡次微服出行。但刘彻因为畏惧太后，不敢去很远。丞相与御史明白刘彻心意，就让右辅都尉在长杨以东巡察，右内史调集民众在馆所随时伺候。

刘彻又自己设置更衣之处，从宣曲宫向南有十二处行宫，有专供午休更衣的，夜晚就在各行宫住宿，他最常去的是长杨宫、五柞宫、倍阳宫、宣曲宫。随后考虑到微行扰民，便让太中大夫吾丘寿王负责扩建上林苑。据野史记载，刘彻一行在微服私访时投诉一家旅店，差点被老板当做“群盗”杀掉，却被老板娘放走。刘彻回宫后召见并嘉奖了这对夫妇，但此后几乎不再微服私访。