官府知道吗？当然知道！司隶校尉(负责京城治安的官)收到举报了，可谁敢去搜？“那是三卫郎的家，是玄宗皇帝的人，搜他的家，不是打皇帝的脸吗？”
有一回，司隶校尉实在没办法，带着人在韦应物家附近蹲点，想抓个现行。结果韦应物从家里出来，看见校尉，不仅不慌，还走过去拍他的肩：“校尉大人，蹲这儿干嘛？是不是想跟我喝两杯？”校尉吓得赶紧赔笑：“不敢不敢，韦郎误会了，卑职只是例行巡逻。”说着就带着人溜了。
韦应物后来在诗里写“家藏亡命儿”，不是吹牛——那些躲在他家里的“亡命徒”，其实就是些街头混混、赌徒，就因为有他这“三卫郎”罩着，愣是没人敢管。这小子当时的心态就是：“我背后是皇帝，我怕谁？在长安，我想干啥就干啥！”
韦应物的少年时光，就两件“正经事”：赌博和撩姑娘，用他诗说就是“朝持樗蒲局，暮窃东邻姬”——早上抱着赌具赌钱，晚上翻墙偷会邻家姑娘。
先说“赌博”。他赌的不是小钱，是“樗蒲”(唐朝流行的一种赌博游戏，赌注大，输赢能到几十贯钱，相当于普通人家几年的生活费)。每天天不亮，他就把狐朋狗友叫到家里，关起门来开赌局，桌子上堆满铜钱、绸缎，输了的要么给钱，要么给东西，要是没钱没东西，就“打欠条”——当然，这欠条基本就是废纸，没人敢找韦应物要账。
有一回，他赌到中午，输了五十贯钱，当场就急了，一拍桌子：“不算不算！刚才那把我出千了，重来！”对面的小子也是个豪门子弟，不服气：“韦应物，你输不起就别赌！”韦应物眼睛一瞪，拔出腰里的银刀，“啪”地拍在桌子上：“你再说一遍？信不信我削你！”那小子吓得脸都白了，赶紧说：“算我输，算我输！”
赌到兴头上，他连侍卫的差事都敢翘。有一回轮到他扈从玄宗去骊山，他前一天赌了通宵，早上起不来，就让手下人替他去，接着在家睡大觉。管事的太监发现了，想上报玄宗，结果被其他侍卫拦住了：“别呀，那是韦三卫，玄宗皇帝宠着他，你上报了也没用，还得得罪人。”最后这事儿就不了了之了。
再说“暮窃东邻姬”——晚上偷会邻家姑娘。韦应物家隔壁住着个姓王的小吏，家里有个女儿，长得眉清目秀，韦应物早就盯上了。一开始他还装模作样，每天在王家门口“偶遇”，送点珠宝、胭脂，后来见姑娘不搭理他，就直接来“硬的”——翻墙。
有天晚上，他喝了点酒，带着两个手下，趁着月