色翻进了王家的院子，蹑手蹑脚摸到姑娘的窗下，学猫叫：“咪咪，开门，是我！”姑娘吓得不敢出声，她爹听见动静，拿着棍子出来，看见是韦应物，当场就蔫了——这可是三卫郎，惹不起啊！陪着笑：“韦郎，这么晚了，您找小女有事？”
韦应物倒也不慌，大摇大摆地说：“没事，就是想跟你家姑娘聊聊天，怎么，不欢迎？”王吏赶紧说：“欢迎欢迎，快请进！”结果韦应物真就进了屋，跟姑娘“聊”到半夜才走，临走还放话：“以后我常来，你别拦着。”王吏只能点头哈腰，关上门后，跟老婆抱着哭——自家姑娘被欺负了，却敢怒不敢言。
这种事在韦应物少年时，不是一次两次。长安城里不少小吏、商人的女儿，都被他“骚扰”过，谁也没办法——他是皇帝的侍卫，有“特权”，司隶校尉都管不了，普通百姓自认倒霉。
后来他写诗回忆这段日子，一点不觉得丢人，反而带着点“炫耀”的口气：“暮窃东邻姬”，好像这是多光彩的事。你说他无赖吧，他还真无赖；你说他坦诚吧，他又坦诚得有点离谱——毕竟没几个诗人会把“偷姑娘”的事写进诗里。
韦应物少年时还有个“标签”——文盲。他写诗说“一字都不识，饮酒肆顽痴”——一个字都不认识，整天就知道喝酒耍无赖，顽劣又痴傻。
这可不是谦虚，是真的“目不识丁”。他出身豪门，家里请了先生教他读书，他根本坐不住——先生刚教他认“人”字，他就掏出赌具跟先生“赌一把”；先生教他背论语，他就趴在桌子上睡觉，还打呼；先生要是敢骂他，他就把先生的书扔出去，说：“读书有啥用？我是三卫郎，以后照样当官！”
家里人也管过他。他爹把他关在书房里，让他抄千字文，结果他抄了半天，把“天地玄黄”抄成“天地玄王”，还理直气壮地说：“黄和王长得差不多，一样！”他爹气得差点吐血，最后也没办法——这孩子被宠坏了，管不动了。
他不读书，就爱喝酒。每天从早上喝到晚上，顿顿不落，喝多了就耍酒疯——要么在街上追着狗跑，要么趴在人家铺子门口睡觉，要么跟狐朋狗友吵架，吵着吵着就动手，最后还得人家给他赔不是。
有一回，他喝多了，在街上看见个读书人，手里拿着本书，他上去就把书抢过来，扔在地上踩了几脚：“读这破玩意儿有啥用？能当饭吃？能当三卫郎？”读书人气得脸通红，想理论，结果韦应物的手下过来把读书人推搡开，说：“别挡着韦郎的路，滚远点！”