是令狐楚(牛党)教出来的，现在居然娶李党人的女儿，不是叛徒是什么？令狐楚的儿子令狐绹(后来也成了牛党大佬)更是气得不行，觉得李商隐“白眼狼”，再也不跟他来往了。
这边牛党把他当成“叛徒”，那边李党也没把他当成“自己人”——李党觉得，李商隐本来是牛党那边的，现在嫁过来，说不定是牛党派来的“卧底”，根本不信任他。
就这么着，李商隐成了“两头不是人”：牛党打压他，不让他当大官；李党怀疑他，不给他人脉支持。他虽然中了进士，却只能当些没实权的小官，比如秘书省校书郎(相当于现在的图书管理员)、弘农县尉(相当于现在的县公安局副局长)，干的都是杂活，根本没机会施展才华。
有一次，李商隐想给令狐绹写封信，解释一下不是故意“背叛”，令狐绹连信都没拆，直接退了回去。李商隐拿着退回来的信，坐在桌子前，看着写的诗，心里又委屈又难过——他想娶个喜欢的人，想好好当官能做事，怎么就成了“叛徒”？
辗转幕府：跑遍大半个中国，还是没逃过“郁郁而终”
既然在京城待不下去，李商隐去地方上的“幕府”当幕僚——就是给节度使(地方军政长官)当秘书，写写文书，出出主意。这日子，比在京城还苦。
他先后去了桂州(今广西桂林)、徐州、梓州(今四川三台)等地的幕府，每一次都要走几千里路，路上风餐露宿，有时候还会遇到强盗。到了幕府，活儿多还不讨好：节度使高兴了，就给点赏赐；不高兴了，就把气撒在他身上。
更让他难受的是，他根本没法照顾家人。他娘年纪大了，身体不好，他却只能隔着几千里写信；妻子王氏跟着他，没享过一天福，反而要跟着他吃苦，后来还得了重病。
唐宣宗大中五年(851年)，王氏病逝，李商隐连最后一面都没见到——他当时在梓州幕府，等他赶回家，王氏已经下葬了。
王氏的死，成了压垮李商隐的最后一根稻草。他看着王氏的墓碑，想起以前跟她在一起的日子，想起这辈子的遭遇：苦了半辈子，好不容易中了进士，却困在党争里；想好好照顾家人，却连妻子最后一面都没见到；一身才华，却只能写些没人看的文书——他觉得太没用了。
从那以后，李商隐的身体越来越差，精神也越来越消沉。他不再像以前那样拼命写文章，而是常常一个人坐在窗前，看着窗外的花开花落，写些悲伤的诗，比如“春心莫共花争发，一寸相思一寸