徐渭自幼连绵不断的遭遇，精神上倍受刺激，中年渐患“脑风”疼痛的毛病，对仕途的绝望，使病症加重，有时精神难以自控。有人概括徐渭的凄楚生平是“一生坎坷，二兄早亡，三次结婚，四处帮闲，五车学富，六亲皆散、七年冤狱，八次不第，九番自杀”，很精辟。其实，这也是造成他杀妻重要的个人因素。
但是，更为重要的是徐渭当时所处的社会环境。明中叶后，人们对日益严酷陈腐的思想统治的逆反心理，与南方资本主义工商业的发展及阳明心学等学说的传播汇合在一起，形成了一股非主流思潮。当时，贪官污吏横行，社会风气败坏，整个社会充满了“财”和“色”。生活在那个时代的才子们似乎或多或少带有“神经质”。
比如，唐伯虎时不时溜出家，打扮得衣衫褴褛褴褛，口唱莲花落，乞钱为乐；祝允明喜欢坐着轿子外出时后面追满骂骂咧咧的债主；李贽放言无忌，矛头直指孔圣，剃发留须，半僧半俗，行迹异端。其实，他们的疯癫，尽管也是一种对社会的发泄、反抗和示威，但很大程度上只是标示自己不同凡俗，不受尘世陋习拘束，有很大的表演成分在里面。
其实，他们绝没有疯癫。甚至，他们比大多数人都要清醒。而且，他们的疯狂有时简直是手段，是救命的伪装。同样，也许徐渭最初也是像唐伯虎一样，以装疯来躲避在胡宗宪做幕僚时卷入的政治风波。经过这么一系列的凄惨遭遇之后，徐渭的晚年生活过的极为贫困，生活潦倒。
痛恨达官贵人的他，浪游金陵、宣辽、北京，又过居庸关赴塞外宣化府等地。万历五年回到绍兴，从此以卖画为生，而痛恨达官贵人的他，就算生活已经穷到揭不开锅了，也坚决不给当政官僚作画，显示了他对政府黑暗的痛恨。“有书数千卷，后斥卖殆尽。畴莞破弊，不能再易，至借稿寝”，常“忍饥月下独徘徊”是徐渭晚年生活最真实的反应。
公元1593年，已经七十三岁高龄的徐渭，最终在“几间东倒西歪屋，一个南腔北调人”的境遇中闭上了眼睛，结束了自己流离跌宕的一生。而让人感慨异常的是，尽管这位大才子，文学成就极高，受到诸多人的赞扬，死时却那么悲戚。没有人照拂，死前身边唯有一狗与之相伴，床上连一铺席子都没有。
