但是，现实却是无情的。17岁时，徐渭首次参加“童子试”（科举中录取秀才的考试），不中。20岁时应试，又不中。徐渭急了，提笔给浙江提学副使写信，要求复试。在这封信中，他历数了自己的家庭背景、求学经过，还有考不中的进退两难，整封信文笔流畅，以情动人。结果，徐渭终于被录为县学生员，即考中了秀才。
徐渭考取秀才之后，迎娶同县潘克敬之女为妻，并且入赘潘家。这桩婚事，无论从哪个方面来看，都比较美满。岳父是浙江富商，慧眼爱才，主动提出嫁女，视徐渭为佳婿。别人议论说徐渭无名无利，屡试不中，这样的女婿有什么好？潘克敬直接回答说，任何人都有显达与落难的时候，我不会趋炎附势，我只担心女婿在学问上有所松懈。
至于潘女，嫁给徐渭时年仅13岁，聪颖朴素，温柔细心，小夫妻恩爱无比。可惜的是，潘氏体弱多病，生子之后，病情转重，去世时年仅19岁。徐渭在《亡妻潘墓志铭》中深情地说：“生则短而死则长，女其待我于松柏之阳。”盼望着与妻子在阴间相会。可以说，徐渭后来婚姻生活中的种种不幸，都可以追溯到这第一次婚姻。体味过温柔滋味的人，很难再次找回失落的幸福，何况徐渭性格那么孤傲，那么敏感。
潘女去世的时候，徐渭26岁。3年之后，徐渭在杭州买胡氏为妾。胡氏颇有几分姿色，对徐渭也很体贴，徐渭甚至有“新香异旧香”之叹。但是，很快矛盾就出来了，当时徐渭好不容易找到了之前被卖掉的生母，迎回家中。胡氏却不孝顺，对徐母不敬。第二年，徐渭就卖掉了胡氏，之后10年未娶。
41岁时，徐渭在杭州迎娶张氏为继室。这次婚姻，更为不幸——徐渭竟然把妻子杀掉了。有关他杀妻的原因，众说纷纭。徐渭曾在惨案发生后，写信给朋友，暗示妻子有外遇，自己是在盛怒之下误伤人命的。到了晚年，他自作《畸谱》，提及杀妻之事，简略记载说：“病易，杀张下狱。”
“易”即“癔”，就是我们今天说的精神病。在徐渭精神失常的情况下，张氏哪怕没有外遇，都有可能招致杀身之祸。徐渭杀妻，最初被判为死刑。经亲朋好友多方营救，直到万历元年（1573年）新皇帝即位，大赦天下，才重新获得自由。这时，徐渭已经整整坐了7年牢。
