法邦网—法律咨询

我于2013年12月将大武口的一套住房出售给对方，因为当时房子尚未交工，说好交工后由对方缴纳房款，我只收户头费4万元（单位分房），并与对方签订了合同。对方当时给了我1万元，并说因存折未到期，剩下的3万于2014年2月给清（合同上也注明）。2月份因房子未交工，我也没有催要，5月份房子交工后我通知对方，对方却说房子不要了。现在对方要求退还1万元，我没有答应，对方说要到法院去解决。请问我不退还那1万元是否合法？