我于2012年将一套单位集资房认购权转让给张某,双方签订了《购房认购权转让协议》,协议约定我将单位集资房认购权转让给张某,转让费8万元,违约金为5万元。由张某支付单位集资的资金。现在要交房了(我还没有跟单位签订正式的购房合同,房子还没有过户),我自己想买下房子,我承诺付给张某转让费8万元,违约金5万元和退还张某支付的集资款,想要取消协议。但是张某不同意。我怎么才能取消协议由我自行购买这套单位集资房? 协议中约定,本协议签订后,如因甲方原因单方面解除协议,甲方应当在十五日内退还乙方支付的转让费8万元和截止违约时乙方给单位的所有房款,同时一次性赔偿乙方违约金5万元。我可否用这条为依据,赔偿张某违约金,取消协议?