房产交易纠纷律师您好,我家再3月购买…

房产交易纠纷律师您好,我家再3月购买了一套50万的房子,交了定金1万,签了合同,又因为房主把这个房子抵押银行了,又交了20万解除抵押,解押期间,卖方要求涨钱,我家不同意,最后口头协商,我家不要违约金要求卖方尽快把21万退换,卖方也答应了。因为我家急用房子,所以协商后当天上午出去看房子又定了一套房子,中午原来这个卖家又以没钱退还,要求原价卖给我,但是一开始我们已经讲好,所以我也重新定了新房子,所以决定还是退钱。现在原来的卖家总是以没钱为由拖着不给退款。定金和首付我都有收条,合同也有,但是当时协议交易作废的是口头协议,没有证据,我如果委托你们到法院起诉的话,我的钱可以尽快要回来吗?这种官司会拖多久判决啊?如果对方还是不给怎么办?