我和中介签订了购房承诺书，并交了定金，定金已通过中介转交给房东（我们交的1万的定金，而中介只给了1500元给房东），房东给中介的价是135000元，而中介买给我们170000元，中介一直不让我们见房东（找各种理由），可能怕知道中间的差价，他居然找一个人冒充我的男朋友来办这件事情。还好房东比较聪明，没有上他的当，现在房东也不想卖这房子了，我们也不想买了。现在中间居然要让我们交中介费，房东本来已经同意赔付房款2%的违约金给中介，他居然不愿意，非要我们交中介费，并且还说定金不退了，中介也太过分了吧。
我想请专业的律师帮我，像这种情况责任应该由谁来承担。
另，他要求我们交这4万的一部分，是不是太不讲理了？？
现在他不卖了，但是他拒绝返还双倍定金，还说因为当时签合同时不知道要返还双倍，他属于在不知情的情况下签的合同，这样他有机会胜诉吗？？
谢谢法律人士帮助解答。
问题补充：我们也不是要把他怎么样，当时签合同前，这家房东看我们喜欢，便提出涨了3万块，我们因为喜欢这个房子，也就答应了；签合同时他们也没有提出有任何的问题，谁知道他是在原单位刚分了房子就走了，现在原单位找他要4万，他竟然还要我们出一部分！
我们是觉得他太不讲理了，这都一个多月了，如果1个月前他提出来不卖，我们把定金拿回来也就算了；这一个月以来他们实在太不讲理了，所以现在我们要靠法律维护我们的权益。
法，理，情，是有顺序的；他们如果不按法律赔偿，我们何必给他做人情呢？？