依据《劳动合同法》第三十七条规定，提前一个月（试用期提前三天）书面向单位申请离职，或者与单位协商经过单位同意，或者单位有违法情形的，当事人都可以离职。单位故意刁难不让离职，是违法的，可以去劳动行政部门申诉。
您可以去工商局或工商所进行投诉，需要携带相关证据原件，事先查好房屋中介公司的营业地、法人等信息。工商局的消费者投诉还是最有用的办法，如果工商局会在7个工作日内进行协调并通知结果。协调解决，拿好合同和押金去中介公司。
如果投诉无用，你可以去劳动行政部门申诉，说明自己的情况，让劳动行政部门出面进行调解，如果单位有违法行为，劳动者也可以得到应得的赔偿。
如果你没有违反合同规定，并且合同没有明确规定提前离职需要支付违约金，那么中介公司不能要求你支付违约金。