中介费我介绍人家买了地皮成交了.买家…

中介费我介绍人家买了地皮成交了.买家给我5万元.过后因有争议同意解除.买家要我退回5万元.不退是否合法？谢谢.