离婚后的债务咨询我前夫在离婚前叫我给…

离婚后的债务咨询我前夫在离婚前叫我给他借了五万元，是我打的借条给同学的，前夫又给我打了借条，离婚时他同意还这钱的，前提是他不要儿子也不养儿子，我也同意了协议离婚，可是他现在不愿还这钱，仗着他现在得了慢性肾炎，怎么也不愿意还钱，我一个单身女人靠打工养儿子还要还账，真的很困难，请问我可以起诉他吗？（离婚时我和我儿子是净身出户的，我们把所有的积蓄多给了他）