在日常的金融交易中，很多人经常需要借款来满足资金需求。然而，难免会出现因各种原因无法按时还款的情况。当借款人由于各种原因无法按时还款时，借款合同上通常会规定违约金的条款，而违约金的金额和退还问题引起了很多争议。

在中国《合同法》中规定，借款合同中的违约金应当是借款利率的一定比例。在司法实践中，如果借款人未按期还款，则按照合同规定支付违约金。如果违约金超出了法定比例，则与违反法律的利息无异，应当由法院判决返还。

在《合同法》的规定下，借款人在违约时，除了支付违约金外，还应当按照合同约定承担损失赔偿责任。在一些案例中，当迟延还款的时间超过了约定期限的两倍以上时，借款人已经属于重大违约，可以让借款人返还所有的垫付款项和支付违约金和全部债权利息。

违约金之所以存在，在一定程度上是为了避免借款人出现违约情况，保护借款人的利益。但是同时，这也为金融机构提供了一种收取额外费用的机会，不仅增加了借款人的还款成本，也容易引发消费者的不满。

在某些特定情况下，借款人也有权要求违约金的退还。例如，当借款合同中约定的违约金过高或不合理时，借款人可以向法院提起诉讼要求退还。此外，如果借款人有充分理由证明自己没有应承担违约金的义务或因金融机构的原因违约，借款人也可以向法院要求违约金的退还。

总之，在借款时，借款人需了解合同中关于违约金的规定，尽可能避免发生违约情况。一旦出现违约，借款人要依据合同约定承担责任，同时也要了解自己的权利，如果对合同中约定的额外费用存在疑义，可以向有关法律机构寻求帮助与解决。