当然，借孩子爷爷的钱是需要还的。无论从法律角度还是道德层面，借款都应当偿还。

从法律角度来看：

1. 债权债务关系：当你从孩子爷爷那里借款时，无论双方是否有书面的借条或借款合同，都形成了债权债务关系。你作为债务人，有义务按照约定或法律规定偿还借款。

2. 家庭内部借款：虽然这是家庭内部的借款，但法律上并没有规定家庭内部借款可以免除偿还义务。家庭关系并不改变债权债务的法律性质。

从道德层面来看：

1. 诚信原则：诚实守信是基本的道德准则。借款不还不仅损害了债权人的利益，也破坏了家庭关系和信任。

2. 家庭和谐：虽然家庭内部借款可能更加灵活和随意，但长期不还或故意拖欠仍可能引起家庭矛盾和纠纷。

因此，我建议你尽快与孩子爷爷沟通，明确借款的数额、还款方式和还款时间。如果双方能够达成一致，最好签订一份书面的还款协议，以确保双方的权益得到保障。如果因为某些原因暂时无法偿还，也应该与孩子爷爷坦诚沟通，寻求延期还款或其他解决方案。

总之，借孩子爷爷的钱是需要还的，这既是法律义务，也是道德责任。