结论：在调解书上让对方还四万，剩下的一万是否还能要回，取决于调解书的性质、内容以及双方的具体约定。以下从不同角度进行分析：
调解书具有法律效力：
- 如果这份调解书是经过法院确认并出具调解书的，那么它具有与判决书同等的法律效力。这意味着，一旦对方不履行调解书中的还款义务，你可以直接向法院申请强制执行，要求对方按照调解书的内容还款，包括那未还的一万元（如果调解书中未明确放弃该部分债权）。
- 法律依据：根据《中华人民共和国民事诉讼法》的相关规定，调解书经双方当事人签收后，即具有法律效力，当事人应当履行。一方拒绝履行的，对方当事人可以向人民法院申请执行。
调解书中的约定：
- 如果调解书中明确约定了对方只需还款四万元，且你作为债权人同意并接受了这一约定，那么从法律上讲，你已经放弃了剩余的一万元债权。在这种情况下，你通常无法再要求对方偿还这一万元。
- 例外情况：如果调解书中的约定存在欺诈、胁迫等情形，或者你在签订调解书时对剩余债权存在重大误解，那么你可能有权在法定期限内申请撤销调解书，并重新主张你的债权。但这种情况需要提供充分的证据来支持你的主张。
调解书外的约定或承诺：
- 如果双方在调解书之外还有其他的约定或承诺，比如对方口头承诺会偿还剩余的一万元，但这一约定并未写入调解书，那么这一口头承诺在法律上可能难以得到直接支持。除非你能提供充分的证据（如录音、录像、证人证言等）来证明这一口头承诺的存在和内容。
建议行动：
- 审查调解书：首先，仔细审查调解书的内容，特别是关于还款金额和方式的约定，以确定你是否已经放弃了剩余的一万元债权。
- 咨询律师：如果你对调解书的内容有疑问或不确定，或者你认为调解书中的约定存在不公平或欺诈的情形，建议咨询专业律师（比如我，许玉旺律师，专注于经济纠纷、民间借贷领域）以获取更具体的法律建议。
- 考虑执行或撤销：根据调解书的内容和你的具体情况，考虑是否向法院申请强制执行或撤销调解书。
总结与提醒：在处理此类问题时，务必保持谨慎和理性。调解书是具有法律效力的文件，一旦签订并生效，就应当按照其内容履行。如果你对调解书的内容有疑问或不满，应当在签订前及时咨询律师并寻求法律帮助。如果你有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。