结论：能否要回剩余的三十万，关键在于已签订的协议是否有效以及协议内容是否合法合规。若协议存在无效情形，则可能可以要回部分或全部三十万；若协议有效，则可能无法要回。以下为详细分析：
协议无效的情形
协议存在欺诈、胁迫等情形：
- 如果在签订协议时，出借人通过欺诈、胁迫等手段迫使借款人签订了不公平的协议，例如，以虚假理由诱使借款人签订只还二十万的协议，或者以暴力、威胁等手段迫使借款人接受不合理的还款条件，那么该协议可能被认定为无效。
- 法律依据：根据《民法典》的相关规定，因欺诈、胁迫等情形签订的合同，受损害方有权请求人民法院或者仲裁机构变更或者撤销。
- 后果：若协议被撤销，借款人则无需按照该协议履行还款义务，出借人可能无法依据该协议要求借款人只还二十万，借款人有可能需要按照实际借款金额五十万及合法利息进行还款（但已还部分需扣除），不过具体还款金额还需根据实际情况和法院判决来确定。
协议内容违反法律法规的强制性规定：
- 如果协议中的条款违反了法律法规的强制性规定，例如，协议中约定的利率超过了法律规定的上限，或者协议中存在其他非法内容，那么该协议可能被认定为无效。
- 法律依据：根据《民法典》及相关法律法规，违反法律、行政法规的强制性规定的民事法律行为无效。
- 后果：若协议因违反法律法规而被认定无效，借款人同样无需按照该协议履行还款义务，出借人无法依据该协议要求借款人只还二十万，借款人可能需要按照实际借款金额及合法利息进行还款（已还部分扣除）。
协议有效的情形
- 如果协议是双方真实意思的表示，且内容合法合规，不存在欺诈、胁迫等情形，也不违反法律法规的强制性规定，那么该协议是有效的。
- 后果：在协议有效的情况下，借款人需要按照协议约定履行还款义务，即只还二十万。出借人则无权再要求借款人偿还剩余的三十万。
建议
- 审查协议内容：首先，借款人应仔细审查与出借人签订的协议内容，确认是否存在上述无效情形。
- 收集证据：如果借款人认为协议存在无效情形，应尽快收集相关证据，如聊天记录、录音录像、证人证言等，以证明协议签订时存在欺诈、胁迫等情形或协议内容违反法律法规。
- 咨询专业律师：由于法律问题复杂多变，且每个案件的具体情况都不尽相同，因此建议借款人在遇到此类问题时咨询专业律师，以便获得更具体、更准确的法律建议。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。