关于承包方退回部分土地承包是否合法的问题，这确实是一个涉及多方面法律因素的复杂情况。要准确判断其合法性，我们需要依据具体的情形和相关法律法规来进行分析。

首先，如果承包方退回部分土地承包是基于法定或约定的合同解除事由，那么这种行为是合法的。例如，如果承包方在承包期间严重违反了合同约定，如擅自改变土地用途进行非农建设，并且经过发包方的劝阻仍然不改正，那么发包方就有权根据合同约定或法律规定解除合同，并要求承包方返还土地。在这种情况下，承包方退回部分或全部土地承包是合法的。

其次，如果承包方是在承包期限届满且未续期的情况下退回土地，这也是合法的。根据《农村土地承包法》的规定，耕地、草地和林地的承包期都有明确的期限，承包期满后，如果承包方没有按照法律规定或合同约定续期，发包方就有权依法收回承包地。

另外，还有一些其他情况也可能导致承包方退回部分土地承包合法。比如，承包方主动交回承包地，但需要提前半年以书面形式通知发包方；或者承包方全家迁入设区的市并转为非农业户口，按照法律规定应将承包的耕地和草地交回发包方；再或者承包地被依法征收、征用，承包方因此需要退回土地等。

然而，如果承包方退回部分土地承包并不存在上述合法合理的解除合同情形，而是发包方单方面要求返还，那么这种行为可能构成违约，不具有合法性。此外，如果未经法定程序，土地承包经营权的流转不符合法律规定，流转合同被认定无效时，也可能涉及土地返还及合法性判断问题。

因此，要判断承包方退回部分土地承包是否合法，我们需要依据相关法律法规及具体事实来进行判定。如果面临此类情况，我建议您咨询专业律师以确保权益得到妥善保护。律师可以根据您的具体情况，提供针对性的法律建议和帮助，确保您的权益不受损害。