结论：不能仅因土地撂荒就直接强行收回土地。
法律背景与解释：
土地承包经营权受法律保护：
- 根据《中华人民共和国农村土地承包法》的相关规定，土地承包经营权是农民依法享有的重要权利，受到法律保护。承包方在承包期内享有土地承包经营权，有权依法自主组织生产经营和处置产品，任何组织和个人不得侵犯。
撂荒并非收回土地的直接依据：
- 土地撂荒，即承包方因各种原因未对土地进行耕种或利用，这并不直接构成发包方收回土地的合法理由。发包方不能仅凭土地撂荒就单方面决定收回土地，这违反了土地承包经营权的保护原则。
收回土地的法定条件：
- 发包方在特定情况下可以收回土地，但这些情况通常与承包方的违约行为或法律规定的特定情形相关，如承包方连续两年弃耕抛荒、承包方死亡且无继承人继续承包等。然而，这些条件都有严格的法律限制和程序要求，不能随意扩大解释或应用。
强行收回土地的法律后果：
- 如果发包方未经合法程序强行收回土地，可能构成对承包方土地承包经营权的侵犯。承包方有权依法维护自己的权益，包括要求发包方停止侵权行为、恢复土地原状、赔偿损失等。在严重情况下，发包方还可能面临行政处罚或刑事责任。
法律建议：
- 对于承包方：如果您的土地被发包方强行收回，且您认为这违反了法律规定，您可以依法向当地农村土地承包仲裁委员会申请仲裁，或者直接向人民法院提起诉讼，维护自己的合法权益。
- 对于发包方：在考虑收回土地时，请务必确保符合法律规定的条件，并遵循合法的程序。避免因违法收回土地而引发不必要的法律纠纷和损失。
可能的情况与应对：
- 如果土地确实因特殊原因需要收回：发包方应与承包方进行协商，达成一致意见后，按照法定程序办理土地收回手续。这包括签订书面协议、办理土地变更登记等。
- 如果承包方对收回土地有异议：双方应首先通过协商解决争议。如果协商不成，可以依法申请仲裁或提起诉讼。在争议解决期间，双方应保持冷静和理性，避免采取过激行为导致矛盾升级。
如有任何关于征地拆迁或土地承包经营权的法律问题，请直接向我咨询。