结论：实际施工人能否要回被发包方划走的履约保证金，需根据具体情况判断，包括合同约定、实际施工情况、保证金性质及划扣依据等。以下从不同角度进行分析：
一、合同约定角度
合同中有明确约定：
- 若建设工程合同中明确约定了履约保证金的退还条件、时间及方式，且实际施工人未违反合同约定导致保证金被划扣，那么实际施工人有权依据合同约定要求发包方退还保证金。
- 法律依据：根据《中华人民共和国民法典》第五百零九条：“当事人应当按照约定全面履行自己的义务。”若发包方无正当理由划扣保证金，实际施工人可依据此条款要求退还。
合同中无明确约定或约定不明：
- 若合同中未明确约定保证金的退还条件或约定不明，实际施工人需与发包方协商解决。协商不成时，可依据相关法律规定及行业惯例，结合实际情况，判断保证金是否应退还。
- 建议：在此情况下，实际施工人应收集相关证据，如合同文本、付款凭证、沟通记录等，以证明其有权要求退还保证金。
二、实际施工情况角度
实际施工人未开始施工：
- 若实际施工人尚未开始施工，且未违反合同约定，发包方无权划扣保证金。实际施工人有权要求发包方立即退还保证金，并可追究其违约责任。
- 法律依据：根据《中华人民共和国民法典》第五百七十七条：“当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。”
实际施工人已部分施工：
- 若实际施工人已部分施工，但因发包方原因导致工程无法继续，或实际施工人无过错而被迫停工，实际施工人仍有权要求退还部分或全部保证金。具体退还比例需根据合同约定及实际施工情况确定。
- 建议：实际施工人应保留好施工记录、验收报告等证据，以证明其已履行部分合同义务，并有权要求退还相应保证金。
三、保证金性质及划扣依据角度
保证金性质为履约担保：
- 若保证金性质为履约担保，用于确保实际施工人履行合同义务。在实际施工人未违反合同约定的情况下，发包方无权划扣保证金。
- 法律依据：根据《中华人民共和国民法典》第六百八十五条：“保证合同可以是单独订立的书面合同，也可以是主债权债务合同中的保证条款。第三人单方以书面形式向债权人作出保证，债权人接受且未提出异议的，保证合同成立。”若保证金作为保证合同的一部分，发包方划扣保证金需符合保证合同约定。
发包方划扣保证金依据不足：
- 若发包方划扣保证金缺乏合同依据或法律依据，实际施工人有权要求发包方立即退还保证金，并可追究其违法划扣的责任。
- 建议：实际施工人应要求发包方提供划扣保证金的合法依据，如无法提供，则可向相关部门投诉或提起诉讼。
四、法律救济途径
协商解决：
- 实际施工人可首先与发包方协商解决保证金退还问题，争取达成和解协议。
投诉举报：
- 若协商无果，实际施工人可向当地建设行政主管部门或相关行业协会投诉举报发包方的违法行为。
提起诉讼：
- 若投诉举报无果，实际施工人可向人民法院提起诉讼，要求发包方退还保证金并承担违约责任或赔偿责任。
总结与建议：实际施工人能否要回被发包方划走的履约保证金，需根据合同约定、实际施工情况、保证金性质及划扣依据等多方面因素综合判断。建议实际施工人首先收集相关证据，然后与发包方协商解决；协商无果时，可向相关部门投诉举报或提起诉讼以维护自身合法权益。如有具体法律问题或需要进一步帮助，请直接向我咨询。