核心结论：在没有书面合同的情况下，要回施工款项确实存在一定难度，但并非完全不可能。您可以通过收集其他证据、协商解决、申请调解或仲裁、提起诉讼等方式来维护自己的权益。
具体分析与建议：
收集其他证据：
- 尽管没有书面合同，但您可以尝试收集其他能够证明您与单位之间存在施工关系的证据，如施工过程中的照片、视频、施工日志、与单位相关人员的聊天记录或通话录音等。
- 这些证据可以间接证明您为单位进行了施工，并有助于您后续主张权利。
协商解决：
- 在收集到一定证据后，您可以尝试与单位进行协商，看是否能够达成一个双方都能接受的解决方案。
- 协商时，您可以明确提出自己的诉求，并展示您所收集的证据，以增加说服力。
申请调解或仲裁：
- 如果协商无果，您可以考虑向当地的调解委员会或仲裁机构申请调解或仲裁。
- 调解或仲裁过程中，您需要提交相关证据，并接受调解员或仲裁员的询问和裁决。
- 需要注意的是，调解或仲裁的结果通常具有法律效力，双方应当遵守。
提起诉讼：
- 如果调解或仲裁也无法解决问题，您可以考虑向法院提起诉讼。
- 提起诉讼时，您需要准备充分的证据，并撰写起诉状，明确自己的诉求和事实理由。
- 法院在审理过程中，会依法进行调查和裁决，如果您的诉求合理且证据充分，法院有可能会支持您的主张。
额外提醒：
- 在整个过程中，建议您保持冷静和理性，避免采取过激或违法的行为。
- 同时，由于法律程序可能较为复杂和耗时，您需要做好心理准备，并可能需要寻求专业法律人士的帮助来更好地维护自己的权益。
如果您在此过程中遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。