结论：房屋互换若只有口头协议而没有纸面协议，在面对棚改办时可能会面临一些挑战，但并非无法解决。关键在于如何证明互换的事实以及双方的真实意愿，以下从多个角度为你详细分析并给出建议。
一、口头协议的法律效力
一般原则：根据《民法典》的相关规定，民事法律行为可以采用书面形式、口头形式或者其他形式。因此，口头协议在法律上也是有效的，只要双方意思表示真实，且不违反法律、行政法规的强制性规定，不违背公序良俗。
举证难度：然而，口头协议在举证时确实存在较大难度。在发生纠纷时，如果没有书面证据，双方可能各执一词，导致法院难以认定事实。
二、面对棚改办的应对策略
收集其他证据：
- 证人证言：寻找当时在场或者知晓互换事宜的第三方作为证人，出具书面证言或者出庭作证。
- 交易记录：如果互换过程中涉及金钱交易（如差价补偿），保留相关的转账记录、收据等。
- 使用痕迹：如房屋互换后，双方实际居住、使用房屋的情况，包括水电费缴纳记录、物业费缴纳记录等，也可以作为证明互换事实的辅助证据。
- 沟通记录：双方关于互换事宜的聊天记录、短信、邮件等，也可以作为证明双方真实意愿的证据。
与棚改办沟通：
- 主动说明情况：向棚改办详细说明房屋互换的情况，包括互换的时间、原因、过程等，并提供上述收集到的证据。
- 寻求协助：请求棚改办在调查过程中给予协助，如提供必要的证明材料或者出具相关证明。
考虑法律途径：
- 协商不成，可起诉：如果与棚改办沟通无果，或者棚改办对互换事实不予认可，你可以考虑通过法律途径解决。在起诉时，你需要充分准备证据，以证明互换事实的存在以及双方的真实意愿。
- 申请法院调查取证：在诉讼过程中，如果某些证据你无法自行获取，可以向法院申请调查取证，由法院依法调取相关证据。
三、预防措施与建议
- 尽量签订书面协议：为了避免类似的纠纷发生，建议在未来的房屋交易或者互换中，尽量签订书面协议，明确双方的权利义务。
- 及时办理过户手续：房屋互换后，应及时办理过户手续，将房屋产权变更至实际所有人名下。这样不仅可以避免产权纠纷，还可以在面对棚改等政策时，减少不必要的麻烦。
- 保留相关证据：在房屋互换过程中，注意保留相关证据，如交易记录、沟通记录、使用痕迹等。这些证据在将来可能起到关键作用。
最后，房屋互换只有口头协议而没有纸面协议，在面对棚改办时确实会面临一些挑战。但只要你能够积极收集证据、与棚改办有效沟通，并在必要时考虑法律途径，问题是有可能得到解决的。如果你还有其他疑问或者需要进一步的法律帮助，请随时向我咨询。