结论：是否需要移走安装在公共墙上的充电桩，主要取决于充电桩的安装是否合法合规，以及是否对公共利益或他人权益造成了影响。以下从不同角度进行分析：
一、充电桩安装的合法性
规划与建设许可：
- 如果充电桩的安装经过了相关部门的规划许可和建设许可，且符合当地的城市规划和建设要求，那么其安装是合法的。在这种情况下，要求移走充电桩可能缺乏法律依据。
- 如果充电桩的安装未经许可，或者违反了当地的规划、建设要求，那么其安装可能是非法的。此时，相关部门或物业有权要求你移走充电桩。
物业或业主委员会的同意：
- 在公共墙上安装充电桩，通常需要得到物业或业主委员会的同意。如果得到了他们的明确同意，并且安装过程符合相关规定，那么要求移走充电桩可能缺乏合理的依据。
- 如果未经物业或业主委员会的同意，或者安装过程违反了他们的规定，那么他们有权要求你移走充电桩。
二、对公共利益或他人权益的影响
公共安全：
- 如果充电桩的安装存在安全隐患，如电线裸露、充电设备老化等，可能对公共安全构成威胁。在这种情况下，相关部门或物业有权要求你立即移走充电桩，以消除安全隐患。
他人权益：
- 如果充电桩的安装对其他业主或使用人的正常生活造成了影响，如噪音干扰、占用公共空间等，那么他们有权要求你移走充电桩。在这种情况下，你需要考虑是否可以通过调整充电桩的位置或使用时间等方式来减少对他人权益的影响。
三、法律建议
核查安装许可：
- 首先，你需要核查充电桩的安装是否经过了相关部门的规划许可和建设许可，以及是否得到了物业或业主委员会的同意。如果安装过程合法合规，且得到了相关方的同意，那么你可以拒绝移走充电桩的要求。
评估影响：
- 其次，你需要评估充电桩的安装是否对公共利益或他人权益造成了影响。如果确实存在影响，你需要考虑是否可以通过调整充电桩的位置或使用时间等方式来减少影响。如果无法调整或调整后仍然存在影响，那么你可能需要考虑移走充电桩。
协商与沟通：
- 在处理此类问题时，建议你与相关部门、物业或业主委员会进行积极的协商和沟通。通过沟通，你可以更好地了解他们的要求和担忧，并寻求双方都能接受的解决方案。
寻求法律帮助：
- 如果协商无果，或者你认为要求移走充电桩的要求缺乏法律依据，你可以寻求法律帮助。作为专业律师，我可以为你提供法律咨询和代理服务，帮助你维护自己的合法权益。
最后，是否需要移走充电桩取决于多个因素，包括安装的合法性、对公共利益或他人权益的影响等。如果你对此类问题存在疑问或需要进一步的法律帮助，请直接向我咨询。