结论：人走了股份是否退还，并非一个简单的合法与否的问题，而是取决于公司章程、股东协议以及相关法律法规的具体规定。以下从多个角度进行分析：
一、公司章程与股东协议
公司章程规定：
- 公司章程是公司的“宪法”，它规定了公司的基本制度、股东的权利与义务等。如果公司章程中明确规定了股东离职或去世后股份的处理方式，如必须退还、可以转让给其他股东或公司回购等，那么应当遵循公司章程的规定。
股东协议约定：
- 股东之间可以签订股东协议，对股份的转让、退还等事项进行约定。如果股东协议中有相关条款，且该条款不违反法律法规的强制性规定，那么股东应当按照股东协议的约定执行。
二、相关法律法规
《中华人民共和国公司法》：
- 根据《公司法》的相关规定，股东之间可以相互转让其全部或者部分股权。股东向股东以外的人转让股权，应当经其他股东过半数同意。但这并不直接涉及股东离职或去世后股份是否必须退还的问题。
- 如果公司章程或股东协议没有规定，且股东之间无法达成一致意见，那么可能需要通过法律途径解决，如诉讼或仲裁。
其他相关法律法规：
- 除了《公司法》外，还可能涉及《继承法》（现为《民法典》继承编）等相关法律法规。如果股东去世，其股份可能作为遗产由继承人继承。此时，股份是否退还取决于继承人的意愿以及公司章程、股东协议的规定。
三、实际操作中的考虑因素
公司稳定性：
- 股东离职或去世后，如果股份不退还，可能会导致公司股权结构发生变化，影响公司的稳定性和经营。因此，在实际操作中，公司可能会倾向于要求离职或去世股东的股份进行退还或转让。
股东权益保护：
- 另一方面，也要保护股东的合法权益。如果股东离职或去世后，其股份被强制退还或转让，且没有得到合理的补偿，那么可能会损害股东的权益。
四、建议
完善公司章程和股东协议：
- 为了避免类似纠纷的发生，建议公司在制定公司章程和股东协议时，明确规定股东离职或去世后股份的处理方式。
协商解决：
- 如果发生纠纷，建议股东之间首先通过协商解决。协商不成的，可以寻求法律途径解决。
寻求专业法律意见：
- 由于股份退还问题涉及复杂的法律关系和利益平衡，建议在处理此类问题时寻求专业律师的法律意见。
举例说明：假设某公司章程规定，股东离职后必须将其股份转让给其他股东或公司回购。如果某股东离职后拒绝转让或退还股份，那么其他股东或公司可以依据公司章程的规定，要求该股东履行义务。如果该股东仍然拒绝，其他股东或公司可以通过法律途径解决纠纷。
总结：人走了股份是否退还，取决于公司章程、股东协议以及相关法律法规的具体规定。在实际操作中，应综合考虑公司稳定性、股东权益保护等因素，通过协商或法律途径解决纠纷。如果你有具体的法律问题或需要进一步的法律意见，可以直接向我咨询。