结论是：即使有一部分资产可以退回，非法吸收公众存款的行为仍然构成犯罪。以下从不同角度为您详细分析：

一、法律定性角度

非法吸收公众存款罪，是指违反国家金融管理法规，非法吸收公众存款或变相吸收公众存款，扰乱金融秩序的行为。这一罪名的成立，并不取决于最终是否能退回部分或全部吸收的资金，而是取决于行为本身是否违反了国家金融管理法规，是否实施了非法吸收公众存款或变相吸收公众存款的行为。因此，即使有一部分资产可以退回，也不能改变行为本身的违法性。

二、犯罪构成要件角度

从犯罪构成要件来看，非法吸收公众存款罪要求行为人主观上具有非法吸收公众存款的故意，客观上实施了非法吸收公众存款或变相吸收公众存款的行为，且该行为扰乱了金融秩序。退回部分资产，并不影响对行为人主观故意和客观行为的认定，也不影响对金融秩序扰乱程度的判断。因此，退回部分资产并不能成为否定犯罪构成的理由。

三、法律后果角度

即使有一部分资产可以退回，行为人仍然需要承担非法吸收公众存款罪的法律后果。这包括可能面临的刑事处罚，如有期徒刑、罚金等，以及可能承担的民事责任，如退赔投资者损失等。退回部分资产，可以在一定程度上减轻行为人的民事责任，但并不能免除其刑事责任。

四、实际案例角度

在实际案例中，即使行为人退回了部分或全部吸收的资金，法院在判决时仍然会认定其行为构成非法吸收公众存款罪，并依法判处相应的刑罚。这是因为，法院在判决时考虑的是行为本身的违法性和社会危害性，而不是行为后的补救措施。

建议：

1. 如果您或您身边的人涉嫌非法吸收公众存款罪，应尽快咨询专业律师，了解相关法律后果和辩护策略。
2. 在案件处理过程中，应积极配合调查，如实陈述事实，争取从轻或减轻处罚。
3. 如果有可能退回部分或全部吸收的资金，应尽快办理退回手续，以减轻民事责任。但请注意，退回资金并不能免除刑事责任。

如果您有任何关于非法吸收公众存款罪或其他金融诈骗犯罪的法律问题，欢迎直接向我咨询。