可以要求解除合伙并退还合伙款，但具体能否实现需视情况而定。以下从不同角度为您详细分析：
一、法律背景与原则
在合伙关系中，合伙人之间应当遵循诚实信用原则，共同管理合伙事务，并定期进行结算和分配利润。当合伙项目管理人拒不交账、拒不进行结算时，这明显违反了合伙人之间的基本义务，损害了其他合伙人的合法权益。根据《中华人民共和国民法典》中关于合伙合同的相关规定，合伙人有权要求对合伙事务进行清算，并分配应得的利润或承担应负的损失。
二、具体情形与法律建议
若能证明合伙存在亏损或无法确认退伙时可予分割的合伙财产：
- 在此情况下，如果实际控制合伙账目的合伙人要求退伙并请求返还投资款本息，而其他合伙人不予认可，那么其主张可能不予支持。因为，在合伙存在亏损或无法确认财产分割的情况下，简单退还投资款可能损害其他合伙人的利益。
- 法律建议：此时，您应与其他合伙人协商，共同委托第三方机构进行审计和清算，以明确合伙的财务状况和各合伙人的权益。
若不能证明合伙存在亏损或无法确认退伙时可予分割的合伙财产，且其他合伙人要求退伙并请求返还投资款本息：
- 根据相关法律原则和实务操作，其他合伙人的要求应予支持。因为，在无法确认合伙财务状况的情况下，拒绝退还投资款可能构成对其他合伙人权益的不当侵害。
- 法律建议：您可以通过法律途径，如提起诉讼或申请仲裁，要求解除合伙关系并退还您的合伙款。在此过程中，您需要提供相关证据，如合伙协议、投资凭证等，以证明您的合法权益。
三、实务操作与注意事项
- 收集证据：在要求解除合伙并退还合伙款的过程中，证据的收集至关重要。您应尽可能收集与合伙事务相关的所有文件和记录，包括合伙协议、投资凭证、账目记录等。
- 协商与调解：在提起诉讼或申请仲裁之前，您可以尝试与其他合伙人进行协商或调解。通过友好沟通，您可能能够达成一个双方都能接受的解决方案。
- 法律程序：如果协商和调解无果，您需要按照法律程序提起诉讼或申请仲裁。在此过程中，您应遵守法庭或仲裁机构的规则和程序，确保您的权益得到充分保障。
四、可能的法律后果
- 如果法院或仲裁机构支持您的请求：您将能够解除合伙关系并退还您的合伙款。同时，您可能还有权要求其他合伙人承担因违约行为给您造成的损失。
- 如果法院或仲裁机构不支持您的请求：您可能需要继续维持合伙关系或接受其他合伙人的条件。在此情况下，您应考虑是否继续参与合伙事务或寻求其他法律救济途径。
最后，合伙项目管理人拒不交账、拒不进行结算的行为确实违反了合伙人之间的基本义务。您有权要求解除合伙并退还合伙款，但具体能否实现需视情况而定。如果您在此过程中遇到任何法律问题或需要进一步的法律建议，请随时向我咨询。