违规经营投资责任追究不可以只有直接责任。根据国务院国有资产监督管理委员会发布的《中央企业违规经营投资责任追究实施办法（试行）》及相关法律法规，违规经营投资责任追究是一个多层次、多维度的责任体系，具体可以划分为以下几种责任类型：

一. 直接责任

直接责任是指对违规行为具有直接影响，起较大作用的人员所承担的责任。例如，某员工直接参与并实施了违规经营投资行为，那么该员工就需要承担直接责任。

二. 主管责任

主管责任是指对违规行为负有直接管理职责的人员所承担的责任。如果某部门主管未能有效监督和管理下属员工，导致违规经营投资行为的发生，那么该主管就需要承担主管责任。

三. 分管领导责任

分管领导责任是指对违规行为负有领导责任的人员所承担的责任。这通常涉及更高层级的管理人员，他们虽然不直接参与具体业务，但需要对企业的整体运营和风险管理负责。

四. 重要领导责任

重要领导责任是指对违规行为负有重要领导责任的人员所承担的责任。这通常涉及企业的高层领导，他们需要对企业的战略方向、重大决策和风险管理等方面负责。

五. 监管责任

监管责任是指对违规行为负有监管职责的人员或机构所承担的责任。例如，国有资产监督管理机构在监管过程中未能及时发现和制止违规经营投资行为，那么相关监管人员或机构就需要承担监管责任。

综上所述，违规经营投资责任追究是一个多层次、多维度的责任体系，不仅限于直接责任。在实际操作中，需要根据具体情况和相关法律法规，对涉及违规经营投资行为的人员进行全面、客观的责任追究。

我的观点是，在违规经营投资责任追究中，应当充分考虑各种责任类型的存在，确保责任追究的全面性和公正性。如有进一步需要，您可以继续咨询我。