结论：没有直接借贷并不一定就不构成非法经营罪，是否构成该罪需根据具体行为是否符合非法经营罪的构成要件来判断。
分析：
非法经营罪，是指违反国家规定，有下列非法经营行为之一的犯罪：
- 未经许可经营法律、行政法规规定的专营、专卖物品或其他限制买卖的物品的；
- 买卖进出口许可证、进出口原产地证明以及其他法律、行政法规规定的经营许可证或者批准文件；
- 未经国家有关主管部门批准，非法经营证券、期货或者保险业务的，或者非法从事资金结算业务的；
- 从事其他非法经营活动，扰乱市场秩序，情节严重的行为。
针对您提出的问题，我们可以从以下几个方面进行详细分析：
行为性质：
- 如果您没有直接参与借贷行为，但参与了与借贷相关的非法经营活动，如提供资金结算、担保、介绍借贷等，且这些行为扰乱了市场秩序，情节严重，那么您仍有可能构成非法经营罪。
- 非法经营罪的关键在于行为的非法性和扰乱市场秩序的严重性，而不仅仅在于是否直接参与了借贷。
主观故意：
- 构成非法经营罪还需要具备主观故意，即明知自己的行为是违法的，仍然故意实施。
- 如果您对相关行为的违法性并不知情，或者没有故意扰乱市场秩序的意图，那么可能不构成非法经营罪。但这一点需要具体证据来支持，不是仅凭口述就能认定的。
情节严重性：
- 非法经营罪的成立还需要考虑情节的严重性。这通常包括经营数额、违法所得数额、给社会造成的危害后果等因素。
- 如果您的行为虽然违法，但情节轻微，没有造成严重后果，那么可能不构成非法经营罪，或者可能受到较轻的处罚。
建议：
- 如果您担心自己的行为可能构成非法经营罪，建议您立即停止相关行为，并咨询专业律师进行详细评估。
- 律师会根据您的具体情况，包括行为性质、主观故意、情节严重性等因素，给出专业的法律意见。
- 如果确实构成非法经营罪，律师还可以帮助您制定合适的辩护策略，以减轻或免除法律责任。
后续行动：
- 收集并整理所有与案件相关的证据和材料，包括合同、交易记录、通信记录等。
- 尽快与律师取得联系，详细描述您的行为和情况，以便律师进行准确评估。
- 根据律师的建议，采取相应的法律行动，如自首、配合调查等。
总之，没有直接借贷并不一定就不构成非法经营罪。是否构成该罪需根据具体行为是否符合非法经营罪的构成要件来判断。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。