结论：不找中介直接找工厂要钱是否违法，需根据具体行为性质和法律关系判断，可能合法也可能涉及违法风险。以下分情况说明：

1. 若存在合法债权债务关系，直接索要合法

若您与工厂之间存在明确的债权债务关系（如工厂拖欠货款、工资、借款等），且您作为债权人直接向工厂主张权利，该行为本身不违法。根据《民法典》第118条，债权人有权要求债务人履行义务，直接索要属于合法行使权利的方式。

关键点：

• 需有证据证明债权存在（如合同、欠条、转账记录等）；
• 索要方式需合法，不得采取威胁、恐吓、非法拘禁等手段。

2. 若不存在合法债权，可能涉嫌违法

若您与工厂无合法债权债务关系，但通过虚构事实、隐瞒真相（如谎称工厂欠债）或强行索要财物，可能涉嫌以下违法或犯罪行为：

• 敲诈勒索罪（《刑法》第274条）：以非法占有为目的，对工厂使用威胁、要挟方法，强行索要财物，数额较大或多次敲诈的，可能构成犯罪；
• 诈骗罪（《刑法》第266条）：若通过虚构事实骗取工厂财物，可能构成诈骗；
• 寻衅滋事罪（《刑法》第293条）：若以纠缠、哄闹、聚众造势等手段索要财物，扰乱工厂秩序，可能构成犯罪。

关键点：

• 行为目的需为非法占有；
• 需采取威胁、欺骗等非法手段；
• 数额或情节需达到刑事立案标准。

3. 若通过非法手段索要，即使存在债权也可能违法

即使您对工厂享有合法债权，但若采取以下方式索要，仍可能违法：

• 非法侵入住宅（《刑法》第245条）：强行进入工厂负责人住宅或办公场所，拒不退出；
• 故意毁坏财物（《刑法》第275条）：破坏工厂设备、产品等财物；
• 扰乱单位秩序（《治安管理处罚法》第23条）：聚众闹事、封堵工厂大门等，影响正常生产。

关键点：

• 权利行使需通过合法途径（如协商、诉讼、仲裁）；
• 不得以损害他人或公共利益为代价。

建议

1. 核实债权合法性：确认您与工厂之间是否存在真实、合法的债权债务关系；
2. 选择合法方式：优先通过协商、发送律师函、提起民事诉讼等方式主张权利；
3. 避免非法手段：切勿采取威胁、暴力、欺骗等手段，否则可能从维权者变为违法者。

若您涉及具体案件或需进一步分析，可直接向我咨询，我将结合证据和事实提供专业意见。