文化执法部门一般不能直接以不开发票为由对旅行社进行处罚，但若涉及文化市场经营中的发票违法行为，文化执法部门可协同税务部门处理或移送案件线索。以下从不同角度详细分析：

1. 文化执法部门的职责范围
   文化执法部门主要依据《中华人民共和国文化市场综合行政执法管理办法》等法规，负责监管文化市场经营活动，包括娱乐场所、演出、艺术品、网络文化等领域。其执法权限通常限于文化市场经营秩序、内容合规性等方面，不直接涉及税务发票管理。

2. 不开发票的直接监管部门
   根据《中华人民共和国发票管理办法》，发票的开具、使用和管理由税务部门负责。若旅行社未按规定开具发票，属于税务违法行为，应由税务机关（如税务局）依据《税收征收管理法》《发票管理办法》等法规进行处罚，处罚措施包括罚款、责令改正等。

3. 文化执法与税务执法的协同场景
   若旅行社在文化市场经营活动中（如组织旅游演出、文化主题游等）存在不开发票行为，且该行为同时违反文化市场管理规定（如未取得相关经营许可、虚假宣传等），文化执法部门可：

   • 对文化市场经营违规行为单独处罚（如罚款、停业整顿）；
     
   • 将发票违法线索移送税务部门，由税务机关进一步处理；
     
   • 在联合执法行动中，与税务部门共同查处涉及文化市场与税务的复合违法行为。

4. 旅行社需注意的合规要点

   • 税务合规：无论是否涉及文化市场经营，旅行社均需按《发票管理办法》向消费者开具发票，否则可能面临税务处罚。
     
   • 文化市场合规：若经营文化类旅游项目（如非遗体验游、演出票务代理等），需确保取得文化主管部门许可，并遵守内容审查、安全保障等规定，避免因违规经营被文化执法部门处罚。

建议：若旅行社因不开发票被文化执法部门调查，可要求执法部门出具书面通知，明确处罚依据。若处罚依据仅涉及税务问题，可申请行政复议或提起行政诉讼，主张文化执法部门越权执法；若同时涉及文化市场经营违规，需配合调查并整改。如有疑问，可直接向我咨询具体案件处理方案。