内幕交易、操纵市场的违法行为人并不都是上市公司。具体分析如下：

一. 内幕交易、操纵市场的主体多样性

内幕交易、操纵市场等证券违法活动的涉案主体具有多样性，并不仅限于上市公司。实际上，这些违法行为可能涉及上市公司、市场掮客、操纵团伙、私募基金实际控制人、股市“黑嘴”以及法定内幕信息知情人等多种角色。

1. 上市公司与实际控制人：上市公司及其实际控制人可能为了高价质押股份、炒作本公司股票等目的，参与内幕交易或操纵市场。例如，实际控制人陈某铭指使上市公司时任总经理等人操纵中昌数据股价，非法获利。
2. 市场掮客与操纵团伙：市场掮客和操纵团伙可能与上市公司形成利益共同体，内外勾结，合谋进行违法操作。他们可能通过连续交易等手段操纵流通市值较小的股票，造成股价暴涨暴跌。
3. 私募基金实际控制人：私募基金实际控制人也可能滥用杠杆交易操纵股票价格。例如，景某滥用杠杆交易操纵仁东控股，导致该股价格连续上涨后“闪崩”跌停。
4. 股市“黑嘴”：股市“黑嘴”可能诱骗投资者高价买入股票，同时其反向卖出相关股票非法牟利。例如，郑某等人操纵嘉美包装股价，伙同股市“黑嘴”利用直播间、微信群诱骗投资者。
5. 法定内幕信息知情人：法定内幕信息知情人可能滥用信息优势从事内幕交易，如在重大事项公告前突击买入，或在业绩预亏、商誉减值等利空信息发布前精准减持。

二. 法律依据

虽然问题中未直接提及具体法律条款，但根据证券市场的相关法律法规，如《证券法》等，内幕交易和操纵市场都是明确的违法行为，且对违法行为人的身份并没有限定为上市公司。这些法律法规对内幕交易和操纵市场的定义、构成要件及法律责任进行了详细规定。

综上所述，内幕交易、操纵市场的违法行为人并不都是上市公司，而是可能涉及多种角色和主体。因此，在打击这些违法行为时，需要全面考虑各种可能性和涉案主体，以确保市场的公平、公正和透明。如有进一步需要，您可以继续咨询我。