抗日战争时期，饶漱石是中共中央东南局副书记；皖南事变突围回到苏北后，任新四军政治部主任；1942年刘少奇回延安，饶任中共中央华中局代理书记、新四军代理政治委员，1945年8月任新四军政治委员。潘汉年1942年从上海撤到新四军淮南抗日根据地后，曾任华中局情报部部长。扬帆曾任新四军军法处调查科科长，皖南事变突围回到苏北后，在汤光恢任处长的军部军法处任副处长兼盐阜保安处处长，后在曾山任主任的华中局调查研究室任敌区、友区调查科科长，在彭康任书记的华中局文化委员会任委员兼秘书，在新四军第三师任锄奸部部长。但在上世纪50年代，在党内的政治运动中，他们被错定为“内奸集团”。
“内奸集团”的由来
1949年4月，南京解放后，华东局进驻苏南丹阳。当时决定由华东局社会部副部长扬帆负责上海解放后的肃反工作。对于肃清反革命分子和潜伏特务，要贯彻执行党的稳步前进的方针，“宽大与镇压相结合”，“首恶必办，胁从不问，立功受奖”的政策。入城初期，只打击首恶分子、继续进行阴谋活动分子。实行“以特反特”，“允许特务分子秘密向我自首立功赎罪”的策略。
当时在汪伪特工和国民党中很有名的“中统特务”胡均鹤，通过我军一名保卫部长的介绍，来丹阳找饶漱石。胡均鹤在上世纪30年代曾是我党共青团中央书记，后来叛变当了中统特务。抗日战争时期被日伪逮捕，成了汪伪特务头子李士群的副手。1941年曾与潘汉年发生情报关系，给共产党做过一些工作。抗日战争胜利后，胡均鹤再次成为国民党“中统”骨干，后又被国民党逮捕入狱。1949年释放出来。他派人去香港找潘汉年，表示要弃暗投明，立功赎罪。潘汉年致电扬帆，要他负责接洽。
胡均鹤到丹阳后，与扬帆见了面。他表示后半辈子要重新做人。扬帆让他提出一个立功计划。胡随后拟了一份“可运用的沪地两统(中统、军统)人员表和敌情资料”交给扬帆。扬帆将这些情况报告了饶漱石，并建议饶见胡均鹤一面。饶漱石和胡均鹤过去就认识。胡叛变革命前在共青团任职时，是饶的上级。饶对扬帆说：“这个人有用，可以带到上海去参加肃反。上海反特斗争的情况复杂，要用特反特。特别是汪精卫的特务，抗战胜利后，这些人吃过国民党的官司，要利用敌人的矛盾。”但觉得正式接见胡均鹤不合时宜，因而以有事找扬帆为由，偶然撞见的形式，见了胡，并要他今后好好立功赎罪，有什么事可以跟扬部长说。这就暗示胡：有关他的事饶全知道了。这种不冷不热的见面方式，对胡来说也达到了来丹阳的目的。
华东局进驻上海前夕，饶漱石又对扬帆说：“可以给胡均鹤搞个委员会名义，以便利工作。但放在公安局外面，专门搞这个事。”这样，胡均鹤作为特情，留在上海备用，并报中央社会部得到同意。
上海解放后，扬帆在市公安局负责情报和肃清潜伏特务工作。根据饶漱石提的“以特反特”的方针，便设立了一个情报委员会，提议胡均鹤为主任，得到饶的批准。这个对外没有挂牌的委员会，在外面开展特务秘密自首工作。在短期内有一批国民党特务系统的重要骨干，向上海公安局秘密自首，并交代了各系统的组织状况和解放前后的活动情况，发现了一批潜伏特务的电台、线索，破获了一些大案要案，取得了显著成绩。
由此，使用的特情也不断增加，人员越来越多，漏洞弊端也随之产生。有些特务利用假“自首”，继续作恶，恐吓群众。以至引起人民群众的不滿，一些民主人士也有意见。这些情况引起华东局和国家公安部领导人的注意，派人来上海调查。
1951年2月，国家公安部领导人到上海，要扬帆“着重把上海肃反斗争的情况好好谈谈”。听取汇报后，指出上海肃反工作中的问题是：“有些特情用到内部，将特情组织起来，以特情领导特情，暴露秘密，公开使用，并且使用的太多太滥。好在时间不长，用在内部也不普遍。这个错误改了就好了。”并指示今后对特情进行清理，把胡均鹤送北京养起来。
上海市公安局为此进行了认真的检讨，并做了切实的整顿，撤销了情报委员会，清理了大部分特情，最后留下了17名有重大立功表现和有继续使用条件的特情。根据饶漱石、潘汉年的意见，胡均鹤“留在上海还有作用，可以放在外面，在严格控制下开展海内外情报工作”。报请国家公安部同意，胡均鹤仍由上海市公安局就地使用。
过了不久，华东局公安部的一次业务会议上，有人指责上海反特工作奉行神秘主义，使用特情敌我不分，内外不分，干部和特务同坐一条板凳。批评扬帆包庇重用应该镇压的反革命分子。年底，扬帆被免去上海市公安局局长职务，任副局长。1953年底，扬帆的副局长职务也被免去。
1954年2月党的七届四中全会，揭露高岗、饶漱石反党联盟问题。在上海揭露饶漱石问题时，领导上指出“一定要联系饶插手上海市公安工作和统战工作的实际”，并说：“饶漱石包庇一批反革命特务分子，是通过扬帆来办的。”要扬帆揭发饶漱石的历史和皖南亊变突围及包庇胡均鹤的问题。令扬帆与饶漱石划清界线，同时交待自己的问题。同年7月，华东局和上海市公安局领导，在锦江飯店听取扬帆的检讨。会上历数扬帆在进驻上海后，迟迟不举办反动党团特分子的登记，放纵反革命分子逍遥法外，包庇叛徒特务，当作内部骨干重用，内外不分，敌我不分，作风恶劣，在群众中造成“恐特病”。说扬帆这样做，“不是国民党的代理人是不能理解的”。12月31日，向扬帆宣布，决定对他进行政治审查。第二天送往北京，扬帆从此失去自由。
1955年1月，国家公安部一位领导同扬帆谈话：“中央决定，公安部具体负责对你审查两个问题：一是在南京戏校的历史交待清楚，二是向延安反映过一位同志(实指江青)三十年代在上海的情况。”至此，扬帆已由肃反工作中的错误，上升为政治问题、敌我问题的反革命，并和饶漱石问题绞在一起，随后于4月12日被逮捕。
1955年春，中国共产党全国代表会议召开。会议中间印发了上海送来的关于揭发饶漱石和扬帆借“以特反特”，“重用包庇、掩护了特务分子、反革命分子达3300人之多”的材料。而饶漱石这时却否认自己与高岗的反党活动发生过“配合”。这激起到会人员的愤怒，一致要求将原定的组织处理“撤销职务，保留党籍，给以出路”，改为与高岗一样“永远开除出党”。至此，饶漱石的问题也被定为敌我矛盾，并于4月1日逮捕入狱。
时任上海市常务副市长、上海市委第三书记、市政协副主席，我党资深情报工作干部潘汉年，是出席全国党代表会议的上海市代表团成员。因为他主管上海政法和情报工作，会上揭露的上海市公安局肃反工作中的问题，有些与他直接有关。如得到市局重用的胡均鹤是由他介绍去华东局社会部并要扬帆约见的。更为重要的是胡均鹤在抗战期间与他发生情报关系后，帮他策反汪伪特工头子李士群过程中，1943年在上海时李士群挟持潘汉年到南京一起见了汪精卫。这件事，当时的日伪报纸有过报道。新四军军部曾将这些报道电告中央社会部。中央社会部认为这是敌人造谣，根本不可信，因而从未就这个问题问过潘汉年。而潘汉年回到根据地后，没有主动向领导交代。1945年回延安参加党的七大，他原拟向组织报告，后因种种原因没有进行。这件事对潘汉年来说是块心病。作为党的高级情报干部，在和敌人的接触中，那些问题该事前请示，那些该事后报告，他是很清楚的。面见汪精卫这样的事，虽然未损害党的利益，但长期未报告，这不能不说是个很大的错误。经过反复思考，他把这件事的过程写成材料，交给出席全国党代表会议的上海市代表团团长陈毅，请他转呈中央。陈毅看了材料大吃一惊，随即亲自将材料送交党中央。党中央看了材料，认为潘汉年“不可信用”。决定立即逮捕。
潘汉年被认定为党的“内奸”。由于潘汉年的问题与饶漱石、扬帆的问题绞在一起，饶漱石即升为该集团的首犯。一个饶、潘、扬反革命“内奸集团”，就这样认定了。1963年，陆续由最高人民法院作出刑事判决，对饶漱石判处有期徒刑14年，潘汉年判15年，扬帆判16年。
没有查到“内奸”的证据
一个反革命“内奸集团”被认定了，但要有证据才能结案。1955年5月，根据中共中央指示，成立了专案审查小组，由国家公安部负责承办。任务是要查出饶、潘、扬被拉出去或打进来的证据。
审查小组经过多年的内查外调、审讯，对饶、潘、扬的历史做了细致的审查。扬帆尽管在国民党南京戏校工作过一段时间，但没有任何材料能证明他是被打进来的。扬帆也不承认自己是内奸。潘汉年也没有查到被拉出去的确凿证据。饶漱石虽然1930年被国民党军阀逮捕过，但未查到他有叛变行为。皖南事变突围中说他被俘，但饶从未承认过。他自己说是“收买成功”。即新四军军部由石井坑分散突围后，饶漱石等突出了顽方两重包围圈，在皖南宁国县遇到国民党军第四十师部队的盘查。他自称是做生意，上山收购药材的。随即摸出一枚金戒指，送给了盘查部队的连长。该连长就把他放走了。专案组终于找到了当年这个连长，他交代的情况与饶漱石说的基本吻合。因而说饶在皖南被俘过的说法不准确。
1967年7月，成立饶漱石专案组，复查饶、潘、扬案件。专案组在沈阳保存的敌伪档案中，找到了饶漱石被捕历次被审的口供记录，和出狱具结的原始文件。从这些文件中，确实证明饶漱石那次被捕，只是以一般的群众面目出现，没有暴露自已的共产党员和满洲团省委书记的身份。九一八事变后出狱具结的材料，也是以一般老百姓和普通群众的面目写的。证明他虽然被捕过，但没有叛变投敌再被打进来的证据。专案组的复查报告，仍维持原来的说法。潘汉年、扬帆也没有查到被拉出去或打进来的证据，同样也维持原来的说法。
冤案的平反
党的十一届三中全会后，恢复了“实事求是”，“有错必纠”的思想路线。对过去的案子，不管谁批准的，只要是搞错了的，都要进行复查甄别。而潘、扬在“四人帮”跨台的1976年即提出申诉，要求组织上对他们的问题进行复查，作出公正的结论。1978年陈云任中央纪委第一书记时，也向中央建议对潘汉年一案进行复查。经中央纪委复查的结果，没有查到所谓潘汉年秘密投降国民党的证据。他在工作中得悉的一些重要战略情报，得到了证实，获得了巨大成绩。1982年8月23日，中共中央发出《关于为潘汉年同志平反昭雪、恢复名誉的通知》，“向全党郑重宣布，把潘汉年同志定为‘内奸’，并将其逮捕、判刑、开除党籍，都是错误的”。终于在他蒙冤27年、去世5年后得到平反昭雪，恢复党籍，追认历史功绩，公开恢复了名誉。随后扬帆也得到了彻底平反，中共中央批准的《对扬帆同志问题的复查结论》认为：“过去认定扬帆是内奸、反革命，包庇重用大批特务反革命分子，使用敌特电台供给台湾敌人情报，引起敌机轰炸上海等问题，均不是事实，应予否定，对扬帆同志隔离、逮捕、判刑都是错误的。扬帆同志蒙冤20余年，应予平反，恢复名誉，消除影响。”因扬帆当时健在，生活上也得到了妥善安置。
这个“内奸集团”两名直接从事“反革命”的主要成员都彻底平反了，而对原定为这个集团首领、“犯有包庇反革命罪”的饶漱石，还没有“专门做出复查结论”。没有给他的“内奸”问题做出平反。但我们从1986年人民出版社出版的《毛泽东著作选读》两卷本第436条注释中，可以得到一些信息。在这条注释中提到饶漱石在解放后任中共中央华东局第一书记和上海市委书记期间，“直接领导潘汉年在反特方面的工作。由于潘汉年被错定为‘内奸分子’，饶漱石主持工作中的一些活动被错定为内奸活动，他因此而被认为犯有反革命罪并被判刑。”
还应指出，1955年对饶漱石的审查，只是查他是否被拉出去或打进来从事反革命活动的证据。在饶漱石63个审查案卷中，没有提到“高饶事件”一个字。由此可以看出，当时的专案人员是严格将这个“内奸集团”与“高饶反党联盟”区别开来的。