1944年8月29日，驻宿迁日军七十二旅团一三五大队为确保宿、泗水陆交通，派出金井中队88人、伪宿迁保安第十一中队及泗阳第四区汉奸武装90余人，侵占宿、泗运河线上的小张庄，设立据点，控制林公渡口。
新四军三师十旅为巩固已得的胜利，配合盐阜区沿海地区的攻势，则针锋相对，对敌交通线上已有和新设的据点不断发起攻击。7月15日，淮海部队攻占泗阳北之两遭圩据点。17日，攻克新安镇东南之大新集。8月6日，在沭阳北之杨湾俘获日军汽车3辆及其驾驶员。敌之交通线不断遭新四军攻击和破坏。
林公渡据点，西北距宿迁县城32公里，东南距泗阳县城20公里，北靠运河，南200米为旧黄河堤。该据点东西长约120米，南北宽约50米，有民房12座。敌在据点周围构筑地堡、外壕、鹿砦、铁丝网。据点外的邻近房屋均被敌放火烧毁。
在敌占领林公渡口前，新四军第十旅兼淮海军分区根据8月20日侦察得悉，日伪不久即要在林公渡安设据点，确保运河水上交通，所以决定由吴信泉带领参战部队的主要指挥员进行了现地勘察和预先战场准备，动员群众拆掉好墙，埋藏粮食。敌占领林公渡后，淮海军分区即对据点的兵力部署和工事构筑等情况，进行了详细侦察，并在林公渡东北30余公里之裴圩、里仁集一带集中兵力，进行政治动员和战前准备。9月5日，十旅召开党委会议，决定趁敌立足未稳而拔除之。部队的具体战斗部署是以二支队六团配属旅特务营两个连、二支队警卫连和迫击炮连为第一梯队；以二支队五团两个连为二梯队；以二支队第四团配属泗阳县总队占领陈圩有利位置，担负阻击泗阳方向可能出援林公渡之敌；以五团主力和宿迁县总队阻击宿迁、洋河镇方向可能出援之敌。
9月6日黄昏，攻击部队自裴圩、里仁集一线对林公渡据点实施奔袭，于7日拂晓前渡过运河突然将敌包围。经过现场进一步侦察，决定以六团二、三连在据点西南担任主攻；旅特务营两个连和二支队警卫连在东面担任助攻；一连位于据点西侧运河岸边为预备队，并随时准备截击溃逃之敌；指挥所设在黄河堤上。各分队受领任务后，积极进行准备，构筑工事，挖了数道通往敌据点前沿的交通壕。
当日上午，据点内日伪军组织3次出击。十旅部队给予猛烈地反击，敌伤亡30余人，被迫退守据点内待援。下午，宿迁县城之日军一三五大队一部和伪军进至洋河镇以东，企图解林公渡之围，被五团主力和宿迁总队在洋河镇以东阻击，歼敌一部，余敌被击溃逃回洋河镇，从此再不敢出援。
当晚，各部紧缩对林公渡据点的包围，逼近其前沿。六团三连乘机从据点西侧用集束手榴弹炸开鹿砦，冲入外壕，暗堡守敌以猛烈火力阻止部队前进。新四军以机枪封锁敌暗堡射孔，突击班用马刀砍断暗堡外围铁丝网，以勇猛动作跃上暗堡，从射孔投入手榴弹将其炸毁，突破了日军前沿阵地。该连后续分队搭梯子越过外壕，进入突破口，分两路向西端三间房屋攻击前进，将伪军1个班歼灭，活捉3人，占领了三间房屋。据点北端院内日军1个小队，在火力掩护下进行反冲击，将被占领的房屋点着起火。三连在二支队迫击炮连炮火支援下，奋勇将敌击退，尔后就地挖掘堑壕，并依托房屋的废墟，坚守了既得阵地。
8日17时10分，各攻击分队在炮火掩护下发起总攻。第三连从原阵地向西南方向猛烈攻击，又占领了西侧几座房屋，击毙日军小队长和日、伪军10余名。此时，位于据点正南攻击之第二连也已突破敌前沿，但遭敌暗堡密集火力压制未能进入纵深；由东面攻击之旅特务营二连和二支队警卫连，为敌猛烈火力所阻，3次冲击未能奏效。敌我形成对峙。
22时许，攻击部队集中炮火摧毁敌火力发射点，随即各分队再次勇猛冲击，二连乘机突入敌阵，占领南端一排房屋，毙伤日伪军20余人。此时，三连、二连和由西南角进入战斗的四连，共同由西向东发起进攻，穿墙打洞，近战肉搏，展开了激烈的逐屋逐院争夺战。
9日2 时，将敌百余名压缩在东北端三间房屋的指挥所院内和东南角两个地堡中。炮兵集中火力向敌指挥所院内猛烈轰击，旅特务营二连和二支队警卫连从东突入院内后，配合二、三、四连从两翼发起冲击。激战中，敌金井中队长被击毙，守敌恐慌万状，加之弹药消耗殆尽，便点燃房屋，向西突围，当即被歼灭过半，残敌沿运河狼狈向西溃逃。一连立即追击。日军已无弹药，即上起刺刀，妄图进行肉搏，拼出一条生路。一连战士即以机枪、步枪猛烈的火力杀伤日军。
经过一场激战，将敌全部歼灭。拂晓前，胜利地拔除了林公渡据点，击毙日军金井中队60余人，活捉日军5名，毙俘伪军90余人。