１９０２（明治３５）年、下士官兵の宿泊休憩、食事入浴、教養娯楽などの慰労休養施設として、佐世保橋の近くに下士官兵集会所（正式の名を海仁会集会所）が建設されました。
最初は、既存の建物を利用した木造の小規模なもので、海軍の直営でしたが、１９０４（明治３７）年、私設に移されたのを機に、本館、食堂、浴場などが新築され、次第に規模が大きくなりました。
さらに、軍港施設の拡充に伴う兵員の増加と、業務の拡大により、１９２９（昭和４）年から、大増改築が始まり、広大な佐世保河畔に、洗濯所、理髪所、柔剣術道場、娯楽場、精米所、大弓場、相撲場等の施設が年を追って建設され、１９３５（昭和１０）年３月、鉄筋コンクリート三階建の堂々たる白亜の本館が完成し、毎日数百人の下士官兵が利用した、市内最大の集会施設として、威容を誇っていました。
終戦後は、米軍に接収され、コマンダーポストの略称からＣＰビルの名で、連合国軍の佐世保司令部に使用されていましたが、１９７７（昭和５２）年に返還、取り壊されました。
１９９０（平成２）年３月、跡地に佐世保市立総合病院が新築移転して、現在に至っています。
また、近くには明治23年に初代の橋が完成した佐世保橋があります。海軍構内と市街地を結ぶ橋だったことから、戦時中は「海軍橋」といわれ、地元では今でもその呼び名が残っています。