小さい巣なので、自分で駆除しても大丈夫でしょうか？

おすすめはできません。小さな巣といえど、中に何匹のハチが待機しているか把握できないからです。市販の殺虫剤は効果が弱いため、巣を守ろうとするハチに刺される可能性もあります。