В начале 1901 года начался новый этап борьбы петербургских рабочих за свои экономические и политические права. 1 мая поднялись Невская застава и Выборгская сторона. На Бабениной улице выросли баррикады — первые баррикады на улицах Петербурга. 7 мая начались известные события на Обуховском заводе, которые вошли в историю под именем «Обуховской обороны». Борьбой рабочих руководила социал-демократическая организация «Рабочее знамя», действовавшая за Невской заставой.

Успехи рабочего движения в Петербурге были бы более ощутимыми, если бы не раздробленность петербургских социал-демократов. Социал-демократические организации, в том числе и питерские, явно отставали от стихийного подъема рабочего движения. Организационная раздробленность усиливалась идейным разбродом среди социал-демократов, отсутствием единого понимания целей и задач рабочего движения, путей и средств их решения.

Но в тот день, когда Менжинский и другие социал-демократы участвовали в переписи населения Петербурга, из Лейпцига в Россию уже переправлялся первый номер ленинской «Искры», газеты, которая посвятила свои силы идейному и организационному объединению местных социал-демократических групп и комитетов в единую марксистскую партию.

В конце 1901 года в Петербурге оформляется искровская организация. Во главе ее становятся руководители левого крыла «Союза борьбы» М. И. Калинин, В. С. Краснуха и Е. Д. Стасова. Искровцы сближаются с объединенной группой «Рабочего знамени» и «Социалиста» действовавшей за Невской заставой и на Выборгской стороне. Агенты «Искры» в Петербурге, в том числе Е. Д. Стасова, ведавшая техникой социал-демократической организации, распространяют «Искру» среди рабочих Петербурга. Известно, например, что распространение «Искры» и искровской литературы за Невской заставой происходило в классах Смоленских воскресных курсов, а также на явке в районе Палевского проспекта. Ленинская «Искра» пользовалась колоссальным успехом среди рабочих, большинство которых без колебаний признало ее позицию. Один из петербургских рабочих тогда писал в «Искру»: «Я многим товарищам показывал «Искру», и весь номерок истрепался, а он дорог… Тут про наше дело, про все русское дело, которое копейками не оценишь и часами не определишь: когда его читаешь, тогда понятно, почему жандармы и полиция боятся нас, рабочих, и тех интеллигентов, за которыми мы идем».

В числе тех интеллигентов, о которых писал этот рабочий, был и Менжинский. Вынужденный работать подпольно, он строго соблюдал выработанный практикой нелегальной работы кодекс подпольщика: будь точен, чтобы не подвести товарища, не опоздать на явку или на занятие кружка; умей заметить все до мельчайших деталей, а сам сумей уйти незамеченным; умей владеть собой в любой обстановке и в любую минуту; будь бдителен, «гляди вправо, гляди влево и оглядывайся назад», вовремя замечай филеров и шпиков и сумей их переиграть; проявляй доверие и чуткость к друзьям и соратникам; знай только то, что нужно знать, а не то, что можно знать. Таковы были правила конспирации. Этим правилам Менжинский учился у Стасовой и других руководителей искровской организации. В 1933 году Менжинский писал Елене Дмитриевне:

«Мало осталось товарищей, которые своими глазами видели начало твоей подпольной работы в Питере 90-х — 900-х годов, а я работал под твоим началом около 4 лет, видел твои первые шаги в качестве партийного руководителя и могу смело сказать, что до сих пор не встречал работников, которые, вступивши на поле подпольной деятельности, сразу оказались такими великими конспираторами и организаторами — совершенно зрелыми, умелыми и беспровальными.

Твой принцип — работать без провалов, беспощадно относясь ко всем растяпам, оказался жизненным и после Октября, даже в деятельности такого учреждения, как ВЧК-ОГПУ. Если мы имеем большие конспиративные успехи, то и твоего тут капля меду есть — подпольную выучку, полученную в твоей школе, я применял, насколько умел, к нашей чекистской работе».

Менжинский всегда был искусным конспиратором. В семье Менжинских строго соблюдались правила конспирации: не вести даже дома разговоров о партийных делах. Работая в те годы под началом Стасовой, Менжинский настолько искусно соблюдал эти правила, что ли разу не попал в поле зрения охранки. И это в условиях, когда социал-демократические организации в России подвергались непрерывному полицейскому преследованию, а их ряды то и дело опустошались жандармскими набегами…

В обзоре важнейших дознаний, производившихся в жандармских управлениях за 1902 год, сообщалось, что СПБ «Союз борьбы за освобождение рабочего класса» «…благодаря умелому выражению современных задач привлек в свои ряды массу интеллигентной молодежи…

Произведенные в конце 1901 года в Петербурге и Вильне аресты главных представителей русской группы сообщества «Искра» на некоторое время прекратили ее деятельность. В феврале же 1902 года были получены достоверные указания на то, что оставшиеся на свободе члены упомянутой организации вновь сгруппировались, поставив своей целью широкую и энергичную агитацию…» Дознанием установлено, что осенью состоялся съезд представителей «Искры» и других социал-демократических групп, на котором собравшиеся делегаты пришли к соглашению относительно объединения всех социал-демократических фракций в одну партию с принятием для нее общей программы «Искры».

Руководители петербургской общегородской организации были достаточно хорошо законспирированы, и охранке не удалось узнать их имен.

Процесс объединения социал-демократических кружков и групп, стоявших на платформе «Искры», в единую партийную организацию, который так беспокоил охранку, продолжался. В июле 1902 года состоялось общегородское собрание социал-демократов. Собрание единодушно поддержало программу «Искры» и создало комиссию по реорганизации «Союза борьбы».

Огромную роль в строительстве партии, в борьбе с оппортунистами-экономистами, оказавшимися в «Союзе борьбы», сыграла книга Ленина «Что делать?», изданная в марте 1902 года в Штутгарте.

Как и многие другие революционеры-марксисты, Менжинский не только сам перечитывал эту книгу, задумывался и размышлял над ней, о чем свидетельствуют его многочисленные пометки на нолях — восклицательные знаки, подчеркивания, — но и пересказывал ее содержание в кружках, которыми руководил.

Особенно сильное впечатление на Менжинского произвели слова Ленина, о которых он впервые услышал от Стасовой. Слова о том, что без профессиональных революционеров дело никогда не двинется ни на вершок вперед.