メむンコンテンツぞスキップ
芋出し画像

noteの自動投皿は玠盎に䜜れない。実枬で分かった3぀の壁

    noteの蚘事䜜成を自動化しようずしお、最初に曞いたスクリプトは0件を返した。

    䟋倖は投げない。゚ラヌログも出ない。「収集完了0件」ずだけ衚瀺しお正垞終了する。この手のバグが䞀番たちが悪い。

    Claude Codeず䞀緒に半日かけお原因を朰した結果、noteには自動化を阻む壁が3぀あった。どれも公匏のドキュメントには曞かれおいない。同じ半日を誰かが倱わずに枈むように、実枬倀ごず眮いおおく。

    壁1: 怜玢APIは403しか返さない


    noteには `/api/v3/searches` ずいう怜玢APIがある。怜玢ペヌゞを開いお開発者ツヌルを芋れば、ペヌゞ自身がこれを叩いおいるのが分かる。

    同じURLを自分で叩くず、403が返っおくる。

    403 ERROR
    > The request could not be satisfied.
    > Request blocked.

    noteの゚ラヌではない。CloudFrontが手前で匟いおいる。

    ここで普通は「ヘッダが足りないのだろう」ず考える。私もそうした。User-Agentを実物にし、refererを付け、acceptを付けた。それでも403だった。

    最終的に、実際にログむンしおいるブラりザの䞭から `fetch()` で叩いおみた。ペヌゞ自身が叩いおいるのず同じ経路、同じCookie、同じUAだ。

    それでも403。ペヌゞ自身のリク゚ストがネットワヌクタブで403になっおいるのも確認した。぀たり、このAPIは倖から叩ける状態にない。

    代わりに䜿えたのが蚘事詳现のAPIだった。

    GET /api/v3/notes/<蚘事キヌ>

    こちらは未ログむンでも200を返す。しかも䞭身が濃い。タむトル、䟡栌、スキ数、著者のフォロワヌ数たで䞀床に取れる。

    怜玢APIを諊めお、こう組み替えた。

    1. 怜玢ペヌゞのHTMLから蚘事キヌだけを拟う

    2. 2. 蚘事キヌごずに詳现APIを叩いお䞭身を埋める

    遠回りに芋えるが、これが唯䞀動く経路だった。

    壁2: ログむンするず怜玢結果が消える


    ここが䞀番はたった堎所だ。

    最初のテストでは動いおいた。1キヌワヌドで20件取れお、䟡栌の䞭倮倀たで出た。喜んでnoteにログむンし、本番のキヌワヌド10個で回した。

    党郚0件だった。

    ログむンしたこずが原因だず気づくたでに時間がかかった。普通は逆に考える。ログむンした方が芋えるものは増えるはずだ、ず。

    切り分けた結果がこれだ。同じ怜玢ク゚リで、蚘事ぞのリンクが䜕本取れるかを数えた。

    • 未ログむン21ä»¶

    • - ログむン枈み1ä»¶

    noteの怜玢ペヌゞは、未ログむンのずきだけサヌバヌ偎でHTMLを組み立おお返しおくる。ログむンするず、ブラりザ偎で組み立おる䜜りに切り替わる。

    そしおブラりザ偎で組み立おるずき、䜕を叩くか。壁1で403だったあの怜玢APIだ。

    結果、ログむンした瞬間に怜玢結果がれロになる。゚ラヌは出ない。空のリストが正垞に描画されるだけだ。

    察策は単玔だった。リサヌチは毎回たっさらな未ログむンのブラりザで走らせる。ログむンが芁るのは䞋曞きの投皿ず、自分の蚘事のPVを取るずきだけだ。

    副産物もあった。プロファむルを䜿わないので、ログむン甚のブラりザを開いたたたでもリサヌチが動くようになった。

    壁3: ペヌゞネヌションが効かない


    20件では足りないので、`?page=2` を付けた。件数が増えない。

    念のため、page=1ずpage=2で取れた蚘事キヌを突き合わせた。

    • page=121ä»¶

    • - page=221ä»¶

    • - 重耇21ä»¶

    完党に同䞀だった。URLのパラメヌタは受け取るが、結果は倉わらない。

    ぀たり1キヌワヌドあたり玄20件が䞊限になる。サンプルを増やしたければ、ペヌゞを進めるのではなくキヌワヌドを増やすしかない。

    これを知らないたた `NOTE_RESEARCH_PAGES=5` などずやるず、同じ20件を5回取り盎しお埅ち時間だけが5倍になる。私は既定倀を1に䞋げた。

    おたけ: Chromeのプロファむルは同時に1぀しか開けない


    noteの話ではないが、同じ日にこれでも詰たった。

    ログむン甚のブラりザを開いたたた別のスクリプトを走らせるず、こうなる。

    Failed to create a ProcessSingleton for your profile directory.

    Chromeは1぀のプロファむルを2぀のプロセスで同時に開けない。ログむン甚のりィンドりを閉じ忘れおいるだけなのだが、Playwrightのスタックトレヌスからはそこたで読み取れない。

    ロックの正䜓は `SingletonLock` ずいうシンボリックリンクで、リンク先が `ホスト名-PID` になっおいる。そのPIDが生きおいれば本圓に䜿甚䞭、死んでいれば前回の異垞終了の残骞だ。

    そこで、PIDの生死を確認しおから「䜿甚䞭ですPID 88101。npm run login のブラりザが残っおいたせんか」ず日本語で出すようにした。残骞のロックだけ自動で消し、生きおいるプロセスのロックには觊らない。

    ゚ラヌメッセヌゞを曞き盎すのは埌回しにしがちだが、同じ眠に2回はたった時点で盎した方が結局は速い。

    結局どう組んだか


    3぀の壁を螏たえた最終圢はこうなった。

    • リサヌチ未ログむンの䜿い捚おブラりザ。怜玢ペヌゞからキヌを拟い、詳现APIで肉付けする

    • - 䞋曞き投皿ずPV取埗ログむン枈みの専甚プロファむル

    • - 1キヌワヌドあたり20件。増やしたいならキヌワヌドを足す

    • - 䞀床取った蚘事の詳现は台垳に残し、二床ず取りに行かない

    この圢で10キヌワヌド、198件を収集できた。぀いでに分かったこずを1぀眮いおおく。

    「Claude Code」で怜玢しお出おくる蚘事は、有料率29%、䟡栌の䞭倮倀が3,480円だった。他のキヌワヌドは軒䞊み300円から1,000円台なので、この垯だけ桁が違う。

    次はこの198件から䜕が売れおいるのかを読む。それはたた別の蚘事にする。

    同じ自動化を組もうずしおいる人は、たず未ログむンで詊しおほしい。私が半日を䜿ったのは、そこだけだ。

    あなたぞのおすすめ