ベンチマーク概要
Rosina: 「まいど!Rosinaやで。今回は、巷で話題の『Replit Agent 3』と『Manus 1.5』、どっちがホンマに使えるんか、ガチンコ対決させたったわ!」
na2ken: 「今回のテーマは『修正力(Modifiability)』です。ゼロからの生成能力はどちらも高いですが、実務で重要なのは『後からどれだけ柔軟に直せるか』ですからね。」
Rosina: 「せやな。一発で完璧なコードなんか書けるわけないし、仕様変更は日常茶飯事やからな。で、どんなテストしたん?」
na2ken: 「以下の3つのレベルで検証しました。」
実験のルール
- 3回まで修正指示を出す: 1回で直らなくても、対話で解決できればOK。
- 人間はコードを書かない: 全て自然言語(日本語)で指示。
- 公平な環境: 同じベースコードからスタート。
比較結果サマリー
| 項目 | Replit Agent 3 | Manus 1.5 |
|---|---|---|
| Level 1: デザイン・条件分岐 | ✅ 余裕でクリア | ✅ 余裕でクリア |
| Level 2: 機能追加 (CSV) | ⚠️ 苦戦 (3回目で成功) | ✅ 一発クリア |
| Level 3: 構造変更 (論理削除) | ❌ ギブアップ (コード崩壊) | ✅ 驚異の対応力 |
評価詳細
Replit Agent 3
- 得意: UIの微調整、単純なロジック変更。プレビューが爆速。
- 苦手: データベースのスキーマ変更を伴うような、根本的な構造変更。
- 総評: 「プロトタイプ作成マシーン」。動くものを速く作るなら最強だが、運用フェーズの改修には不安が残る。
Manus 1.5
- 得意: 複雑な依存関係の解決、複数ファイルにまたがる変更。
- 苦手: 特になし(強いて言えば、思考時間が少し長い)。
- 総評: 「シニアエンジニアの相棒」。文脈を深く理解しており、安心して任せられる。
詳細ログ
Level 1: デザイン・条件分岐
「見た目の色を変える」「特定の条件でボタンを隠す」といった、初歩的な変更指示。 両者ともに難なくクリア。Replitの方がプレビュー反映が速く、サクサク進む印象。
Replit Test 1
Manus Test 1
Level 2: 機能追加 (CSVエクスポート)
「一覧画面にCSVダウンロードボタンを追加して」という、業務アプリあるあるな指示。
- Replit: 最初はボタンだけ作って中身が空っぽだったり、文字化けしたり。3回目の指示でようやく実用レベルに。
- Manus: 最初からエンコーディング(BOM付きUTF-8)まで考慮した完璧な実装。
Replit Test 2
Manus Test 2
Level 3: 構造変更 (物理削除から論理削除へ)
「データを完全に消すのではなく、削除フラグを立てて非表示にするように変えて」という、DB設計に関わる難題。
- Replit: データベースのマイグレーションに失敗し、アプリが起動しなくなる。手動での修正が必要に。
- Manus: マイグレーションファイルの作成から、関連するクエリの修正まで、全て自動で完遂。これには感動した。
Replit Test 3
Manus Test 3
結論
Rosina: 「結局、どっち使えばええの?」
na2ken: 「用途によりますね。」
- Replit Agent 3: 新規事業の立ち上げ、ハッカソン、PoC作成など、スピード重視の場面。
- Manus: 長期的な運用が見込まれるプロダクト、既存システムの改修、品質重視の場面。
Rosina: 「なるほどな。適材適所ってことか。ウチのサイトもManusで作っといてよかったな!」
編集後記
先週、フィンテック養成勉強会と湯川塾で、バイブコーディングについて解説をする機会をいただきました。
双方とも 参加者の約30〜40%の方が「バイブコーディングを聞いたことがある」あるいは「知っている・やったことがある」とお答でした。
このことが、今回、「テックトレンド情報」から「バイブコーディング」にテーマを絞ろうという決意を後押ししました。PDFから脱皮して専門のメディアにしたかったので、ドメイン名を考えた結果、かの「SpaceX」にあやかって「VibeCodingX」と名付けました。
この名前で、「バイブコーディング」の可能性がもっと世間に広まって欲しいと願っています。
【注釈】「湯川塾」・・・ITジャーナリストである湯川鶴章(ゆかわ つるあき)氏が主宰する少人数制の勉強会です。
