Doc_chelvyn/Mito/Infra/Mito — Jenkins Deploy Gagal...

11 KiB

proyek modul odoo kategori periode status sumber tags
Mito mito_odoo (deploy pipeline Jenkins) 18.0 Infra 2026-10-17 🔄 HO sudah fix & deploy sukses · 5 server lain fix tersedia (belum terverifikasi) · hardening pipeline belum diagnosa langsung via SSH ke 6 server production (read-only) + console output Jenkins
mito
infra
jenkins
deploy
git
incident

Index: Mito — Index · Kategori: Infra

Job deploy Jenkins gagal di step git fetch di semua 6 server. Penyebabnya bukan SSH, sudo, atau docker, tapi format remote URL git: isinya cuma token (https://TOKEN@...) tanpa password, sehingga request lanjutan ke repo.sinerka.id kena 401 dan git mencoba minta username di sesi non-interaktif. Dokumen ini berisi mekanisme, bukti, fix yang sudah dijalankan, dan perbaikan pipeline supaya kejadian ini tidak meninggalkan server dalam kondisi setengah ter-deploy.

Jenkins Deploy Gagal — Git Auth Token-Only di Remote URL

Ringkasan

Gejala Stage deploy di Jenkins Failed → ❌ Deployment failed!
Error di server fatal: could not read Username for 'https://repo.sinerka.id': terminal prompts disabled lalu fatal: expected flush after ref listing
Root cause Remote origin di tiap server berformat https://<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git (token jadi username, password kosong)
Bukan penyebab Token expired (API repo masih 200), permission file (semua milik ubuntu), sudo (NOPASSWD jalan), Docker Compose (v2.37 terpasang), SSH ke server (key & SG oke)
Fix Ubah remote jadi https://oauth2:<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git. Script siap pakai ada di SINERKA/key/fix_git_remote.sh
Pemicu kenapa baru sekarang ❓ Belum diketahui. Kemungkinan update Gitea di repo.sinerka.id atau update git client di server. Repo membalas redirect ke .../mito_odoo.git/, dan format token-only tidak bertahan melewati alur ini

Alur Kegagalan git fetch

flowchart TD
    A["Jenkins: ssh ke server<br/>cd /mnt/efs/odoo/&lt;folder&gt;/mito_odoo"] --> B["git fetch origin"]
    B --> C["GET /MITO/mito_odoo.git/info/refs<br/>tanpa Authorization"]
    C --> D["401 Unauthorized"]
    D --> E["Retry dengan Authorization: Basic<br/>(credential dari URL)"]
    E --> F["200 OK<br/>warning: redirecting to .../mito_odoo.git/"]
    F --> G{"Format credential<br/>di remote URL?"}
    G -- "token-only<br/>https://TOKEN@" --> H["Request lanjutan<br/>401 Unauthorized"]
    H --> I["git minta Username<br/>(credential tidak terpakai ulang)"]
    I --> J["fatal: could not read Username<br/>terminal prompts disabled"]
    J --> K["exit 128 → rantai && berhenti<br/>git reset & restart TIDAK jalan"]
    K --> L["Jenkins: stage Failed<br/>❌ Deployment failed!"]
    G -- "user:token<br/>https://oauth2:TOKEN@" --> M["Request lanjutan 200 OK"]
    M --> N["git reset --hard origin/main<br/>docker compose restart"]
    N --> O["Jenkins: Success"]

    classDef ok   fill:#d1fae5,stroke:#059669,color:#064e3b
    classDef err  fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
    class M,N,O ok
    class H,I,J,K,L err

Keterangan warna: 🟩 hijau = jalur sukses · 🟥 merah = jalur gagal.


Bukti Diagnosa

1. Token masih valid, yang salah formatnya

Diuji dari server HO (16.79.113.82) dengan token yang sama:

Uji Hasil
GET /api/v1/repos/MITO/mito_odoo + header token 200 → token valid, punya akses repo
git ls-remote https://TOKEN@... (format lama) ❌ could not read Username
git ls-remote https://oauth2:TOKEN@... ✅ 0c49db05… HEAD
git ls-remote https://x-access-token:TOKEN@... ✅ 0c49db05… HEAD

Username sebelum : bebas (Gitea cuma memeriksa token di posisi password). Yang penting, harus ada password.

2. Trace HTTP (format lama)

=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
<= HTTP/1.1 401 Unauthorized
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
=> Authorization: Basic <redacted>
<= HTTP/1.1 200 OK
<= HTTP/1.1 401 Unauthorized        ← request lanjutan, credential tidak ikut

3. Inventaris server (dicek 2026-10-17)

Server IP Folder Remote HEAD sebelum deploy Container Status
ho 16.79.113.82 ho token-only → sudah diubah 0c49db0 odoo_app ✅ Fix manual, deploy Jenkins sukses
mitra 108.136.84.173 mitra token-only — — ⏳ Fix tersedia, belum terverifikasi
injeksi 15.232.15.104 injeksi token-only 9a82396 odoo_injeksi ⏳ Fix tersedia, belum terverifikasi
stein 43.218.211.145 stein token-only 9a82396 odoo_stein ⏳ Fix tersedia, belum terverifikasi
mito 16.79.197.88 mito token-only 9a82396 odoo_mito ⏳ Fix tersedia, belum terverifikasi
mito 16.78.122.240 mito token-only 9a82396 odoo_mito ⏳ Fix tersedia, belum terverifikasi

Di semua server: repo milik ubuntu:ubuntu, tidak ada file tracked yang berubah, sudo -n jalan, dan container up. Setiap server punya EFS sendiri: /mnt/efs/odoo/ hanya berisi folder server itu, jadi fix di satu server tidak ikut ke server lain.


Solusi

A. Jangka pendek: perbaiki remote di semua server ✅ siap

Script SINERKA/key/fix_git_remote.sh (dijalankan dari laptop) memproses 6 server. Untuk tiap server, script hanya mengubah remote yang masih berformat token-only, lalu memverifikasi dengan git fetch --dry-run:

bash /Users/chelvynkleden/developer/SINERKA/key/fix_git_remote.sh

Per server, yang dijalankan intinya:

cd /mnt/efs/odoo/<folder>/mito_odoo
T=$(git remote get-url origin | sed -E 's#https://([^@]+)@.*#\1#')
git remote set-url origin "https://oauth2:${T}@repo.sinerka.id/MITO/mito_odoo.git"
GIT_TERMINAL_PROMPT=0 git fetch --dry-run origin && echo OK

[!warning] Jangan paste heredoc dari chat langsung ke terminal Percobaan pertama gagal diam-diam karena paste menambah 2 spasi di depan tiap baris, sehingga penutup EOF terbaca EOF dan zsh nyangkut di heredoc>. Tidak ada perintah yang terkirim ke server. Simpan sebagai file .sh lalu jalankan.

B. Rotate token 🔴 prioritas tinggi

Token lama tersimpan plaintext di .git/config di 6 server, dan sempat tampil di log diagnosa. Langkah:

  1. Buat token baru di repo.sinerka.id dengan scope read-only, hanya repo MITO/mito_odoo.
  2. Update remote di 6 server ke token baru (pola sama dengan script di atas).
  3. Revoke token lama.

C. Jangka panjang: token keluar dari URL

Pilih salah satu:

Opsi Cara Plus Minus
SSH deploy key per server (rekomendasi) Generate key di tiap server, daftarkan sebagai Deploy Key read-only di repo, remote → git@repo.sinerka.id:MITO/mito_odoo.git Tidak ada token di disk. Revoke per server. Tidak kena masalah HTTP redirect Perlu port SSH Gitea terbuka dari server (belum dicek)
Credential helper git config credential.helper store + ~/.git-credentials (chmod 600) Token tidak di .git/config, perubahan kecil Token tetap plaintext di disk

D. Hardening pipeline Jenkins

Masalah yang terlihat dari insiden ini: pipeline deploy server satu per satu dan berhenti di server pertama yang gagal. HO sudah di-reset ke origin/main dan di-restart, sementara 5 server lain masih memakai kode lama. Ini pola drift yang sama dengan insiden di Mito — Upgrade Playbook Production#Insiden yang melatari playbook ini.

flowchart TD
    S["Jenkins: mulai deploy"] --> P["Stage Preflight<br/>git fetch --dry-run di SEMUA server"]
    P --> Q{"Semua server<br/>fetch OK?"}
    Q -- "tidak, ada yang gagal" --> X["Stop sebelum restart apa pun<br/>semua server tetap di versi lama (konsisten)"]
    Q -- "ya" --> D["Stage Deploy<br/>reset + restart per server"]
    D --> V["Stage Verify<br/>cek HTTP 200 /web/login per server"]
    V --> OK["Deployment success"]

    classDef ok   fill:#d1fae5,stroke:#059669,color:#064e3b
    classDef err  fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
    classDef todo fill:#f3f4f6,stroke:#9ca3af,color:#374151,stroke-dasharray:4 3
    class OK ok
    class X err
    class P,Q,V todo

Keterangan warna: 🟩 sukses · 🟥 dihentikan · ⬜ abu-abu putus-putus = belum dikerjakan (usulan).

Sketsa Jenkinsfile (masukkan ke dalam blok withCredentials yang sudah ada; \${SSH_KEY} di-escape supaya di-expand oleh shell, bukan Groovy, sehingga secret tidak bocor ke log):

def servers = [
    ['ip': '16.79.113.82',   'folder': 'ho'],
    ['ip': '108.136.84.173', 'folder': 'mitra'],
    ['ip': '15.232.15.104',  'folder': 'injeksi'],
    ['ip': '43.218.211.145', 'folder': 'stein'],
    ['ip': '16.79.197.88',   'folder': 'mito'],
    ['ip': '16.78.122.240',  'folder': 'mito'],
]

stage('Preflight') {
    script {
        servers.each { s ->
            sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
              'cd /mnt/efs/odoo/${s.folder}/mito_odoo && GIT_TERMINAL_PROMPT=0 git fetch origin'"""
        }
    }
}

stage('Deploy') {
    script {
        servers.each { s ->
            echo "Deploying to ${s.folder} (${s.ip})..."
            sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
              'set -e; cd /mnt/efs/odoo/${s.folder}/mito_odoo && git reset --hard origin/main && cd .. && sudo docker compose restart'"""
        }
    }
}

Catatan tambahan untuk pipeline:

  • GIT_TERMINAL_PROMPT=0 membuat git langsung gagal dengan pesan jelas, tidak mencoba prompt.
  • StrictHostKeyChecking=no sebaiknya diganti dengan known_hosts yang di-pin di Jenkins, supaya server palsu tidak bisa menerima key.
  • docker compose restart tidak meng-upgrade module. Perubahan field, view XML, data, dan migration script butuh -u. Ikuti Mito — Upgrade Playbook Production: Bagian B untuk code-only, Bagian C untuk structural change.

Temuan Sampingan

Temuan Detail Tindakan
Ada file hotfix manual di production Untracked di HO & mitra: snk_account_move.py.bak_hotfix_login_20260308…, .bak.20260312094429. Tanda pernah ada edit langsung di server git reset --hard tidak menghapus file untracked, jadi aman. Pastikan isi hotfix-nya sudah masuk repo, lalu hapus file .bak
Dua server mito 16.79.197.88 dan 16.78.122.240 sama-sama di commit 9a82396, container odoo_mito Pastikan keduanya memang app server untuk DB yang sama (dua server, satu RDS?), dan selalu di-deploy serempak
HEAD HO berbeda dari server lain HO 0c49db0, server lain 9a82396 (sebelum deploy hari ini) Setelah semua remote fix, jalankan ulang Jenkins supaya keenam server ada di commit yang sama

To-do

  • Diagnosa root cause (6 server, read-only)
  • Fix remote HO + deploy Jenkins HO sukses
  • Jalankan fix_git_remote.sh → semua server OK
  • Re-run Jenkins → keenam server di commit yang sama
  • Rotate token (scope read-only, repo tunggal) + revoke token lama
  • Putuskan: SSH deploy key atau credential helper
  • Tambah stage Preflight + Verify di Jenkinsfile
  • Bersihkan file .bak_hotfix_* setelah dipastikan isinya sudah di repo