--- proyek: Mito modul: mito_odoo (deploy pipeline Jenkins) odoo: "18.0" kategori: Infra periode: 2026-10-17 status: ๐Ÿ”„ HO sudah fix & deploy sukses ยท 5 server lain fix tersedia (belum terverifikasi) ยท hardening pipeline belum sumber: diagnosa langsung via SSH ke 6 server production (read-only) + console output Jenkins tags: - mito - infra - jenkins - deploy - git - incident --- > Index: [[Mito โ€” Index]] ยท Kategori: **Infra** > > Job deploy Jenkins gagal di step `git fetch` di **semua 6 server**. Penyebabnya bukan SSH, > sudo, atau docker, tapi **format remote URL git**: isinya cuma token (`https://TOKEN@...`) > tanpa password, sehingga request lanjutan ke `repo.sinerka.id` kena `401` dan git mencoba > minta username di sesi non-interaktif. Dokumen ini berisi mekanisme, bukti, fix yang sudah > dijalankan, dan perbaikan pipeline supaya kejadian ini tidak meninggalkan server dalam > kondisi setengah ter-deploy. # Jenkins Deploy Gagal โ€” Git Auth Token-Only di Remote URL ## Ringkasan | | | |---|---| | **Gejala** | Stage deploy di Jenkins `Failed` โ†’ `โŒ Deployment failed!` | | **Error di server** | `fatal: could not read Username for 'https://repo.sinerka.id': terminal prompts disabled` lalu `fatal: expected flush after ref listing` | | **Root cause** | Remote `origin` di tiap server berformat `https://@repo.sinerka.id/MITO/mito_odoo.git` (token jadi *username*, password kosong) | | **Bukan penyebab** | Token expired (API repo masih `200`), permission file (semua milik `ubuntu`), `sudo` (NOPASSWD jalan), Docker Compose (v2.37 terpasang), SSH ke server (key & SG oke) | | **Fix** | Ubah remote jadi `https://oauth2:@repo.sinerka.id/MITO/mito_odoo.git`. Script siap pakai ada di `SINERKA/key/fix_git_remote.sh` | | **Pemicu kenapa baru sekarang** | โ“ Belum diketahui. Kemungkinan update Gitea di `repo.sinerka.id` atau update git client di server. Repo membalas redirect ke `.../mito_odoo.git/`, dan format token-only tidak bertahan melewati alur ini | --- ## Alur Kegagalan `git fetch` ```mermaid flowchart TD A["Jenkins: ssh ke server
cd /mnt/efs/odoo/<folder>/mito_odoo"] --> B["git fetch origin"] B --> C["GET /MITO/mito_odoo.git/info/refs
tanpa Authorization"] C --> D["401 Unauthorized"] D --> E["Retry dengan Authorization: Basic
(credential dari URL)"] E --> F["200 OK
warning: redirecting to .../mito_odoo.git/"] F --> G{"Format credential
di remote URL?"} G -- "token-only
https://TOKEN@" --> H["Request lanjutan
401 Unauthorized"] H --> I["git minta Username
(credential tidak terpakai ulang)"] I --> J["fatal: could not read Username
terminal prompts disabled"] J --> K["exit 128 โ†’ rantai && berhenti
git reset & restart TIDAK jalan"] K --> L["Jenkins: stage Failed
โŒ Deployment failed!"] G -- "user:token
https://oauth2:TOKEN@" --> M["Request lanjutan 200 OK"] M --> N["git reset --hard origin/main
docker compose restart"] N --> O["Jenkins: Success"] classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d class M,N,O ok class H,I,J,K,L err ``` Keterangan warna: ๐ŸŸฉ hijau = jalur sukses ยท ๐ŸŸฅ merah = jalur gagal. --- ## Bukti Diagnosa ### 1. Token masih valid, yang salah formatnya Diuji dari server HO (16.79.113.82) dengan token yang sama: | Uji | Hasil | |---|---| | `GET /api/v1/repos/MITO/mito_odoo` + header token | `200` โ†’ token valid, punya akses repo | | `git ls-remote https://TOKEN@...` (format lama) | โŒ `could not read Username` | | `git ls-remote https://oauth2:TOKEN@...` | โœ… `0c49db05โ€ฆ HEAD` | | `git ls-remote https://x-access-token:TOKEN@...` | โœ… `0c49db05โ€ฆ HEAD` | Username sebelum `:` bebas (Gitea cuma memeriksa token di posisi password). Yang penting, **harus ada password**. ### 2. Trace HTTP (format lama) ``` => GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack <= HTTP/1.1 401 Unauthorized => GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack => Authorization: Basic <= HTTP/1.1 200 OK <= HTTP/1.1 401 Unauthorized โ† request lanjutan, credential tidak ikut ``` ### 3. Inventaris server (dicek 2026-10-17) | Server | IP | Folder | Remote | HEAD sebelum deploy | Container | Status | |---|---|---|---|---|---|---| | ho | 16.79.113.82 | `ho` | token-only โ†’ **sudah diubah** | `0c49db0` | `odoo_app` | โœ… Fix manual, deploy Jenkins sukses | | mitra | 108.136.84.173 | `mitra` | token-only | โ€” | โ€” | โณ Fix tersedia, belum terverifikasi | | injeksi | 15.232.15.104 | `injeksi` | token-only | `9a82396` | `odoo_injeksi` | โณ Fix tersedia, belum terverifikasi | | stein | 43.218.211.145 | `stein` | token-only | `9a82396` | `odoo_stein` | โณ Fix tersedia, belum terverifikasi | | mito | 16.79.197.88 | `mito` | token-only | `9a82396` | `odoo_mito` | โณ Fix tersedia, belum terverifikasi | | mito | 16.78.122.240 | `mito` | token-only | `9a82396` | `odoo_mito` | โณ Fix tersedia, belum terverifikasi | Di semua server: repo milik `ubuntu:ubuntu`, tidak ada file tracked yang berubah, `sudo -n` jalan, dan container up. Setiap server punya EFS sendiri: `/mnt/efs/odoo/` hanya berisi folder server itu, jadi **fix di satu server tidak ikut ke server lain**. --- ## Solusi ### A. Jangka pendek: perbaiki remote di semua server โœ… siap Script `SINERKA/key/fix_git_remote.sh` (dijalankan dari laptop) memproses 6 server. Untuk tiap server, script hanya mengubah remote yang masih berformat token-only, lalu memverifikasi dengan `git fetch --dry-run`: ```bash bash /Users/chelvynkleden/developer/SINERKA/key/fix_git_remote.sh ``` Per server, yang dijalankan intinya: ```bash cd /mnt/efs/odoo//mito_odoo T=$(git remote get-url origin | sed -E 's#https://([^@]+)@.*#\1#') git remote set-url origin "https://oauth2:${T}@repo.sinerka.id/MITO/mito_odoo.git" GIT_TERMINAL_PROMPT=0 git fetch --dry-run origin && echo OK ``` > [!warning] Jangan paste heredoc dari chat langsung ke terminal > Percobaan pertama gagal diam-diam karena paste menambah 2 spasi di depan tiap baris, > sehingga penutup `EOF` terbaca ` EOF` dan zsh nyangkut di `heredoc>`. Tidak ada perintah > yang terkirim ke server. Simpan sebagai file `.sh` lalu jalankan. ### B. Rotate token ๐Ÿ”ด prioritas tinggi Token lama tersimpan **plaintext** di `.git/config` di 6 server, dan sempat tampil di log diagnosa. Langkah: 1. Buat token baru di `repo.sinerka.id` dengan scope **read-only, hanya repo `MITO/mito_odoo`**. 2. Update remote di 6 server ke token baru (pola sama dengan script di atas). 3. Revoke token lama. ### C. Jangka panjang: token keluar dari URL Pilih salah satu: | Opsi | Cara | Plus | Minus | |---|---|---|---| | **SSH deploy key per server** (rekomendasi) | Generate key di tiap server, daftarkan sebagai *Deploy Key read-only* di repo, remote โ†’ `git@repo.sinerka.id:MITO/mito_odoo.git` | Tidak ada token di disk. Revoke per server. Tidak kena masalah HTTP redirect | Perlu port SSH Gitea terbuka dari server (belum dicek) | | Credential helper | `git config credential.helper store` + `~/.git-credentials` (chmod 600) | Token tidak di `.git/config`, perubahan kecil | Token tetap plaintext di disk | ### D. Hardening pipeline Jenkins **Masalah yang terlihat dari insiden ini:** pipeline deploy server satu per satu dan berhenti di server pertama yang gagal. HO sudah di-reset ke `origin/main` dan di-restart, sementara 5 server lain masih memakai kode lama. Ini pola **drift** yang sama dengan insiden di [[Mito โ€” Upgrade Playbook Production#Insiden yang melatari playbook ini|Upgrade Playbook]]. ```mermaid flowchart TD S["Jenkins: mulai deploy"] --> P["Stage Preflight
git fetch --dry-run di SEMUA server"] P --> Q{"Semua server
fetch OK?"} Q -- "tidak, ada yang gagal" --> X["Stop sebelum restart apa pun
semua server tetap di versi lama (konsisten)"] Q -- "ya" --> D["Stage Deploy
reset + restart per server"] D --> V["Stage Verify
cek HTTP 200 /web/login per server"] V --> OK["Deployment success"] classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d classDef todo fill:#f3f4f6,stroke:#9ca3af,color:#374151,stroke-dasharray:4 3 class OK ok class X err class P,Q,V todo ``` Keterangan warna: ๐ŸŸฉ sukses ยท ๐ŸŸฅ dihentikan ยท โฌœ abu-abu putus-putus = **belum dikerjakan** (usulan). Sketsa Jenkinsfile (masukkan ke dalam blok `withCredentials` yang sudah ada; `\${SSH_KEY}` di-escape supaya di-expand oleh shell, bukan Groovy, sehingga secret tidak bocor ke log): ```groovy def servers = [ ['ip': '16.79.113.82', 'folder': 'ho'], ['ip': '108.136.84.173', 'folder': 'mitra'], ['ip': '15.232.15.104', 'folder': 'injeksi'], ['ip': '43.218.211.145', 'folder': 'stein'], ['ip': '16.79.197.88', 'folder': 'mito'], ['ip': '16.78.122.240', 'folder': 'mito'], ] stage('Preflight') { script { servers.each { s -> sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \ 'cd /mnt/efs/odoo/${s.folder}/mito_odoo && GIT_TERMINAL_PROMPT=0 git fetch origin'""" } } } stage('Deploy') { script { servers.each { s -> echo "Deploying to ${s.folder} (${s.ip})..." sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \ 'set -e; cd /mnt/efs/odoo/${s.folder}/mito_odoo && git reset --hard origin/main && cd .. && sudo docker compose restart'""" } } } ``` Catatan tambahan untuk pipeline: - **`GIT_TERMINAL_PROMPT=0`** membuat git langsung gagal dengan pesan jelas, tidak mencoba prompt. - **`StrictHostKeyChecking=no`** sebaiknya diganti dengan `known_hosts` yang di-pin di Jenkins, supaya server palsu tidak bisa menerima key. - **`docker compose restart` tidak meng-upgrade module.** Perubahan field, view XML, data, dan migration script butuh `-u`. Ikuti [[Mito โ€” Upgrade Playbook Production]]: Bagian B untuk code-only, Bagian C untuk structural change. --- ## Temuan Sampingan | Temuan | Detail | Tindakan | |---|---|---| | Ada file hotfix manual di production | Untracked di HO & mitra: `snk_account_move.py.bak_hotfix_login_20260308โ€ฆ`, `.bak.20260312094429`. Tanda pernah ada edit langsung di server | `git reset --hard` tidak menghapus file untracked, jadi aman. Pastikan isi hotfix-nya sudah masuk repo, lalu hapus file `.bak` | | Dua server `mito` | 16.79.197.88 dan 16.78.122.240 sama-sama di commit `9a82396`, container `odoo_mito` | Pastikan keduanya memang app server untuk DB yang sama (dua server, satu RDS?), dan selalu di-deploy serempak | | HEAD HO berbeda dari server lain | HO `0c49db0`, server lain `9a82396` (sebelum deploy hari ini) | Setelah semua remote fix, jalankan ulang Jenkins supaya keenam server ada di commit yang sama | --- ## To-do - [x] Diagnosa root cause (6 server, read-only) - [x] Fix remote HO + deploy Jenkins HO sukses - [x] Jalankan `fix_git_remote.sh` โ†’ semua server `OK` - [x] Re-run Jenkins โ†’ keenam server di commit yang sama - [ ] Rotate token (scope read-only, repo tunggal) + revoke token lama - [ ] Putuskan: SSH deploy key atau credential helper - [ ] Tambah stage Preflight + Verify di Jenkinsfile - [ ] Bersihkan file `.bak_hotfix_*` setelah dipastikan isinya sudah di repo