Doc_chelvyn/Mito/Infra/Mito — Jenkins Deploy Gagal...

244 lines
11 KiB
Markdown

---
proyek: Mito
modul: mito_odoo (deploy pipeline Jenkins)
odoo: "18.0"
kategori: Infra
periode: 2026-10-17
status: 🔄 HO sudah fix & deploy sukses · 5 server lain fix tersedia (belum terverifikasi) · hardening pipeline belum
sumber: diagnosa langsung via SSH ke 6 server production (read-only) + console output Jenkins
tags:
- mito
- infra
- jenkins
- deploy
- git
- incident
---
> Index: [[Mito — Index]] · Kategori: **Infra**
>
> Job deploy Jenkins gagal di step `git fetch` di **semua 6 server**. Penyebabnya bukan SSH,
> sudo, atau docker, tapi **format remote URL git**: isinya cuma token (`https://TOKEN@...`)
> tanpa password, sehingga request lanjutan ke `repo.sinerka.id` kena `401` dan git mencoba
> minta username di sesi non-interaktif. Dokumen ini berisi mekanisme, bukti, fix yang sudah
> dijalankan, dan perbaikan pipeline supaya kejadian ini tidak meninggalkan server dalam
> kondisi setengah ter-deploy.
# Jenkins Deploy Gagal — Git Auth Token-Only di Remote URL
## Ringkasan
| | |
|---|---|
| **Gejala** | Stage deploy di Jenkins `Failed` → `❌ Deployment failed!` |
| **Error di server** | `fatal: could not read Username for 'https://repo.sinerka.id': terminal prompts disabled` lalu `fatal: expected flush after ref listing` |
| **Root cause** | Remote `origin` di tiap server berformat `https://<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git` (token jadi *username*, password kosong) |
| **Bukan penyebab** | Token expired (API repo masih `200`), permission file (semua milik `ubuntu`), `sudo` (NOPASSWD jalan), Docker Compose (v2.37 terpasang), SSH ke server (key & SG oke) |
| **Fix** | Ubah remote jadi `https://oauth2:<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git`. Script siap pakai ada di `SINERKA/key/fix_git_remote.sh` |
| **Pemicu kenapa baru sekarang** | ❓ Belum diketahui. Kemungkinan update Gitea di `repo.sinerka.id` atau update git client di server. Repo membalas redirect ke `.../mito_odoo.git/`, dan format token-only tidak bertahan melewati alur ini |
---
## Alur Kegagalan `git fetch`
```mermaid
flowchart TD
A["Jenkins: ssh ke server<br/>cd /mnt/efs/odoo/&lt;folder&gt;/mito_odoo"] --> B["git fetch origin"]
B --> C["GET /MITO/mito_odoo.git/info/refs<br/>tanpa Authorization"]
C --> D["401 Unauthorized"]
D --> E["Retry dengan Authorization: Basic<br/>(credential dari URL)"]
E --> F["200 OK<br/>warning: redirecting to .../mito_odoo.git/"]
F --> G{"Format credential<br/>di remote URL?"}
G -- "token-only<br/>https://TOKEN@" --> H["Request lanjutan<br/>401 Unauthorized"]
H --> I["git minta Username<br/>(credential tidak terpakai ulang)"]
I --> J["fatal: could not read Username<br/>terminal prompts disabled"]
J --> K["exit 128 → rantai && berhenti<br/>git reset & restart TIDAK jalan"]
K --> L["Jenkins: stage Failed<br/>❌ Deployment failed!"]
G -- "user:token<br/>https://oauth2:TOKEN@" --> M["Request lanjutan 200 OK"]
M --> N["git reset --hard origin/main<br/>docker compose restart"]
N --> O["Jenkins: Success"]
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
class M,N,O ok
class H,I,J,K,L err
```
Keterangan warna: 🟩 hijau = jalur sukses · 🟥 merah = jalur gagal.
---
## Bukti Diagnosa
### 1. Token masih valid, yang salah formatnya
Diuji dari server HO (16.79.113.82) dengan token yang sama:
| Uji | Hasil |
|---|---|
| `GET /api/v1/repos/MITO/mito_odoo` + header token | `200` → token valid, punya akses repo |
| `git ls-remote https://TOKEN@...` (format lama) | ❌ `could not read Username` |
| `git ls-remote https://oauth2:TOKEN@...` | ✅ `0c49db05… HEAD` |
| `git ls-remote https://x-access-token:TOKEN@...` | ✅ `0c49db05… HEAD` |
Username sebelum `:` bebas (Gitea cuma memeriksa token di posisi password). Yang penting, **harus ada password**.
### 2. Trace HTTP (format lama)
```
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
<= HTTP/1.1 401 Unauthorized
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
=> Authorization: Basic <redacted>
<= HTTP/1.1 200 OK
<= HTTP/1.1 401 Unauthorized ← request lanjutan, credential tidak ikut
```
### 3. Inventaris server (dicek 2026-10-17)
| Server | IP | Folder | Remote | HEAD sebelum deploy | Container | Status |
|---|---|---|---|---|---|---|
| ho | 16.79.113.82 | `ho` | token-only → **sudah diubah** | `0c49db0` | `odoo_app` | ✅ Fix manual, deploy Jenkins sukses |
| mitra | 108.136.84.173 | `mitra` | token-only | — | — | ⏳ Fix tersedia, belum terverifikasi |
| injeksi | 15.232.15.104 | `injeksi` | token-only | `9a82396` | `odoo_injeksi` | ⏳ Fix tersedia, belum terverifikasi |
| stein | 43.218.211.145 | `stein` | token-only | `9a82396` | `odoo_stein` | ⏳ Fix tersedia, belum terverifikasi |
| mito | 16.79.197.88 | `mito` | token-only | `9a82396` | `odoo_mito` | ⏳ Fix tersedia, belum terverifikasi |
| mito | 16.78.122.240 | `mito` | token-only | `9a82396` | `odoo_mito` | ⏳ Fix tersedia, belum terverifikasi |
Di semua server: repo milik `ubuntu:ubuntu`, tidak ada file tracked yang berubah, `sudo -n` jalan, dan container up.
Setiap server punya EFS sendiri: `/mnt/efs/odoo/` hanya berisi folder server itu, jadi **fix di satu server tidak ikut ke server lain**.
---
## Solusi
### A. Jangka pendek: perbaiki remote di semua server ✅ siap
Script `SINERKA/key/fix_git_remote.sh` (dijalankan dari laptop) memproses 6 server. Untuk tiap
server, script hanya mengubah remote yang masih berformat token-only, lalu memverifikasi dengan
`git fetch --dry-run`:
```bash
bash /Users/chelvynkleden/developer/SINERKA/key/fix_git_remote.sh
```
Per server, yang dijalankan intinya:
```bash
cd /mnt/efs/odoo/<folder>/mito_odoo
T=$(git remote get-url origin | sed -E 's#https://([^@]+)@.*#\1#')
git remote set-url origin "https://oauth2:${T}@repo.sinerka.id/MITO/mito_odoo.git"
GIT_TERMINAL_PROMPT=0 git fetch --dry-run origin && echo OK
```
> [!warning] Jangan paste heredoc dari chat langsung ke terminal
> Percobaan pertama gagal diam-diam karena paste menambah 2 spasi di depan tiap baris,
> sehingga penutup `EOF` terbaca ` EOF` dan zsh nyangkut di `heredoc>`. Tidak ada perintah
> yang terkirim ke server. Simpan sebagai file `.sh` lalu jalankan.
### B. Rotate token 🔴 prioritas tinggi
Token lama tersimpan **plaintext** di `.git/config` di 6 server, dan sempat tampil di log
diagnosa. Langkah:
1. Buat token baru di `repo.sinerka.id` dengan scope **read-only, hanya repo `MITO/mito_odoo`**.
2. Update remote di 6 server ke token baru (pola sama dengan script di atas).
3. Revoke token lama.
### C. Jangka panjang: token keluar dari URL
Pilih salah satu:
| Opsi | Cara | Plus | Minus |
|---|---|---|---|
| **SSH deploy key per server** (rekomendasi) | Generate key di tiap server, daftarkan sebagai *Deploy Key read-only* di repo, remote → `git@repo.sinerka.id:MITO/mito_odoo.git` | Tidak ada token di disk. Revoke per server. Tidak kena masalah HTTP redirect | Perlu port SSH Gitea terbuka dari server (belum dicek) |
| Credential helper | `git config credential.helper store` + `~/.git-credentials` (chmod 600) | Token tidak di `.git/config`, perubahan kecil | Token tetap plaintext di disk |
### D. Hardening pipeline Jenkins
**Masalah yang terlihat dari insiden ini:** pipeline deploy server satu per satu dan berhenti
di server pertama yang gagal. HO sudah di-reset ke `origin/main` dan di-restart, sementara 5
server lain masih memakai kode lama. Ini pola **drift** yang sama dengan insiden di
[[Mito — Upgrade Playbook Production#Insiden yang melatari playbook ini|Upgrade Playbook]].
```mermaid
flowchart TD
S["Jenkins: mulai deploy"] --> P["Stage Preflight<br/>git fetch --dry-run di SEMUA server"]
P --> Q{"Semua server<br/>fetch OK?"}
Q -- "tidak, ada yang gagal" --> X["Stop sebelum restart apa pun<br/>semua server tetap di versi lama (konsisten)"]
Q -- "ya" --> D["Stage Deploy<br/>reset + restart per server"]
D --> V["Stage Verify<br/>cek HTTP 200 /web/login per server"]
V --> OK["Deployment success"]
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
classDef todo fill:#f3f4f6,stroke:#9ca3af,color:#374151,stroke-dasharray:4 3
class OK ok
class X err
class P,Q,V todo
```
Keterangan warna: 🟩 sukses · 🟥 dihentikan · ⬜ abu-abu putus-putus = **belum dikerjakan** (usulan).
Sketsa Jenkinsfile (masukkan ke dalam blok `withCredentials` yang sudah ada; `\${SSH_KEY}`
di-escape supaya di-expand oleh shell, bukan Groovy, sehingga secret tidak bocor ke log):
```groovy
def servers = [
['ip': '16.79.113.82', 'folder': 'ho'],
['ip': '108.136.84.173', 'folder': 'mitra'],
['ip': '15.232.15.104', 'folder': 'injeksi'],
['ip': '43.218.211.145', 'folder': 'stein'],
['ip': '16.79.197.88', 'folder': 'mito'],
['ip': '16.78.122.240', 'folder': 'mito'],
]
stage('Preflight') {
script {
servers.each { s ->
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
'cd /mnt/efs/odoo/${s.folder}/mito_odoo && GIT_TERMINAL_PROMPT=0 git fetch origin'"""
}
}
}
stage('Deploy') {
script {
servers.each { s ->
echo "Deploying to ${s.folder} (${s.ip})..."
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
'set -e; cd /mnt/efs/odoo/${s.folder}/mito_odoo && git reset --hard origin/main && cd .. && sudo docker compose restart'"""
}
}
}
```
Catatan tambahan untuk pipeline:
- **`GIT_TERMINAL_PROMPT=0`** membuat git langsung gagal dengan pesan jelas, tidak mencoba prompt.
- **`StrictHostKeyChecking=no`** sebaiknya diganti dengan `known_hosts` yang di-pin di Jenkins, supaya server palsu tidak bisa menerima key.
- **`docker compose restart` tidak meng-upgrade module.** Perubahan field, view XML, data, dan migration script butuh `-u`. Ikuti [[Mito — Upgrade Playbook Production]]: Bagian B untuk code-only, Bagian C untuk structural change.
---
## Temuan Sampingan
| Temuan | Detail | Tindakan |
|---|---|---|
| Ada file hotfix manual di production | Untracked di HO & mitra: `snk_account_move.py.bak_hotfix_login_20260308…`, `.bak.20260312094429`. Tanda pernah ada edit langsung di server | `git reset --hard` tidak menghapus file untracked, jadi aman. Pastikan isi hotfix-nya sudah masuk repo, lalu hapus file `.bak` |
| Dua server `mito` | 16.79.197.88 dan 16.78.122.240 sama-sama di commit `9a82396`, container `odoo_mito` | Pastikan keduanya memang app server untuk DB yang sama (dua server, satu RDS?), dan selalu di-deploy serempak |
| HEAD HO berbeda dari server lain | HO `0c49db0`, server lain `9a82396` (sebelum deploy hari ini) | Setelah semua remote fix, jalankan ulang Jenkins supaya keenam server ada di commit yang sama |
---
## To-do
- [x] Diagnosa root cause (6 server, read-only)
- [x] Fix remote HO + deploy Jenkins HO sukses
- [x] Jalankan `fix_git_remote.sh` → semua server `OK`
- [x] Re-run Jenkins → keenam server di commit yang sama
- [ ] Rotate token (scope read-only, repo tunggal) + revoke token lama
- [ ] Putuskan: SSH deploy key atau credential helper
- [ ] Tambah stage Preflight + Verify di Jenkinsfile
- [ ] Bersihkan file `.bak_hotfix_*` setelah dipastikan isinya sudah di repo