244 lines
11 KiB
Markdown
244 lines
11 KiB
Markdown
---
|
|
proyek: Mito
|
|
modul: mito_odoo (deploy pipeline Jenkins)
|
|
odoo: "18.0"
|
|
kategori: Infra
|
|
periode: 2026-10-17
|
|
status: 🔄 HO sudah fix & deploy sukses · 5 server lain fix tersedia (belum terverifikasi) · hardening pipeline belum
|
|
sumber: diagnosa langsung via SSH ke 6 server production (read-only) + console output Jenkins
|
|
tags:
|
|
- mito
|
|
- infra
|
|
- jenkins
|
|
- deploy
|
|
- git
|
|
- incident
|
|
---
|
|
|
|
> Index: [[Mito — Index]] · Kategori: **Infra**
|
|
>
|
|
> Job deploy Jenkins gagal di step `git fetch` di **semua 6 server**. Penyebabnya bukan SSH,
|
|
> sudo, atau docker, tapi **format remote URL git**: isinya cuma token (`https://TOKEN@...`)
|
|
> tanpa password, sehingga request lanjutan ke `repo.sinerka.id` kena `401` dan git mencoba
|
|
> minta username di sesi non-interaktif. Dokumen ini berisi mekanisme, bukti, fix yang sudah
|
|
> dijalankan, dan perbaikan pipeline supaya kejadian ini tidak meninggalkan server dalam
|
|
> kondisi setengah ter-deploy.
|
|
|
|
# Jenkins Deploy Gagal — Git Auth Token-Only di Remote URL
|
|
|
|
## Ringkasan
|
|
|
|
| | |
|
|
|---|---|
|
|
| **Gejala** | Stage deploy di Jenkins `Failed` → `❌ Deployment failed!` |
|
|
| **Error di server** | `fatal: could not read Username for 'https://repo.sinerka.id': terminal prompts disabled` lalu `fatal: expected flush after ref listing` |
|
|
| **Root cause** | Remote `origin` di tiap server berformat `https://<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git` (token jadi *username*, password kosong) |
|
|
| **Bukan penyebab** | Token expired (API repo masih `200`), permission file (semua milik `ubuntu`), `sudo` (NOPASSWD jalan), Docker Compose (v2.37 terpasang), SSH ke server (key & SG oke) |
|
|
| **Fix** | Ubah remote jadi `https://oauth2:<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git`. Script siap pakai ada di `SINERKA/key/fix_git_remote.sh` |
|
|
| **Pemicu kenapa baru sekarang** | ❓ Belum diketahui. Kemungkinan update Gitea di `repo.sinerka.id` atau update git client di server. Repo membalas redirect ke `.../mito_odoo.git/`, dan format token-only tidak bertahan melewati alur ini |
|
|
|
|
---
|
|
|
|
## Alur Kegagalan `git fetch`
|
|
|
|
```mermaid
|
|
flowchart TD
|
|
A["Jenkins: ssh ke server<br/>cd /mnt/efs/odoo/<folder>/mito_odoo"] --> B["git fetch origin"]
|
|
B --> C["GET /MITO/mito_odoo.git/info/refs<br/>tanpa Authorization"]
|
|
C --> D["401 Unauthorized"]
|
|
D --> E["Retry dengan Authorization: Basic<br/>(credential dari URL)"]
|
|
E --> F["200 OK<br/>warning: redirecting to .../mito_odoo.git/"]
|
|
F --> G{"Format credential<br/>di remote URL?"}
|
|
G -- "token-only<br/>https://TOKEN@" --> H["Request lanjutan<br/>401 Unauthorized"]
|
|
H --> I["git minta Username<br/>(credential tidak terpakai ulang)"]
|
|
I --> J["fatal: could not read Username<br/>terminal prompts disabled"]
|
|
J --> K["exit 128 → rantai && berhenti<br/>git reset & restart TIDAK jalan"]
|
|
K --> L["Jenkins: stage Failed<br/>❌ Deployment failed!"]
|
|
G -- "user:token<br/>https://oauth2:TOKEN@" --> M["Request lanjutan 200 OK"]
|
|
M --> N["git reset --hard origin/main<br/>docker compose restart"]
|
|
N --> O["Jenkins: Success"]
|
|
|
|
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
|
|
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
|
|
class M,N,O ok
|
|
class H,I,J,K,L err
|
|
```
|
|
|
|
Keterangan warna: 🟩 hijau = jalur sukses · 🟥 merah = jalur gagal.
|
|
|
|
---
|
|
|
|
## Bukti Diagnosa
|
|
|
|
### 1. Token masih valid, yang salah formatnya
|
|
|
|
Diuji dari server HO (16.79.113.82) dengan token yang sama:
|
|
|
|
| Uji | Hasil |
|
|
|---|---|
|
|
| `GET /api/v1/repos/MITO/mito_odoo` + header token | `200` → token valid, punya akses repo |
|
|
| `git ls-remote https://TOKEN@...` (format lama) | ❌ `could not read Username` |
|
|
| `git ls-remote https://oauth2:TOKEN@...` | ✅ `0c49db05… HEAD` |
|
|
| `git ls-remote https://x-access-token:TOKEN@...` | ✅ `0c49db05… HEAD` |
|
|
|
|
Username sebelum `:` bebas (Gitea cuma memeriksa token di posisi password). Yang penting, **harus ada password**.
|
|
|
|
### 2. Trace HTTP (format lama)
|
|
|
|
```
|
|
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
|
|
<= HTTP/1.1 401 Unauthorized
|
|
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
|
|
=> Authorization: Basic <redacted>
|
|
<= HTTP/1.1 200 OK
|
|
<= HTTP/1.1 401 Unauthorized ← request lanjutan, credential tidak ikut
|
|
```
|
|
|
|
### 3. Inventaris server (dicek 2026-10-17)
|
|
|
|
| Server | IP | Folder | Remote | HEAD sebelum deploy | Container | Status |
|
|
|---|---|---|---|---|---|---|
|
|
| ho | 16.79.113.82 | `ho` | token-only → **sudah diubah** | `0c49db0` | `odoo_app` | ✅ Fix manual, deploy Jenkins sukses |
|
|
| mitra | 108.136.84.173 | `mitra` | token-only | — | — | ⏳ Fix tersedia, belum terverifikasi |
|
|
| injeksi | 15.232.15.104 | `injeksi` | token-only | `9a82396` | `odoo_injeksi` | ⏳ Fix tersedia, belum terverifikasi |
|
|
| stein | 43.218.211.145 | `stein` | token-only | `9a82396` | `odoo_stein` | ⏳ Fix tersedia, belum terverifikasi |
|
|
| mito | 16.79.197.88 | `mito` | token-only | `9a82396` | `odoo_mito` | ⏳ Fix tersedia, belum terverifikasi |
|
|
| mito | 16.78.122.240 | `mito` | token-only | `9a82396` | `odoo_mito` | ⏳ Fix tersedia, belum terverifikasi |
|
|
|
|
Di semua server: repo milik `ubuntu:ubuntu`, tidak ada file tracked yang berubah, `sudo -n` jalan, dan container up.
|
|
Setiap server punya EFS sendiri: `/mnt/efs/odoo/` hanya berisi folder server itu, jadi **fix di satu server tidak ikut ke server lain**.
|
|
|
|
---
|
|
|
|
## Solusi
|
|
|
|
### A. Jangka pendek: perbaiki remote di semua server ✅ siap
|
|
|
|
Script `SINERKA/key/fix_git_remote.sh` (dijalankan dari laptop) memproses 6 server. Untuk tiap
|
|
server, script hanya mengubah remote yang masih berformat token-only, lalu memverifikasi dengan
|
|
`git fetch --dry-run`:
|
|
|
|
```bash
|
|
bash /Users/chelvynkleden/developer/SINERKA/key/fix_git_remote.sh
|
|
```
|
|
|
|
Per server, yang dijalankan intinya:
|
|
|
|
```bash
|
|
cd /mnt/efs/odoo/<folder>/mito_odoo
|
|
T=$(git remote get-url origin | sed -E 's#https://([^@]+)@.*#\1#')
|
|
git remote set-url origin "https://oauth2:${T}@repo.sinerka.id/MITO/mito_odoo.git"
|
|
GIT_TERMINAL_PROMPT=0 git fetch --dry-run origin && echo OK
|
|
```
|
|
|
|
> [!warning] Jangan paste heredoc dari chat langsung ke terminal
|
|
> Percobaan pertama gagal diam-diam karena paste menambah 2 spasi di depan tiap baris,
|
|
> sehingga penutup `EOF` terbaca ` EOF` dan zsh nyangkut di `heredoc>`. Tidak ada perintah
|
|
> yang terkirim ke server. Simpan sebagai file `.sh` lalu jalankan.
|
|
|
|
### B. Rotate token 🔴 prioritas tinggi
|
|
|
|
Token lama tersimpan **plaintext** di `.git/config` di 6 server, dan sempat tampil di log
|
|
diagnosa. Langkah:
|
|
|
|
1. Buat token baru di `repo.sinerka.id` dengan scope **read-only, hanya repo `MITO/mito_odoo`**.
|
|
2. Update remote di 6 server ke token baru (pola sama dengan script di atas).
|
|
3. Revoke token lama.
|
|
|
|
### C. Jangka panjang: token keluar dari URL
|
|
|
|
Pilih salah satu:
|
|
|
|
| Opsi | Cara | Plus | Minus |
|
|
|---|---|---|---|
|
|
| **SSH deploy key per server** (rekomendasi) | Generate key di tiap server, daftarkan sebagai *Deploy Key read-only* di repo, remote → `git@repo.sinerka.id:MITO/mito_odoo.git` | Tidak ada token di disk. Revoke per server. Tidak kena masalah HTTP redirect | Perlu port SSH Gitea terbuka dari server (belum dicek) |
|
|
| Credential helper | `git config credential.helper store` + `~/.git-credentials` (chmod 600) | Token tidak di `.git/config`, perubahan kecil | Token tetap plaintext di disk |
|
|
|
|
### D. Hardening pipeline Jenkins
|
|
|
|
**Masalah yang terlihat dari insiden ini:** pipeline deploy server satu per satu dan berhenti
|
|
di server pertama yang gagal. HO sudah di-reset ke `origin/main` dan di-restart, sementara 5
|
|
server lain masih memakai kode lama. Ini pola **drift** yang sama dengan insiden di
|
|
[[Mito — Upgrade Playbook Production#Insiden yang melatari playbook ini|Upgrade Playbook]].
|
|
|
|
```mermaid
|
|
flowchart TD
|
|
S["Jenkins: mulai deploy"] --> P["Stage Preflight<br/>git fetch --dry-run di SEMUA server"]
|
|
P --> Q{"Semua server<br/>fetch OK?"}
|
|
Q -- "tidak, ada yang gagal" --> X["Stop sebelum restart apa pun<br/>semua server tetap di versi lama (konsisten)"]
|
|
Q -- "ya" --> D["Stage Deploy<br/>reset + restart per server"]
|
|
D --> V["Stage Verify<br/>cek HTTP 200 /web/login per server"]
|
|
V --> OK["Deployment success"]
|
|
|
|
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
|
|
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
|
|
classDef todo fill:#f3f4f6,stroke:#9ca3af,color:#374151,stroke-dasharray:4 3
|
|
class OK ok
|
|
class X err
|
|
class P,Q,V todo
|
|
```
|
|
|
|
Keterangan warna: 🟩 sukses · 🟥 dihentikan · ⬜ abu-abu putus-putus = **belum dikerjakan** (usulan).
|
|
|
|
Sketsa Jenkinsfile (masukkan ke dalam blok `withCredentials` yang sudah ada; `\${SSH_KEY}`
|
|
di-escape supaya di-expand oleh shell, bukan Groovy, sehingga secret tidak bocor ke log):
|
|
|
|
```groovy
|
|
def servers = [
|
|
['ip': '16.79.113.82', 'folder': 'ho'],
|
|
['ip': '108.136.84.173', 'folder': 'mitra'],
|
|
['ip': '15.232.15.104', 'folder': 'injeksi'],
|
|
['ip': '43.218.211.145', 'folder': 'stein'],
|
|
['ip': '16.79.197.88', 'folder': 'mito'],
|
|
['ip': '16.78.122.240', 'folder': 'mito'],
|
|
]
|
|
|
|
stage('Preflight') {
|
|
script {
|
|
servers.each { s ->
|
|
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
|
|
'cd /mnt/efs/odoo/${s.folder}/mito_odoo && GIT_TERMINAL_PROMPT=0 git fetch origin'"""
|
|
}
|
|
}
|
|
}
|
|
|
|
stage('Deploy') {
|
|
script {
|
|
servers.each { s ->
|
|
echo "Deploying to ${s.folder} (${s.ip})..."
|
|
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
|
|
'set -e; cd /mnt/efs/odoo/${s.folder}/mito_odoo && git reset --hard origin/main && cd .. && sudo docker compose restart'"""
|
|
}
|
|
}
|
|
}
|
|
```
|
|
|
|
Catatan tambahan untuk pipeline:
|
|
|
|
- **`GIT_TERMINAL_PROMPT=0`** membuat git langsung gagal dengan pesan jelas, tidak mencoba prompt.
|
|
- **`StrictHostKeyChecking=no`** sebaiknya diganti dengan `known_hosts` yang di-pin di Jenkins, supaya server palsu tidak bisa menerima key.
|
|
- **`docker compose restart` tidak meng-upgrade module.** Perubahan field, view XML, data, dan migration script butuh `-u`. Ikuti [[Mito — Upgrade Playbook Production]]: Bagian B untuk code-only, Bagian C untuk structural change.
|
|
|
|
---
|
|
|
|
## Temuan Sampingan
|
|
|
|
| Temuan | Detail | Tindakan |
|
|
|---|---|---|
|
|
| Ada file hotfix manual di production | Untracked di HO & mitra: `snk_account_move.py.bak_hotfix_login_20260308…`, `.bak.20260312094429`. Tanda pernah ada edit langsung di server | `git reset --hard` tidak menghapus file untracked, jadi aman. Pastikan isi hotfix-nya sudah masuk repo, lalu hapus file `.bak` |
|
|
| Dua server `mito` | 16.79.197.88 dan 16.78.122.240 sama-sama di commit `9a82396`, container `odoo_mito` | Pastikan keduanya memang app server untuk DB yang sama (dua server, satu RDS?), dan selalu di-deploy serempak |
|
|
| HEAD HO berbeda dari server lain | HO `0c49db0`, server lain `9a82396` (sebelum deploy hari ini) | Setelah semua remote fix, jalankan ulang Jenkins supaya keenam server ada di commit yang sama |
|
|
|
|
---
|
|
|
|
## To-do
|
|
|
|
- [x] Diagnosa root cause (6 server, read-only)
|
|
- [x] Fix remote HO + deploy Jenkins HO sukses
|
|
- [x] Jalankan `fix_git_remote.sh` → semua server `OK`
|
|
- [x] Re-run Jenkins → keenam server di commit yang sama
|
|
- [ ] Rotate token (scope read-only, repo tunggal) + revoke token lama
|
|
- [ ] Putuskan: SSH deploy key atau credential helper
|
|
- [ ] Tambah stage Preflight + Verify di Jenkinsfile
|
|
- [ ] Bersihkan file `.bak_hotfix_*` setelah dipastikan isinya sudah di repo
|