11 KiB
| proyek | modul | odoo | kategori | periode | status | sumber | tags | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Mito | mito_odoo (deploy pipeline Jenkins) | 18.0 | Infra | 2026-10-17 | 🔄 HO sudah fix & deploy sukses · 5 server lain fix tersedia (belum terverifikasi) · hardening pipeline belum | diagnosa langsung via SSH ke 6 server production (read-only) + console output Jenkins |
|
Index: Mito — Index · Kategori: Infra
Job deploy Jenkins gagal di step
git fetchdi semua 6 server. Penyebabnya bukan SSH, sudo, atau docker, tapi format remote URL git: isinya cuma token (https://TOKEN@...) tanpa password, sehingga request lanjutan kerepo.sinerka.idkena401dan git mencoba minta username di sesi non-interaktif. Dokumen ini berisi mekanisme, bukti, fix yang sudah dijalankan, dan perbaikan pipeline supaya kejadian ini tidak meninggalkan server dalam kondisi setengah ter-deploy.
Jenkins Deploy Gagal — Git Auth Token-Only di Remote URL
Ringkasan
| Gejala | Stage deploy di Jenkins Failed → ❌ Deployment failed! |
| Error di server | fatal: could not read Username for 'https://repo.sinerka.id': terminal prompts disabled lalu fatal: expected flush after ref listing |
| Root cause | Remote origin di tiap server berformat https://<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git (token jadi username, password kosong) |
| Bukan penyebab | Token expired (API repo masih 200), permission file (semua milik ubuntu), sudo (NOPASSWD jalan), Docker Compose (v2.37 terpasang), SSH ke server (key & SG oke) |
| Fix | Ubah remote jadi https://oauth2:<TOKEN>@repo.sinerka.id/MITO/mito_odoo.git. Script siap pakai ada di SINERKA/key/fix_git_remote.sh |
| Pemicu kenapa baru sekarang | ❓ Belum diketahui. Kemungkinan update Gitea di repo.sinerka.id atau update git client di server. Repo membalas redirect ke .../mito_odoo.git/, dan format token-only tidak bertahan melewati alur ini |
Alur Kegagalan git fetch
flowchart TD
A["Jenkins: ssh ke server<br/>cd /mnt/efs/odoo/<folder>/mito_odoo"] --> B["git fetch origin"]
B --> C["GET /MITO/mito_odoo.git/info/refs<br/>tanpa Authorization"]
C --> D["401 Unauthorized"]
D --> E["Retry dengan Authorization: Basic<br/>(credential dari URL)"]
E --> F["200 OK<br/>warning: redirecting to .../mito_odoo.git/"]
F --> G{"Format credential<br/>di remote URL?"}
G -- "token-only<br/>https://TOKEN@" --> H["Request lanjutan<br/>401 Unauthorized"]
H --> I["git minta Username<br/>(credential tidak terpakai ulang)"]
I --> J["fatal: could not read Username<br/>terminal prompts disabled"]
J --> K["exit 128 → rantai && berhenti<br/>git reset & restart TIDAK jalan"]
K --> L["Jenkins: stage Failed<br/>❌ Deployment failed!"]
G -- "user:token<br/>https://oauth2:TOKEN@" --> M["Request lanjutan 200 OK"]
M --> N["git reset --hard origin/main<br/>docker compose restart"]
N --> O["Jenkins: Success"]
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
class M,N,O ok
class H,I,J,K,L err
Keterangan warna: 🟩 hijau = jalur sukses · 🟥 merah = jalur gagal.
Bukti Diagnosa
1. Token masih valid, yang salah formatnya
Diuji dari server HO (16.79.113.82) dengan token yang sama:
| Uji | Hasil |
|---|---|
GET /api/v1/repos/MITO/mito_odoo + header token |
200 → token valid, punya akses repo |
git ls-remote https://TOKEN@... (format lama) |
❌ could not read Username |
git ls-remote https://oauth2:TOKEN@... |
✅ 0c49db05… HEAD |
git ls-remote https://x-access-token:TOKEN@... |
✅ 0c49db05… HEAD |
Username sebelum : bebas (Gitea cuma memeriksa token di posisi password). Yang penting, harus ada password.
2. Trace HTTP (format lama)
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
<= HTTP/1.1 401 Unauthorized
=> GET /MITO/mito_odoo.git/info/refs?service=git-upload-pack
=> Authorization: Basic <redacted>
<= HTTP/1.1 200 OK
<= HTTP/1.1 401 Unauthorized ← request lanjutan, credential tidak ikut
3. Inventaris server (dicek 2026-10-17)
| Server | IP | Folder | Remote | HEAD sebelum deploy | Container | Status |
|---|---|---|---|---|---|---|
| ho | 16.79.113.82 | ho |
token-only → sudah diubah | 0c49db0 |
odoo_app |
✅ Fix manual, deploy Jenkins sukses |
| mitra | 108.136.84.173 | mitra |
token-only | — | — | ⏳ Fix tersedia, belum terverifikasi |
| injeksi | 15.232.15.104 | injeksi |
token-only | 9a82396 |
odoo_injeksi |
⏳ Fix tersedia, belum terverifikasi |
| stein | 43.218.211.145 | stein |
token-only | 9a82396 |
odoo_stein |
⏳ Fix tersedia, belum terverifikasi |
| mito | 16.79.197.88 | mito |
token-only | 9a82396 |
odoo_mito |
⏳ Fix tersedia, belum terverifikasi |
| mito | 16.78.122.240 | mito |
token-only | 9a82396 |
odoo_mito |
⏳ Fix tersedia, belum terverifikasi |
Di semua server: repo milik ubuntu:ubuntu, tidak ada file tracked yang berubah, sudo -n jalan, dan container up.
Setiap server punya EFS sendiri: /mnt/efs/odoo/ hanya berisi folder server itu, jadi fix di satu server tidak ikut ke server lain.
Solusi
A. Jangka pendek: perbaiki remote di semua server ✅ siap
Script SINERKA/key/fix_git_remote.sh (dijalankan dari laptop) memproses 6 server. Untuk tiap
server, script hanya mengubah remote yang masih berformat token-only, lalu memverifikasi dengan
git fetch --dry-run:
bash /Users/chelvynkleden/developer/SINERKA/key/fix_git_remote.sh
Per server, yang dijalankan intinya:
cd /mnt/efs/odoo/<folder>/mito_odoo
T=$(git remote get-url origin | sed -E 's#https://([^@]+)@.*#\1#')
git remote set-url origin "https://oauth2:${T}@repo.sinerka.id/MITO/mito_odoo.git"
GIT_TERMINAL_PROMPT=0 git fetch --dry-run origin && echo OK
[!warning] Jangan paste heredoc dari chat langsung ke terminal Percobaan pertama gagal diam-diam karena paste menambah 2 spasi di depan tiap baris, sehingga penutup
EOFterbacaEOFdan zsh nyangkut diheredoc>. Tidak ada perintah yang terkirim ke server. Simpan sebagai file.shlalu jalankan.
B. Rotate token 🔴 prioritas tinggi
Token lama tersimpan plaintext di .git/config di 6 server, dan sempat tampil di log
diagnosa. Langkah:
- Buat token baru di
repo.sinerka.iddengan scope read-only, hanya repoMITO/mito_odoo. - Update remote di 6 server ke token baru (pola sama dengan script di atas).
- Revoke token lama.
C. Jangka panjang: token keluar dari URL
Pilih salah satu:
| Opsi | Cara | Plus | Minus |
|---|---|---|---|
| SSH deploy key per server (rekomendasi) | Generate key di tiap server, daftarkan sebagai Deploy Key read-only di repo, remote → git@repo.sinerka.id:MITO/mito_odoo.git |
Tidak ada token di disk. Revoke per server. Tidak kena masalah HTTP redirect | Perlu port SSH Gitea terbuka dari server (belum dicek) |
| Credential helper | git config credential.helper store + ~/.git-credentials (chmod 600) |
Token tidak di .git/config, perubahan kecil |
Token tetap plaintext di disk |
D. Hardening pipeline Jenkins
Masalah yang terlihat dari insiden ini: pipeline deploy server satu per satu dan berhenti
di server pertama yang gagal. HO sudah di-reset ke origin/main dan di-restart, sementara 5
server lain masih memakai kode lama. Ini pola drift yang sama dengan insiden di
Mito — Upgrade Playbook Production#Insiden yang melatari playbook ini.
flowchart TD
S["Jenkins: mulai deploy"] --> P["Stage Preflight<br/>git fetch --dry-run di SEMUA server"]
P --> Q{"Semua server<br/>fetch OK?"}
Q -- "tidak, ada yang gagal" --> X["Stop sebelum restart apa pun<br/>semua server tetap di versi lama (konsisten)"]
Q -- "ya" --> D["Stage Deploy<br/>reset + restart per server"]
D --> V["Stage Verify<br/>cek HTTP 200 /web/login per server"]
V --> OK["Deployment success"]
classDef ok fill:#d1fae5,stroke:#059669,color:#064e3b
classDef err fill:#fee2e2,stroke:#dc2626,color:#7f1d1d
classDef todo fill:#f3f4f6,stroke:#9ca3af,color:#374151,stroke-dasharray:4 3
class OK ok
class X err
class P,Q,V todo
Keterangan warna: 🟩 sukses · 🟥 dihentikan · ⬜ abu-abu putus-putus = belum dikerjakan (usulan).
Sketsa Jenkinsfile (masukkan ke dalam blok withCredentials yang sudah ada; \${SSH_KEY}
di-escape supaya di-expand oleh shell, bukan Groovy, sehingga secret tidak bocor ke log):
def servers = [
['ip': '16.79.113.82', 'folder': 'ho'],
['ip': '108.136.84.173', 'folder': 'mitra'],
['ip': '15.232.15.104', 'folder': 'injeksi'],
['ip': '43.218.211.145', 'folder': 'stein'],
['ip': '16.79.197.88', 'folder': 'mito'],
['ip': '16.78.122.240', 'folder': 'mito'],
]
stage('Preflight') {
script {
servers.each { s ->
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
'cd /mnt/efs/odoo/${s.folder}/mito_odoo && GIT_TERMINAL_PROMPT=0 git fetch origin'"""
}
}
}
stage('Deploy') {
script {
servers.each { s ->
echo "Deploying to ${s.folder} (${s.ip})..."
sh """ssh -i \${SSH_KEY} -o ConnectTimeout=15 \${SSH_USER}@${s.ip} \
'set -e; cd /mnt/efs/odoo/${s.folder}/mito_odoo && git reset --hard origin/main && cd .. && sudo docker compose restart'"""
}
}
}
Catatan tambahan untuk pipeline:
GIT_TERMINAL_PROMPT=0membuat git langsung gagal dengan pesan jelas, tidak mencoba prompt.StrictHostKeyChecking=nosebaiknya diganti denganknown_hostsyang di-pin di Jenkins, supaya server palsu tidak bisa menerima key.docker compose restarttidak meng-upgrade module. Perubahan field, view XML, data, dan migration script butuh-u. Ikuti Mito — Upgrade Playbook Production: Bagian B untuk code-only, Bagian C untuk structural change.
Temuan Sampingan
| Temuan | Detail | Tindakan |
|---|---|---|
| Ada file hotfix manual di production | Untracked di HO & mitra: snk_account_move.py.bak_hotfix_login_20260308…, .bak.20260312094429. Tanda pernah ada edit langsung di server |
git reset --hard tidak menghapus file untracked, jadi aman. Pastikan isi hotfix-nya sudah masuk repo, lalu hapus file .bak |
Dua server mito |
16.79.197.88 dan 16.78.122.240 sama-sama di commit 9a82396, container odoo_mito |
Pastikan keduanya memang app server untuk DB yang sama (dua server, satu RDS?), dan selalu di-deploy serempak |
| HEAD HO berbeda dari server lain | HO 0c49db0, server lain 9a82396 (sebelum deploy hari ini) |
Setelah semua remote fix, jalankan ulang Jenkins supaya keenam server ada di commit yang sama |
To-do
- Diagnosa root cause (6 server, read-only)
- Fix remote HO + deploy Jenkins HO sukses
- Jalankan
fix_git_remote.sh→ semua serverOK - Re-run Jenkins → keenam server di commit yang sama
- Rotate token (scope read-only, repo tunggal) + revoke token lama
- Putuskan: SSH deploy key atau credential helper
- Tambah stage Preflight + Verify di Jenkinsfile
- Bersihkan file
.bak_hotfix_*setelah dipastikan isinya sudah di repo