وبلاگ نت‌آرامآموزش، تجربه و راهکارهای زیرساخت

خطای upstream timed out در Nginx؛ کندی برنامه را چطور پیدا کنیم؟

آموزش بررسی لاگ Nginx، اندازه‌گیری پاسخ upstream و تنظیم سنجیده proxy_read_timeout.

انتشار:
توسط تیم فنی نت‌آرام
۶ دقیقه زمان مطالعه
۰ دیدگاه
محتوای تخصصی، ساده و کاربردی
هماهنگ با هویت حرفه‌ای نت‌آرام
بازگشت به لیست مقالات
تصویر شاخص مقاله خطای upstream timed out در Nginx؛ کندی برنامه را چطور پیدا کنیم؟ در وبلاگ نت‌آرام
محتوای آموزشی وبلاگ نت‌آرام
سایت گاهی خطای ۵۰۴ می‌دهد و در گزارش Nginx عبارت upstream timed out دیده می‌شود. یعنی Nginx هنگام ارتباط با سرویسی که پشت آن قرار دارد در مرحله‌ای بیش از مهلت تعیین‌شده منتظر مانده است. سرویس پشت Nginx می‌تواند برنامه Node.js، Python، PHP یا یک پراکسی دیگر باشد.
زیادکردن زمان انتظار شاید برای یک کار طولانی و مجاز لازم باشد، اما اگر پایگاه داده قفل شده یا برنامه پاسخ نمی‌دهد، فقط انتظار کاربر را طولانی‌تر می‌کند. ابتدا مرحله و زمان واقعی را پیدا می‌کنیم.

۱. گزارش و مرحله خطا را بخوانید

در سرور مستقل، زمان قطعی و نشانی بدون اطلاعات حساس را ثبت کنید. مسیر گزارش به تنظیم شما بستگی دارد؛ نمونه رایج:
کد / دستورsudo tail -n 100 /var/log/nginx/error.log sudo journalctl -u nginx --since '30 minutes ago' --no-pager
ممکن است گزارش اصلی در مسیر دیگری یا فقط در یکی از دو محل باشد. عبارت while connecting to upstream به مرحله اتصال اشاره می‌کند، در حالی که while reading response header from upstream به انتظار پاسخ پس از اتصال مربوط است. نشانی upstream و زمان را با گزارش برنامه تطبیق دهید. خطاهای connection refused یا no live upstreams مسیر متفاوتی دارند.
در هاست اشتراکی معمولاً به گزارش اصلی Nginx دسترسی ندارید. زمان، دامنه و مسیر عمومی بدون توکن را به پشتیبانی بدهید و گزارش برنامه حساب خود را نیز بررسی کنید.

۲. سرویس پشت پراکسی را شناسایی کنید

تنظیم مربوط را بخوانید:
کد / دستورsudo nginx -T systemctl status example.service --no-pager journalctl -u example.service --since '30 minutes ago' --no-pager
example.service را با سرویس واقعی عوض کنید. خروجی nginx -T ممکن است اطلاعات داخلی داشته باشد؛ آن را عمومی منتشر نکنید. مقدار proxy_pass، نوع upstream و اینکه اتصال از TCP یا Unix socket است را بخوانید. دستورهای proxy_* برای هر مسیری مناسب نیستند؛ مثلاً FastCGI تنظیمات timeout جداگانه دارد.
اگر سرویس بالا نیست یا مرتب restart می‌شود، ابتدا همان خطا را برطرف کنید. اگر برنامه فعال است اما فقط یک مسیر کند می‌شود، گزارش زمان پردازش، پایگاه داده و درخواست‌های بیرونی آن مسیر را مقایسه کنید.

۳. زمان پاسخ را در مسیر مجاز مقایسه کنید

برای یک endpoint آزمایشی و بدون اثر جانبی، از خود سرور می‌توانید درخواست مستقلی به upstream بفرستید. این مثال فقط برای برنامه‌ای است که واقعاً روی پورت محلی نمونه گوش می‌دهد:
کد / دستورcurl -sS -o /dev/null --max-time 15 -w 'connect=%{time_connect} total=%{time_total}\n' -H 'Host: example.com' 'http://127.0.0.1:3000/health'
پورت، Host و مسیر را با تنظیم واقعی و مجاز جایگزین کنید. connect زمان برقراری اتصال و total زمان کل همان آزمون است. این درخواست ممکن است احراز هویت، TLS یا قواعد پراکسی را دور بزند؛ فقط روی endpoint تست مجاز استفاده کنید و نتیجه را معادل تجربه کاربر فرض نکنید. در صورت استفاده از socket یا TLS داخلی، روش آزمون باید با همان نوع اتصال تطبیق داده شود.
اگر پاسخ مستقیم upstream هم کند است، علت را در برنامه یا وابستگی‌های آن دنبال کنید. اگر پاسخ مستقیم سریع است اما مسیر عمومی کند یا ناموفق است، تفاوت هدرها، بار هم‌زمان، شبکه بین لایه‌ها و تنظیم پراکسی را بررسی کنید.

۴. گلوگاه را رفع و فقط در صورت نیاز timeout را تنظیم کنید

در صورت کندی پایگاه داده، پرس‌وجوی سنگین یا قفل را با ابزار همان پایگاه و همراه توسعه‌دهنده بررسی کنید. برای API بیرونی، زمان اتصال و دریافت پاسخ را جداگانه در برنامه محدود کنید تا یک درخواست بی‌پاسخ همه کارگرها را درگیر نکند. کار طولانی مانند ساخت گزارش بزرگ ممکن است نیاز به صف و تحویل نتیجه پس از آماده‌شدن داشته باشد.
proxy_read_timeout فاصله مجاز بین دو عملیات خواندن از upstream را کنترل می‌کند، نه کل زمان انتقال همه پاسخ. اگر یک عملیات معتبر به‌طور اندازه‌گیری‌شده به زمان بیشتری نیاز دارد و ظرفیت اتصال و محدودیت‌های لایه‌های دیگر اجازه می‌دهند، مدیر می‌تواند مقدار را فقط در location مربوط و با برنامه بازگشت تغییر دهد. نمونه:
کد / دستورproxy_read_timeout 90s;
90s صرفاً مثال است. افزایش سراسری و بی‌حساب می‌تواند اتصال‌های معلق و مصرف منابع را زیاد کند. برای اعمال یک تغییر محدود، در خروجی sudo nginx -T که در مرحله دوم دیدید، بخش server دامنه و نام فایل تنظیم آن را پیدا کنید. در اوبونتو ممکن است فایل زیر sites-available باشد و در توزیع‌های دیگر زیر conf.d؛ مسیر واقعی سرور خودتان را جایگزین کنید.
مثلاً اگر فایل تأییدشده واقعاً /etc/nginx/sites-available/myapp است، ابتدا یک پشتیبان با نام تازه در پوشه خصوصی مدیر بسازید:
کد / دستورsudo test ! -e /root/myapp-before-timeout.conf && sudo cp -p /etc/nginx/sites-available/myapp /root/myapp-before-timeout.conf
اگر فایل پشتیبان از قبل وجود دارد، دستور نسخه جدیدی نمی‌سازد؛ نام تازه‌ای انتخاب و دوباره اجرا کنید. پس از موفقیت پشتیبان، همان فایل تنظیم واقعی را با ویرایشگر دلخواه، مثلاً sudo nano /etc/nginx/sites-available/myapp، باز کنید. خط proxy_read_timeout را داخل location همان مسیر پراکسی قرار دهید یا مقدار موجود در همان بخش را تغییر دهید؛ آن را بیرون از بلوک‌ها یا برای همه سایت‌ها اضافه نکنید. پس از ذخیره، روی سروری که systemd دارد:
کد / دستورsudo nginx -t && sudo systemctl reload nginx sudo systemctl status nginx --no-pager
علامت && اجازه reload تنظیم معیوب را نمی‌دهد. اگر آزمون خطا داد، فایل و شماره خط اعلام‌شده را اصلاح کنید یا نسخه پشتیبان همان فایل را برگردانید و دوباره آزمون کنید. برای بازگشت از یک تغییر ناموفق پس از reload، نسخه پشتیبان تأییدشده را به فایل اصلی برگردانید و همین آزمون و reload را تکرار کنید. در نصب بدون systemd از روش reload همان نصب استفاده کنید.

۵. موفقیت را با همان درخواست ثابت کنید

در بازه و بار مشابه و مجاز، همان مسیر را دوباره آزمایش کنید و زمان پاسخ و نرخ خطا را با قبل مقایسه کنید. اگر فقط ۵۰۴ حذف شده اما کاربر بسیار منتظر می‌ماند، مشکل تجربه کاربر هنوز حل نشده است. برای محدودیت اندازه درخواست، راهنمای ۴۱۳ در Express را ببینید.
برای رسیدگی تخصصی مدیریت سرور نت‌آرام و برای مفهوم دقیق timeout مستندات Nginx در دسترس است.
اشتراک‌گذاری:
لینکدینتلگرامایکس

دیدگاه‌ها (۰)

دیدگاه‌های تاییدشده و پاسخ‌های تیم نت‌آرام