亚洲 国产精品 日韩-亚洲 激情-亚洲 欧美 91-亚洲 欧美 成人日韩-青青青草视频在线观看-青青青草影院

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  行業資訊  > 線上項目出故障,該怎么辦?!

線上項目出故障,該怎么辦?!

來源:千鋒教育
發布人:syq
時間: 2023-05-26 16:13:00 1685088780

  問題復現

  在以前的文章中,小千分享了以前在工作中遇到的線上業務BUG解決思路,今天我會結合自己的授信中心這個金融項目,繼續給大家分析如何對自己遇到的故障進行定位與解決,希望本文可以對缺乏實際開發經驗的小白有所幫助。

線上項目出故障

  其實要想解決開發故障,通常的解決思路大致如下:

  1.分析問題,根據理論知識+經驗分析問題所在,并將錯誤鎖定在一定的范圍內;

  2.通過錯誤日志,快速定位問題。線上定位問題時,主要是依靠監控和日志。

  比如小千老師遇到過這樣一個問題:

  線上的金融項目啟動后,運行速度越來越慢,一段時間后直接無法訪問,但此時的內存使用率正常,而CPU使用率幾乎滿負荷。在重啟項目后,又運行了一段時間,項目重復出現該問題。

  解決思路

  對于這種線上的故障,我們該怎么解決呢?其解決思路可以按照以下幾個步驟來實現。

  其實,大多數情況下,只要出問題,我們都可以利用 df(查看磁盤)、free(查看內存)、top(查看CPU) 來個素質三連,然后再通過jstack(Java堆棧跟蹤工具)、jmap(Java堆和方法區的詳細信息)等工具排查。這些工具的具體使用命令,大家可以自行查閱。

  1.top命令

  top命令或者其他監控數據,用于查看服務器的內存、cpu的使用情況。

  2.jps命令

  查看當前java程序的進程號,假如為:17357,

  3.jstat命令

  jstat -gc 17357 2000,可以查看jvm的內存分配情況,如圖:

5

  接著我們再通過查看EU和OU、YGC、FGC的變化,來調整jvm的內存、young區(edge,s1,s2)、old區內存大小。

  可靠建議:

  修改JAVA_OPTS='-Xms1024m -Xmx1024m' ,將jvm的最大、最小內存設為系統內存的3/4。根據ygc,調整young區中s與edge比例,根據fgc的頻率調整young區和old區的大小(或比例)。

  然后通過jstack 進程id,來查看線程的死鎖,例如:jstack -l 21733 | more,若出現下圖所示,則是出現了線程死鎖。

6

  4.tomcat優化

  我們也可以在yml文件中tomcat的配置進行優化。

server:
port: 9105
tomcat:
threads:
# 處理請求的最大線程數
max: 350
# 最小的工作線程數
min-spare: 100
# 等待隊列的最大隊列長度
accept-count: 500

   5.設置數據庫連接池

  對于數據庫服務(如mysql),dba在部署的時候,都會設置db的最大內存和最大鏈接數,開發人員可以暫時忽略。

  另外,數據庫連接池請盡量別用dbch、c3p0等已經過時的連接池技術,推薦使用阿里巴巴的druid,其相關的鏈接配置,請參照其github的官網。

  具體解決過程

  結合以上解決思路,接下來給大家說一下我的具體解決過程。

  1.top定位

  由于cpu滿負荷,所以我先通過top定位到出現問題的線程。發現確實是我們的java項目所在進程吃掉了所有的cpu資源,這時可通過jps+jstat來查看java的gc狀態,進一步發現young gc幾乎是一秒一次,fullgc沒有。所以接著我又查看了jvm的設置,young內存才設為512m,我先去掉了這個配置,而是采用默認配置(young:old =1:2)。

  在重啟項目之后,young gc基本到了10多秒一次,可項目運行一段時間還是會卡死。然后我又看了下tomcat的連接池,發現全部都是默認配置(默認最大連接數為50),故先將最大鏈接設為500,等待隊列設為1000,重啟項目,還是出現cpu滿負荷,系統卡死。

  2.排查數據庫服務的內存

  接著我查看了輸出的最新日志文件,發現日志輸出到一個dao方法之后,在輸出響應的sql后就卡住了。接著我通過mysql鏈接工具直接執行,sql卻很快輸出,因此排除數據庫服務的內存不足等硬件問題。

  3.調整日志輸出級別

  通過查看項目的框架,發現日志用的log4j(同步日志輸出),日志輸出級別是:INFO,這會導致項目里面的log輸出非常多,所以我先將log的輸出級別設為warn,重新啟動項目,項目正常運行。

  4.優化數據表

千鋒教育

  修改日志輸出級別為warn之后,運行了一段時間發現系統又卡死了。這時還是兩個表的查詢卡死(通訊錄和通話記錄),這兩個表的存儲量級都是上億級別的,項目原有的邏輯是這樣的,用戶上傳通訊錄,需要刪除原來的通訊錄,再批量插入。這樣一個大表頻繁的進行刪除與批量插入,很容易導致IO響應慢。第一步,我先通過建立唯一索引,利用insert ignore into來減少該表的IO操作,接著重新啟動項目,系統正常運行。

  5.添加索引

  加好索引優化了sql語句之后,系統還是偶爾會出現卡死狀態。這時,我通過dba搜索慢查詢,發現通話記錄和通訊錄表中有一個排序查詢,該sql的末尾使用了order by update_time desc,但update_time沒有添加索引,這就導致該表的查詢至少要2秒以上。所以我將sql改為了order by id,查詢就正常了,重啟項目,系統正常運行。

  6.解決線程死鎖

  至此,系統還是偶爾出現卡死現象(cpu爆表),只是頻率小了很多。這時我懷疑是有線程死鎖了,從而導致cpu爆表。我通過運維查找linux線程,終于發現確實有一個線程出現了死鎖,里面的信息顯示是c3p0的連接池線程。我又通過查找資料,發現使用c3p0作為數據庫連接池,經常會出現鏈接池卡死的問題,所以我趕緊將項目的連接池切換為durid,然后重啟項目,項目運行正常。

  7.新增服務器節點

  但系統在進件量較大時,依然有一定的幾率出現卡死現象,最好考慮是當時的項目環境采用的是單機部署,所以最后協調運維新增了兩個服務器節點,至此項目運行完全正常。

  針對線上服務器故障的解決思路和過程,百澤老師給大家提供了以下幾個可靠建議:

  系統框架太過于老舊時,可能會引發一系列的項目問題,所以適當升級項目的技術是有必要的;

  一些大表一定要進行拆分,否則在高并發的環境中,數據庫的IO會遇到瓶頸;

  減少一些不必要的日志輸出,日志輸出組件盡量是異步輸出的;

  一些高頻率查詢的字段,盡量加上索引、組合索引,一些慢查詢的sql優化也很重要;

  服務盡量單獨部署。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
開班信息
北京校區
  • 北京校區
  • 大連校區
  • 廣州校區
  • 成都校區
  • 杭州校區
  • 長沙校區
  • 合肥校區
  • 南京校區
  • 上海校區
  • 深圳校區
  • 武漢校區
  • 鄭州校區
  • 西安校區
  • 青島校區
  • 重慶校區
  • 太原校區
  • 沈陽校區
  • 南昌校區
  • 哈爾濱校區
丰满人妻被黑人中出849| H漫无码动漫AV动漫在线播放| 99亚洲国产精品精华液| 俄罗斯大荫蒂女人毛茸茸| 国产午夜精品一区二区三区老 | 亚洲AV最新天堂网址| 一本色道久久88精品综合| YY6080理AAA级伦大片| 国产精品国产三级国产专区50| 久久99精品久久久久久HB无码| 欧美视频一区二区三区| 无码AV中文字幕免费放| 亚洲中文字幕无码AV正片| АⅤ资源中文在线天堂| 国产免费无码一区二区视频| 老狼老狼芦苇芭蕉| 少妇高潮惨叫喷水在线观看| 亚洲精品无码不卡在线播放| JZZIJZZIJ亚洲乱熟无码| 国产台湾无码AV片在线观看| 野外XXXXFREEXXXX日| JIZZJIZZ国产在线观看| 国产欧美日韩精品A在线观看| 久久亚洲精品综合国产仙踪林| 日本三级强伦姧护士HD| 亚洲成A∧人片在线播放黑人| 97成人无码免费一区二区中文 | 亚洲一二三四2021不卡| 被多个男人调教奶头玩奶头| 黑人巨大精品欧美一区二区| 欧美一级 片内射黑人i| 亚洲AV成人一区二区三区天堂| 99精产国品一二三产区区| 国产清纯白嫩初高生在线观看| 乱无码伦视频在线观看| 污污内射久久一区二区欧美日韩| 在线看片无码永久免费视频| 一本色道久久88亚洲精品综合| 成 人 网 站国产免费观看 | 亚洲熟妇色XXXXXX爽| 成人免费无码AV| 久久久亚洲欧洲日产国码ΑV | 国产乱人伦AV麻豆网| 蜜臀av无码少妇一区二区三区| 太太其实你也很想要的对吧| 中国高清VIDEOSSEXO另| 国产精品日日摸夜夜添夜夜添| 男人J进女人P免费视频在线直播| 羞羞在线版免费阅读入口| JAPANESE娇小侵犯| 久久大香伊蕉在人线免费AV| 熟妇人妻中文字幕| 52色擼99热99RE超碰| 狠狠色噜噜狠狠狠狠色综合久AV| 日韩内射美女人妻一区二区三区| 一二三四视频中文字幕| 国产精品对白刺激久久久| 欧美乱大交XXXXX性喷潮| 亚洲国产成人久久综合人| 吃瓜爆料黑料网站| 男女猛烈无遮掩视频免费软件| 亚洲丰满熟女一区二区V| 成为全校公交车的日常生活| 鲁丝片一区二区三区免费| 亚洲AV日韩AV成人AV| 成人亚洲AV日韩AV欧v| 蜜臀久久AV无码牛牛影视| 亚洲国产A∨无码中文777| 国产成人精品123区免费视频| 欧美黑人疯狂性受XXXXX喷水| 三上悠亚SSNI-542在线| 中文乱码人妻一区二区三区视频| 国精产品W灬源码1688在线| 色噜噜狠狠色综合AV| 99久久国语露脸精品国产色| 久久66热人妻偷产精品9| 无码专区永久免费AV网站| 成人无码无遮挡很H在线播放| 内射到高潮的H小说| 亚洲中文字幕无码永久在线| 国产午夜手机精彩视频| 色婷婷久久久SWAG精品| WWW.らだ天堂中文在线| 免费A级毛片无码免费视频1| 亚洲精品自偷自拍无码| 国产无遮挡无码视频在线观看不卡| 少妇白浆高潮无码免费区| FUCK东北老熟女人HD叫床| 麻花传媒剧国产MV入口在线观看| 亚洲欧美精品视频| 韩漫画免费网站在线观看| 无码中文字幕VA精品影院| 国产23在线 | 传媒麻豆| 日本另类ΑV欧美另类AⅤ| HERMES日本官网的网址| 你再躲一个试试BY深巷无酒| 在线亚洲97SE亚洲综合在线| 久久久精品波多野结衣| 亚洲精品国偷拍自产在线观看| 国产无遮挡无码视频在线观看不卡 | 两个病娇男友轮流爱我资源| 特黄大片又粗又大又暴| 波多野结衣AV中文一区二区三区| 欧美一级内射黑人内射| 99久久国产成人免费网站| 妺妺窝人体色WWW聚色窝丿| 岳今晚让我玩个够肥水一体探岳体| 久久国产免费直播| 亚洲欧美日本韩国| 精品午夜人成一区| 亚洲人成无码网站| 精品无码一区二区三区亚洲桃色| 亚洲乱码日产精品B| 久久99国产精品久久99蜜桃| 亚洲欧美精品视频| 久久精品国产亚洲AV麻| 亚洲中国最大AV网站| 久久久国产精品消防器材| 亚洲最大综合久久网成人| 久久久久亚洲AV成人网人人网站| 野外妓女脱裤子让老头玩| 老熟女另类XXX精品视频| 正文畸情~内裤奇缘小说| 免费A级毛片无码免费视频APP| 中日AV高清字幕版在线观看| 蜜臀av一区二区蜜臀AV免费| 97久久超碰极品视觉盛宴| 欧美亚洲综合另类色妞网| 爆乳熟妇一区二区三区| 日韩AV片无码一区二区不卡电影| 成人伊人亚洲人综合网站| 色综合久久久久久久久五月| 国产成人亚洲综合色影视| 性XXXXXXⅩXXXX少妇| 狠狠色丁香婷婷综合久久图片| 亚洲欧美日韩中文字幕一区二区三| 久久WWW免费人成一看片| 一本一道久久综合久久| 内射老阿姨1区2区3区4区| 爱丫爱丫影院电视剧| 色狠狠熟女AV一区二区三区| 国产精品久久久久无码AV| 亚洲AV永久无码精品一福利| 久久精品高清一区二区三区| 中文成人久久久久影院免费观看| 免费看国产曰批40分钟| 宝贝别忍着喷出来| 无码人妻丰满熟妇区BBBBXXXX| 经典WC偷窥美女如厕MP4| 三个女儿一锅烩大团圆全文阅读| 久久国产精品成人无码网站| 热の无码热の有码热の综合| 成人区人妻精品一区二区不卡视频| 少妇人妻互换不带套| 国产精品VA在线播放| 亚洲成AV人片在线观看WW| 久久久久久九九99精品| 坐在根茎写作业好吗| 日本精品一区二区三区试看| 国产福利日本一区二区三区| 亚洲成AV人片在线观看无码不卡| 久久综合伊人77777麻豆| www.五月丁香| 无码少妇一区二区三区浪潮AV| 精品极品三大极久久久久| 再深点灬舒服灬太大了添A| 人妻无码一区二区三区久| 国产精品VA在线观看无码不卡| 亚洲精品无码久久一线| 男同GAY片自慰AV网站| 第九午夜不卡影院| 亚洲成AV人无码| 女人被狂躁高潮啊的视频在线看| 父母儿女一家换着玩的文案| 亚洲国产成人久久综合人| 女人18毛片A级女人18水真多| 国产AV成人精品播放| 亚洲人成网线在线播放VA| 欧美熟老熟妇色XXXXX| 国产精品VA在线播放我和闺蜜| 亚洲色爱图小说专区| 人妻少妇无码中文幕久久| 国产一二三四区乱码免费| 中文字幕亚洲乱码熟女1区2区| 波多野结衣AV高清中文字幕| 无码人妻丝袜视频在线播免费| 久久久久久久综合综合狠狠| 草莓视频18在线在线播放| 亚洲A∨精品一区二区三区下载 | 青青草国产成人A∨| 国产日韩AV免费无码一区二区 | 国产AV无码专区亚洲AV| 亚洲一二三四2021不卡| 日韩Av一区二区三区| 精品国产乱码一区二区三区APP| BGMBGMBGM老头野外| 亚洲AV无码久久精品香娇| 欧美黑人粗暴多交高潮水最多| 国产一区二区三区精品视频| AV在线亚洲AV 是全亚洲|