在學(xué)校中學(xué)習(xí)過SQL Server/Python/JAVA等軟件相關(guān)方面的知識,有數(shù)學(xué)、IT方面的相關(guān)經(jīng)驗(yàn)。
喜歡IT行業(yè),有自學(xué)代碼完成腳本的經(jīng)驗(yàn)。
我在工作單位中主要負(fù)責(zé)的是維護(hù)浙江移動(dòng)用戶的數(shù)據(jù),這些數(shù)據(jù)包含了移動(dòng)用戶的身份信息、每日軌跡、流量、通話等數(shù)據(jù)。我工作的主要內(nèi)容為:1.行程卡漫游地工單查詢;2.失敗程序處理;3.未執(zhí)行程序處理;4.重點(diǎn)程序告警添加;5.重點(diǎn)程序未完成核查;
一.行程卡漫游地工單查詢
因?yàn)橐咔閷?dǎo)致工作經(jīng)常需要做這個(gè)。就是移動(dòng)用戶對自己行程卡上的行程有異議,需要用到SQL數(shù)據(jù)庫查詢用戶的行程數(shù)據(jù),看數(shù)據(jù)有沒有異常。
查詢流程:1.bomc平臺(tái)查看工單,2.復(fù)制工單的移動(dòng)號碼,3.用SQL查詢語句查詢該號碼行程,4.根據(jù)不同的行程異常來回復(fù)不同的工單(如邊界、雙手機(jī)、轉(zhuǎn)機(jī)等)。
二. 失敗程序處理
在DataMaster這個(gè)平臺(tái)上查看失敗的程序,然后看這個(gè)程序的報(bào)錯(cuò),根據(jù)不同的報(bào)錯(cuò),有不同的處理方式處理這些失敗程序。
三. 未執(zhí)行程序處理
看沒有運(yùn)行的程序?yàn)槭裁礇]有運(yùn)行。先看他依賴的內(nèi)容,有三種依賴分別是任務(wù)、SQL、時(shí)間。時(shí)間依賴就是不到時(shí)間不會(huì)運(yùn)行不用管,SQL依賴聯(lián)系管SQL表的人,任務(wù)依賴就去看他依賴的任務(wù)為什么沒完成。
四. 重點(diǎn)程序告警添加
把一些程序添加進(jìn)入告警表里,一但沒完成、運(yùn)行失敗都會(huì)告警。只要用sql的查詢、插入、更新、刪除語句去修改那張告警表就行了。
五. 重點(diǎn)程序未完成核查
整理未按時(shí)完成的重點(diǎn)程序,然后查看這些程序未按時(shí)完成的原因,最后統(tǒng)計(jì)進(jìn)表格。
學(xué)校主要課程:Python、SQLserver、Spark、Java、Java、Linux、NoSQL、Hadoop、機(jī)器學(xué)習(xí)、自然語言處理、數(shù)字圖像處理、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘、數(shù)據(jù)可視化、數(shù)學(xué)分析、高等代數(shù)
本項(xiàng)目主要通過 Android Studio ,利用Java語言編寫基于 Android 的掌上微型圖書館APP(miniLibrary)。包含用戶注冊、 登錄、圖書查詢、圖書預(yù)約、圖書借閱、個(gè)人信息等功能模塊。
我在這個(gè)項(xiàng)目中,主要負(fù)責(zé)把之前課上所學(xué)的東西,用于實(shí)戰(zhàn)當(dāng)中,做出一個(gè)能用的圖書館APP。之前課上學(xué)了“用戶界面”、“activity和intent”、“廣播接受者”、“后臺(tái)服務(wù)”、“數(shù)據(jù)存儲(chǔ)”這些模塊。
此為一個(gè)基于 Android 的掌上微型圖書館 APP(miniLibrary)。
先進(jìn)行用戶注冊、登錄,然后可以進(jìn)入圖書借閱界面,在這個(gè)界面里會(huì)顯示當(dāng)前圖書被使用的信息,比如被借閱的圖書名、借閱人聯(lián)系方式。
然后在該界面下,有“個(gè)人信息”、“圖書借閱與預(yù)約”、“圖書查詢”三個(gè)按鈕。
第一個(gè)“個(gè)人信息”,進(jìn)入后可以編輯、查看當(dāng)前的用戶個(gè)人信息。
第二個(gè)“圖書借閱與預(yù)約”,進(jìn)入后可以填寫圖書借閱、預(yù)約的信息。
第三個(gè)“圖書查詢”,進(jìn)入后則可以查看當(dāng)前圖書館的圖書。
該項(xiàng)目為學(xué)校很多作業(yè)的其中一個(gè)。
我在該項(xiàng)目中作為負(fù)責(zé)數(shù)據(jù)預(yù)處理、建立預(yù)測模型,我在Linux上用python與spark完成了大部分的工作
數(shù)據(jù)預(yù)處理:我先用Pyhton中的jupyter來對數(shù)據(jù)進(jìn)行了預(yù)處理,其中用到了hadoop的dfs數(shù)據(jù)庫,從dfs數(shù)據(jù)庫中調(diào)用了視高8月的天氣數(shù)據(jù),然后在jupyter里對數(shù)據(jù)進(jìn)行預(yù)處理。主要是把excel中的各類天氣數(shù)據(jù)轉(zhuǎn)換成矩陣的形勢,我們這個(gè)項(xiàng)目的任務(wù)是把“組34”的天氣進(jìn)行預(yù)測,所以我又分別建立了組34的前15分鐘數(shù)據(jù)與前30分鐘數(shù)據(jù),來為后面的模型建立做幫助。數(shù)據(jù)預(yù)處理完之后,把處理好的數(shù)據(jù)存回dfs數(shù)據(jù)庫中。
建立預(yù)測模型:這邊我都是利用xshell連接Linux然后用Spark做的模型。我當(dāng)時(shí)是先對測試集、驗(yàn)證集和訓(xùn)練集進(jìn)行劃分,然后訓(xùn)練模型。利用數(shù)據(jù)預(yù)處理時(shí)建立的15分鐘前數(shù)據(jù)和30分鐘前數(shù)據(jù),來對“組34”之后的天氣進(jìn)行預(yù)測。最后在百度的幫助下成功完成了對組34之后的天氣的預(yù)測。