AWS云計算平臺工作使用中的心得,aws云計算實戰AWS云計算平臺工作使用中的心得筆者目前所在公司的海外業務平臺由于牽涉到多機房布點和成本的考慮,目前基本上采用的是AWS云計算平臺,產品線涉及到了EC2/EBS/S3/Redshift等,目前平臺已經穩定運行幾年了,在使用過程還是有不少心得和感想的,特地做了些總結跟大家......
筆者目前所在公司的海外業務平臺由于牽涉到多機房布點和成本的考慮,目前基本上采用的是AWS云計算平臺,產品線涉及到了EC2/EBS/S3/Redshift等,目前平臺已經穩定運行幾年了,在使用過程還是有不少心得和感想的,特地做了些總結跟大家一起分享下,對AWS有興趣的同學也可以關注下。作為一個資深運維,熟悉各種云計算平臺,但還是對AWS強大的控制臺功能還是很驚異的,控制臺提供的功能是非常強大的,小到系統的AMI鏡像備份恢復,用戶的IAM權限分配,然后Instance機器種類和外置磁盤EBS的選型,大到分布式S3的文件存儲功能,AWS強大的控制臺都提供了相應的功能。如果不喜歡用圖形界面操作的話,喜歡自動化運維的同學,AWS也提供了強大的BOTO3接口(基于Python),同學們也可以利用Python腳本來進行相關的服務器后臺程序開發工作。
注:通過適用于Python的AWS開發工具包boto3快速開始使用AWS。Boto3可以支持您輕松將Python應用程序、庫或腳本與AWS服務進行集成,包括Amazon S3、Amazon EC2和Amazon DynamoDB等。
另外,AWS控制臺有些功能是非常人性化的,比如我通過控制臺購買了一年的c3.xlarge(4 vcpu+7.5內存)預留實例(預留實例是一種比較節約的計費方式,通常為以年為計費單位,比單獨購買一般要便宜35%左右),但在使用過程過程中,我發現業務量不需要c3.xlarge這樣高性能的機器,那我們可以通過修改預留實例的方式,將其分離成2臺性能稍弱的c3.large,這樣剝離出來的一臺c3.large機器就可以多出來跑別的業務了。
另外,AWS的產品線是非常豐富,通過控制臺我們就能看到,各種各樣的產品都在列表內,大家可以根據工作需求來取舍。我們一般用得比較多的有EC2(AWS云主機)、Route53(DNS)、CDN、Elastic Load Balancing(AWS負載均衡)、S3/Glacier(云存儲)、數據庫產品有RDS或Redshift、NoSQL有DynamonDB、ElasticMapReduce(Hadoop計算框架)等等,AWS的產品線是非常豐富的,甚至可以說,我們工作中產生的業務需求,很有可能就能通過AWS的產品來實現。通過AWS的EMR服務來實現工作中的Hadoop/Spark來進行海量離線業務日志的處理和分析,是一件非常容易和輕松的事情,事實上,這部分的工作是完全不需要運維人員來參與的。
另外,事實上,AWS云計算平臺進行彈性擴容是一件非常容易和方便的事情,拿我們的業務平臺來說,在上線前期,由于宣傳及商務談判等原因,入口流量及用戶數都比較少,這個時候平臺很穩定,整體系統負載及QPS都比較低,但隨著后期商業談判的成功,入口流量及用戶都越來越多,系統負載、QPS都偏高,機器還經常出現了CPU利用率達到100%的情況。這個時候我們可以通過調用AWS API接口來實現彈性擴容,包括主機的分配、流量的分配、IP的綁定、域名解析的配置,還有存儲服務等,這部分的工作如果做成自動擴容也是比較容易實現的,我們可以通過Ansible自動化配置管理工具或Python語言自行開發。事實上,為了節約費用,很多時候我們可以考慮開啟更便宜的Spot Instance(比Instance實例收費便宜多了,但公網IP不固定,由于采用的是競價模式,很容易被別人買走)。另外,后續的工作我們還是要在工作中考慮到,比如說某項業務量降下去以后,我們不再需要那么多機器了(AWS是以Instance實例實際使用的小時數來收費的,我們關閉機器以后AWS就不再收費了),我們應該如何在不影響業務穩定性的前提下來減少機器數量從而起到節約成本的作用呢,這些都需要我們在實際的開發工作中考慮到。
另外,在實際使用工作中我們也發現,AWS平臺目前也還是存著一些問題的,這些也應該是我們在使用過程注意的地方:
一、有段時間,美國西部的機器因為亞馬遜硬件升級的原因,不斷的要進行業務遷移的工作,事實上如果是某個集群內的機器的話倒沒什么影響,如果機器上面正跑著重要核心業務的話,對整體系統還是非常有影響的;
二、使用中有機器還是有重啟的情況,還發生過機器失聯的情況,當然了這種情況并不多見,一年中我們也只發現了兩起,就是沒有任何郵件通知的情況下,機器發生了失聯情況;
三、亞馬遜自帶的監控功能或產口還不是很強,所以我們還是需要自己配置nagios或zabbix監控服務,并針對業務需求來開發插件;
四、預留實例的出售是一件比較麻煩的事情,比較好買,但感覺非常難出售,所以筆者每次購買預留實例會非常小心謹慎。
五、AWS的帳單功能還是挺完善的,但也可能會產生誤收費的情況,這個時候需要英語口語或郵件溝通,一般情況下AWS會退款的。
雖然AWS云計算平臺或多或少的存在些問題,但總體來說并不會影響我們業務系統的整體性能和穩定,我們能夠在節約成本的前提下,能夠非常方便的進行擴容工作和Hadoop/Spark數據計算,在全球部署自己的數據中心,這些工作由于使用了AWS平臺感覺操作起來非常簡單方便,感謝AWS提供了這么些偉大的產品,預祝其越做越好。
特別聲明:以上文章內容僅代表作者本人觀點,不代表ESG跨境電商觀點或立場。如有關于作品內容、版權或其它問題請于作品發表后的30日內與ESG跨境電商聯系。
二維碼加載中...
使用微信掃一掃登錄
使用賬號密碼登錄
平臺顧問
微信掃一掃
馬上聯系在線顧問
小程序
ESG跨境小程序
手機入駐更便捷
返回頂部