天天看點

MaxCompute百問集錦(持續更新)

MaxCompute百問集錦(持續更新)

産品咨詢

maxcompute是什麼,怎麼用?

<a href="https://yq.aliyun.com/ask/52394">https://yq.aliyun.com/ask/52394</a>

maxcompute(原odps)是否支援快照,changelog的設定方式是什麼,如果有文檔請發一下。

<a href="https://yq.aliyun.com/ask/53651">https://yq.aliyun.com/ask/53651</a>

為什麼開發maxcompute?和類似的開源項目有啥異同?

<a href="https://yq.aliyun.com/ask/41916">https://yq.aliyun.com/ask/41916</a>

maxcompute聽起來很強大,會不會有lock-in問題?

<a href="https://yq.aliyun.com/ask/39752">https://yq.aliyun.com/ask/39752</a>

streamcompute和maxcompute中的datahub差別?

<a href="https://yq.aliyun.com/ask/54575">https://yq.aliyun.com/ask/54575</a>

常用場景有哪些?如何才能接入maxcompute的能力?

<a href="https://yq.aliyun.com/ask/39753">https://yq.aliyun.com/ask/39753</a>

開通/登出問題

如何登出maxcompute(odps)服務?

<a href="https://yq.aliyun.com/ask/16464">https://yq.aliyun.com/ask/16464</a>

收費問題

我最近都沒有進行maxcompute的計算, 為啥最近的4個月都有扣費操作的?

<a href="https://yq.aliyun.com/ask/54068">https://yq.aliyun.com/ask/54068</a>

現在的數加平台,大資料maxcompute(原odps)怎麼不能檢視每條sql執行的費用,我需要提前知道每個sql的費用?

<a href="https://yq.aliyun.com/ask/53661">https://yq.aliyun.com/ask/53661</a>

到maxcompute即将到期的短信,續費入口在哪裡?

<a href="https://yq.aliyun.com/ask/54330">https://yq.aliyun.com/ask/54330</a>

大資料計算服務maxcompute(原odps)的扣費是因為項目未删除嗎? 想将賬号内大資料的幾個項目全部删除,删除失敗,能否幫忙删一下。

<a href="https://yq.aliyun.com/ask/54294">https://yq.aliyun.com/ask/54294</a>

新建立的項目:rec_data 付款後一直沒有生成,什麼問題。

<a href="https://yq.aliyun.com/ask/54183">https://yq.aliyun.com/ask/54183</a>

開通maxcompute 包月付費後,執行sql是否還會産生費用 ?

<a href="https://yq.aliyun.com/ask/15165">https://yq.aliyun.com/ask/15165</a>

maxcompute2.0使用問題

如何開通maxcompute 2.0?

<a href="https://yq.aliyun.com/ask/40953">https://yq.aliyun.com/ask/40953</a>

maxcompute2.0 outputer和extractor有什麼關系,是幹什麼的,誰能說清楚?

<a href="https://yq.aliyun.com/ask/53655">https://yq.aliyun.com/ask/53655</a>

請問一下,maxcompute2.0裡面使用表格存儲作為外部表,對這個外表做聯合查詢的時候是不是會必然掃ots的全部記錄? 

<a href="https://yq.aliyun.com/ask/53291">https://yq.aliyun.com/ask/53291</a>

資料同步問題

請問華南的ecs和華東的maxcompute内網互通嗎?

<a href="https://yq.aliyun.com/ask/54282">https://yq.aliyun.com/ask/54282</a>

你好,目前我們往maxcompute上傳的資料都是結構的表資料,是我們在本地伺服器對使用者的行為日志分析後提取到的所需資訊,在将這些結構化的資料上傳到maxcompute。

<a href="https://yq.aliyun.com/ask/53308">https://yq.aliyun.com/ask/53308</a>

maxcompute篩檢重複資料,将新資料存儲到mysql資料庫中

<a href="https://yq.aliyun.com/ask/53344">https://yq.aliyun.com/ask/53344</a>

我們的mysql資料庫在ecs伺服器上,不是rds,ecs上使用了安全組,隻允許内網通路以及特定的ip的通路。 現在要通過maxcompute中建立資料源,連接配接上mysql,但是 通過不了連接配接測試。 請問該在mysql的ecs安全組上進行怎樣的設定? 比如設定那些内網ip ?

<a href="https://yq.aliyun.com/ask/54339">https://yq.aliyun.com/ask/54339</a>

資料伺服器rds在華北2地區,但是maxcompute 現在在華東2區,不能實作我們的需求功能,但是需要海量資料的快速讀取,有沒有其他方案能夠解決?謝謝!

<a href="https://yq.aliyun.com/ask/53606">https://yq.aliyun.com/ask/53606</a>

今天淩晨開始,從華北2的隻讀rds到maxcompute的隻讀業務一直同步無法完成,進度到90%幾之後就沒有速度,所有排程都是這樣,偶爾有能成功的,不知道是什麼問題,麻煩看一下。附件為同步日志。

<a href="https://yq.aliyun.com/ask/54326">https://yq.aliyun.com/ask/54326</a>

maxcompute (原odps)tunnel上傳資料報格式化錯誤。

<a href="https://yq.aliyun.com/ask/53662?">https://yq.aliyun.com/ask/53662</a>

如果申請maxcompute 和ads,發現這兩個産品不在一個region裡,一個在華東2,一個在華東如果資料傳輸maxcomputer-&gt;ads是否要開通高速通道? 怎麼做?

<a href="https://yq.aliyun.com/ask/53664">https://yq.aliyun.com/ask/53664</a>

你好,我們本地伺服器每天采集的網站日志有10+g,然後上傳至maxcompute,上傳速度特别慢,請問有沒有好的解決方法?謝謝!是tunnel upload,200k/s左右

<a href="https://yq.aliyun.com/ask/53310">https://yq.aliyun.com/ask/53310</a>

如何在shell腳本中 将一個txt檔案中的資料上傳到 maxcompute的某張表中, 把這兩條指令組合成一條的辦法吧 /odpscmd/bin/odpscmd tunnel upload "$file" project.table

<a href="https://yq.aliyun.com/ask/53289">https://yq.aliyun.com/ask/53289</a>

資料怎麼導入maxcompute中

<a href="https://yq.aliyun.com/ask/39743">https://yq.aliyun.com/ask/39743</a>

maxcompute 資料導出到本地mysql

<a href="https://yq.aliyun.com/ask/38060">https://yq.aliyun.com/ask/38060</a>

odps抛出異常,線上資料沒有更新,異常資訊如下:

<a href="https://yq.aliyun.com/ask/54382">https://yq.aliyun.com/ask/54382</a>

在本地利用odps用戶端,無法查詢maxcompute上的任何一張表,提示如下: warning: odps request failed:connection reset, retrycount:2, will retry in 130 seconds.

<a href="https://yq.aliyun.com/ask/53297">https://yq.aliyun.com/ask/53297</a>

資料管理問題

maxcompute這裡的生命周期是什麼用,就是資料隻能最多儲存365天,然後就會清空? 如果是,這個時間能無限嗎?

<a href="https://yq.aliyun.com/ask/54186">https://yq.aliyun.com/ask/54186</a>

maxcompute (原odps)項目預設的分區最大值設定為60000,請問怎麼更改這個預設值呢?

<a href="https://yq.aliyun.com/ask/53663">https://yq.aliyun.com/ask/53663</a>

資料下載下傳問題

在maxcompute(原 odps)裡運作sql指令,怎麼能下載下傳超過一萬行的資料?

<a href="https://yq.aliyun.com/ask/53637">https://yq.aliyun.com/ask/53637</a>

資料開發-sql問題

maxcompute 批量insert問題

<a href="https://yq.aliyun.com/ask/53916">https://yq.aliyun.com/ask/53916</a>

請問maxcompute表的decimal怎麼設定成保留2位小數,類似于decimal(16,2)方式。 比如0.04入庫後成了0.040000000000000001

<a href="https://yq.aliyun.com/ask/53641">https://yq.aliyun.com/ask/53641</a>

odps支援 正則比對中文嗎?

<a href="https://yq.aliyun.com/ask/54194">https://yq.aliyun.com/ask/54194</a>

關于 odps.stage.* 和odps.sql.* 的設定,最好是全面的一些的,我們學習下,感謝!

<a href="https://yq.aliyun.com/ask/53315">https://yq.aliyun.com/ask/53315</a>

maxcompute sql中的select語句最多隻能傳回10000條結果麼?

<a href="https://yq.aliyun.com/ask/16456">https://yq.aliyun.com/ask/16456</a>

odps sql 子查詢再聯表查詢時,報錯!

<a href="https://yq.aliyun.com/ask/42700">https://yq.aliyun.com/ask/42700</a>

在編寫odps sql 如何擷取目前時間

<a href="https://yq.aliyun.com/ask/40893">https://yq.aliyun.com/ask/40893</a>

odps如何可以分析内容為json格式的字段?

<a href="https://yq.aliyun.com/ask/39157">https://yq.aliyun.com/ask/39157</a>

mapreduce問題

你好,目前業務上有一些字典檔案需要在mapper或者reducer階段查詢,但是檔案大小比較大,大概幾百兆甚至幾個g的樣子,maxcompute有分布式緩存的方案嗎?? 查詢的response time一般需要多少時間? 如果大于2g的話,可以用阿裡雲的redis之類的嗎? 網絡通嗎?

<a href="https://yq.aliyun.com/ask/53285">https://yq.aliyun.com/ask/53285</a>

udf問題

在maxcompute的大資料開發套件的服務中,udf 能不能支援python寫的腳本?

<a href="https://yq.aliyun.com/ask/53652">https://yq.aliyun.com/ask/53652</a>

ip位址在maxcompute中可以解析成實際定位的使用位址嗎(城市、省份)? 或者在阿裡雲别的服務中有這項功能嗎? 例如擷取的ip位址為125.79.232.213,可以輸出定位的位址為福建南平。

<a href="https://yq.aliyun.com/ask/54292">https://yq.aliyun.com/ask/54292</a>

odps裡面,我寫了一個udf,java代碼中的udf已經按照阿裡雲例子寫的(繼承了udf),但是在odps sql裡面調用的時候報錯

<a href="https://yq.aliyun.com/ask/54387">https://yq.aliyun.com/ask/54387</a>

maxcompute 做資料分析,自己編算法在哪裡實作

<a href="https://yq.aliyun.com/ask/37639">https://yq.aliyun.com/ask/37639</a>

odps之udf說明中,隻支援udf和udtf兩種形式,不知道可否支援udaf?

<a href="https://yq.aliyun.com/ask/51883">https://yq.aliyun.com/ask/51883</a>

sdk問題

我看maxcompute 的産品介紹上面提到了有restful 的接口, 以及jdbc連接配接方式,但是沒有看到相關的文檔,請問是否可以幫忙提供一下文檔?

<a href="https://yq.aliyun.com/ask/53640">https://yq.aliyun.com/ask/53640</a>

請問maxcompute java sdk中沒有對資料批量上傳的接口嗎?

<a href="https://yq.aliyun.com/ask/53142">https://yq.aliyun.com/ask/53142</a>

maxcompute sdk中insert偶爾報錯,請問什麼原因 com.aliyun.odps.odpsexception: odps-0110999: critical! internal error happened in commit operation and rollback failed, possible breach of atomicity - rename directory failed during ddltask

<a href="https://yq.aliyun.com/ask/53647">https://yq.aliyun.com/ask/53647</a>

使用maxcompute python sdk讀取odps上一張表,做一些處理後,寫入另外一張表,讀取和寫入都是多線程的。遇到問題1. 多線程處理時,每個線程每次循環(每次循環處理100條資料)均建立了一個odps連接配接,有沒有可能是odps連接配接太多了?文檔中沒有發現如何關閉這個odps連接配接? 2. 在odps用戶端,操作一些sql指令時,也是有逾時的,用戶端也有逾時的話,是不是可以先排除程式的問題?如下: aliyun odps command line tool version 0.21.1 @copy

<a href="https://yq.aliyun.com/ask/53658">https://yq.aliyun.com/ask/53658</a>

大資料計算服務 &gt; sdk &gt; java sdk咨詢

<a href="https://yq.aliyun.com/ask/49818">https://yq.aliyun.com/ask/49818</a>

權限問題

請問如何管理之前在maxcompute中添加的雲賬号權限?

<a href="https://yq.aliyun.com/ask/53143">https://yq.aliyun.com/ask/53143</a>

運維部署問題

maxcompute有成型的災備解決方案麼?

<a href="https://yq.aliyun.com/ask/53032">https://yq.aliyun.com/ask/53032</a>

本身maxcompute是為了幾千/幾萬台機器規模開發的大規模分布式系統,最小化部署大概什麼規模呢?

<a href="https://yq.aliyun.com/ask/39755">https://yq.aliyun.com/ask/39755</a>

<a href="https://yq.aliyun.com/ask/53138">https://yq.aliyun.com/ask/53138</a>

請問max compute,我們要在雲監控裡面設定監控項嗎,還是這個不用什麼監控問題,謝謝!

<a href="https://yq.aliyun.com/ask/54217">https://yq.aliyun.com/ask/54217</a>

開發工具-stuido問題

maxcompute studio插件無法送出sql腳本

<a href="https://yq.aliyun.com/ask/52001">https://yq.aliyun.com/ask/52001</a>

我用了itellij 的 maxcompute studio插件,現在我寫了一個mr 程式,想在本地測一下,類似于eclipse odps插件那樣,從雲上的表裡下載下傳一些資源到本地的warehouse 做測試,但是我點開 studio的文檔,mapreduce 的文檔頁面已經沒有内容了,請問這種本地測試隻能在 maxcompute java module中進行是嗎,我建立的普通的module 或者 maven 裡的module 裡的mr程式是無法本地測試的是嗎???

<a href="https://yq.aliyun.com/ask/54187">https://yq.aliyun.com/ask/54187</a>

有獎活動:

MaxCompute百問集錦(持續更新)