天天看點

通過Fluentd實時上傳資料到DataHub實踐

本文把我通過fluentd,把資料上傳到datahub的配置過程記錄下來,希望對大家在配置中能有幫助。

本文使用一台centos 6.8的ecs來做測試的,機器上已經有yum。使用者測試的時候,需要有一台能連接配接上公網的linux機器。

安裝依賴包

下載下傳并安裝包

安裝

最終結果是

通過Fluentd實時上傳資料到DataHub實踐
通過Fluentd實時上傳資料到DataHub實踐

因為隻是測試,我這裡就3個字段。

我們在ecs上,用<code>touch /tmp/test.log</code>生成一個檔案。我們通過fluentd監控這個檔案的變化,并把變化的内容解析後傳到datahub裡。

這裡,我們的datahub配置檔案fluentd.conf的内容為

配置檔案生成好了後,使用<code>bin/fluentd -c fluentd.conf</code>啟動fluentd

我們通過<code>date "+%y-%m-%d %h:%m:%s [info] login success" &gt;&gt; /tmp/test.log</code>往/tmp/test.log裡寫日志,然後在fluentd 上,我們可以看到日志為:

通過Fluentd實時上傳資料到DataHub實踐

來到datahub上可以看到新寫進去的日志:

通過Fluentd實時上傳資料到DataHub實踐

至此大功告成,/tmp/test.log上的新增資料會被實時推送到datahub裡了。

繼續閱讀