本文把我通過fluentd,把資料上傳到datahub的配置過程記錄下來,希望對大家在配置中能有幫助。
本文使用一台centos 6.8的ecs來做測試的,機器上已經有yum。使用者測試的時候,需要有一台能連接配接上公網的linux機器。
安裝依賴包
下載下傳并安裝包
安裝
最終結果是
因為隻是測試,我這裡就3個字段。
我們在ecs上,用<code>touch /tmp/test.log</code>生成一個檔案。我們通過fluentd監控這個檔案的變化,并把變化的内容解析後傳到datahub裡。
這裡,我們的datahub配置檔案fluentd.conf的内容為
配置檔案生成好了後,使用<code>bin/fluentd -c fluentd.conf</code>啟動fluentd
我們通過<code>date "+%y-%m-%d %h:%m:%s [info] login success" >> /tmp/test.log</code>往/tmp/test.log裡寫日志,然後在fluentd 上,我們可以看到日志為:
來到datahub上可以看到新寫進去的日志:
至此大功告成,/tmp/test.log上的新增資料會被實時推送到datahub裡了。