Skip to main content

Posts

Showing posts from January, 2017

Openstack manila phần 2: Generic Driver

Cấu hình manila share với Generic Driver Yêu cầu khi sử dụng Generic Driver là bạn phải có cấu hình nova, neutron và cinder trong file cấu hình  /etc/manila/manila.conf  trên node manila-share Và trên node manila share sẽ cần cài đặt L2 Agent. ở đây mình sử dụng OpenvSwitch. Mình sẽ cài đặt manila-share trên node compute để không phải cấu hình lại openvswitch. Mô hình cài đặt Ta sẽ cần một image có sẵn share service. Tải image về từ openstack foundation wget http://tarballs.openstack.org/manila-image-elements/images/manila-service-image-master.qcow2 Upload image và tạo flavor. openstack image create "manila-service-image" \ --file manila-service-image-master.qcow2 \ --disk-format qcow2 \ --container-format bare \ --public openstack flavor create manila-service-flavor --id 100 --ram 256 --disk 0 --vcpus 1 Kiểm tra image openstack image list Thêm các mục sau vào  /etc/manila/manila.conf .  Sửa lại password các user [nova] auth_uri = http://cont

Openstack Manila phần 1 - Tổng quan dịch vụ Shared File System

Dịch vụ Openstack Shared File Systems (manila) cung cấp file storage cho một máy ảo. Dịch vụ Shared File Systems cung cấp một cơ sở hạ tầng để quản lý và cung cấp các file chia sẻ. Dịch vụ cũng cho phép quản lý các kiểu chia sẻ cũng như các share snapshot nếu driver hỗ trợ chúng. Dịch vụ Shared File System có các thành phần sau. manila-api: xác thực và route các request tới dịch vụ. Nó hỗ trợ các API Openstack. manila-scheduler: Lập lịch và chuyển các requét với share service thích hợp. Scheduler sử dụng các cấu hình lọc và weigh để route các requét. Filter Scheduler là mặc định và cho phép filter dựa trên: Khả năng lưu trữ (Capacity), Các zone (Availability Zone), Kiểu share (share-type) và các filter custom. manila-share: quản lý các backend cung cấp shared file system. Một tiến trình manila-share có thể chạy trên 1 hoặc 2 node. Share, Snapshot,share-network Là các resource cơ bản đưa ra bởi dịch vụ Shared File Systems là shares, snapshots, và share network sha

ELK STACK 101 - Beats Collect, Parse, Ship

Beats là những data shipper mã nguồn mở mà ta sẽ cài đặt như các agent trên các server của ta để gửi các kiểu dữ liệu khác nhau tới Elasticsearch. Beats có thể gửi dữ liệu trực tiếp tới Elasticsearch hay tới Logstash từ đó ta có thể enrich hay archive dữ liệu. Beats là một platform trong đó có các project nhỏ sinh ra thực hiện trên từng loại dữ liệu nhất định. Packetbeat: a network packet analyzer Topbeat: a server monitoring agent Filebeat: ship log files from servers Winlogbeat: ship windows event logs Metricbeat: lighweight shipper collect metrics from OS, Services such as Apache, HAProxy, MongoDB, Nginx, ... Mô hình Beats Platform Ở bài này tôi sẽ chỉ cấu hình filebeat dựa trên mục đích của tôi muốn thu thập log từ các file log trên các server khác nhau. FileBeat làm việc thế nào Khi khởi động filebeat, nó sẽ khởi chạy một hay nhiều prospector, sẽ tìm kiếm các đường dẫn của tập tin tin mà ta đã khai báo. Với mỗi môt tập tin log mà prospector tìm thấy được, Fileb

ELK STACK 101 - Cài đặt và cấu hình

Mô hình cài đặt Tôi sẽ cài 3 thành phần Logstash, Elasticsearch và Kibana trên cùng một server. Các thành phần này đều có thể mở rộng theo chiều ngang, do vậy việc cấu hình mở rộng cũng không có gì khó khăn. Bài lab sau sẽ thực hiện trên Ubuntu Server 14.04 JAVA Vì Logstash và Elasticsearch được viết bằng ngôn ngữ Java, do vậy ta cần phải cài Java trên máy chủ cài đặt 2 thành phần này. Ta sẽ thực hiện cài đặt Java 8 từ package. Thực hiện các lệnh sau trên máy chủ Ubuntu: - Thêm Repository có chứa package Java 8 sudo add-apt-repository ppa:webupd8team/java Cập nhật repository sau khi đã thêm sudo apt-get update cài đặt Java sudo apt-get install oracle-java8-installer oracle-java8-set-default Kiểm tra Logstash Tải và thêm GPG key sử dụng lệnh sau: wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - Thêm repository bằng lệnh sau echo "deb https://packages.elastic.co/logstash/2.3/debian stable main" | s

ELK Stack 101 - Tổng quan hệ sinh thái

1. Logstash Logstash là một công cụ mã nguồn mở thu thập dữ liệu có khả năng liên hợp theo thời gian thực. Logstash có thể hợp nhất dữ liệu từ các nguồn khác nhau và chuẩn hóa dữ liệu ở phần xử lý tiếp theo. Loại bỏ và đồng hóa tất cả dữ liệu đó trong một số use case cần phân tích và thể hiện trên biểu đồ. INPUT : Nó có thể lấy đầu vào từ TCP/UDP, các file, từ syslog, Microsoft Windows EventLogs, STDIN và từ nhiều nguồn khác. Chúng ta có thể lấy log từ các ứng dụng trên môi trường của chúng ta rồi đẩy chúng tới Logstash. FILTER : Khi những log này tới Server Logstash, có một số lượng lớn các bộ lọc mà cho phép ta có thể chỉnh sửa và chuyển đổi những event này. Ta có thể lấy ra các thông tin mà ta cần từ những event log. OUTPUT : Khi xuất dữ liệu ra, Logstash hỗ trợ rất nhiều các đích tới bao gồm TCP/UDP, email, các file, HTTP, Nagios và số lượng lớn các dịch vụ mạng. Ta có thể tích hợp Logstash với các công cụ tính toán số liệu (metric), các công cụ cảnh báo, các dạng biểu