2015/9/21

Scala Puzzlers: Init You Init Me

Scala Puzzlers 是收集很多人貢獻的 scala 的題目,類似 Java Programmer 認證的考題,主要是確認 Programmer 是不是有了解 scala 語言的規格與特性。

Init You, Init Me 的問題是以下的 scala statements 會列印出什麼結果?

object XY {
  object X {
    val value: Int = Y.value + 1
  }
  object Y {
    val value: Int = X.value + 1
  }
}

println(if (math.random > 0.5) XY.X.value else XY.Y.value)

答案是 2

lazy, strict

首先我們要知道 scala 的保留字: lazy,當某個變數宣告為 lazy 時,則表示 scala 會等到要存取該變數時,才會初始化這個變數。跟 lazy 相反的是 strict,strict 表示會在定義時,就馬上將該變數初始化,scala 的 collection 中就有區分 lazy 與 strict 的兩種版本,因大量的 collection elements,並不一定會在定義時,就馬上需要使用到所有的 elements,因此不需要直接將 collection 所有元素初始化,等到需要使用時再處理。

如果以 recursive 的方式定義變數,一開始會發現 REPL 警告要定義資料型別。

scala> val x = y; val y = x
<console>:15: error: recursive value y needs type
       val x = y; val y = x
               ^

當我們將 y 的資料型別,明確地定義出來,compiler 就接受我們宣告的 x 與 y 的定義,另外出現一個警告,告訴我們有個 statement 參考到了沒有定義初始值的 y,然後compiler 就自動將 y 的數值視為 0,所以將 x 也設為 0。

scala> val x: Int = y; val y = x
<console>:12: warning: Reference to uninitialized value y
       val x: Int = y; val y = x
                    ^
x: Int = 0
y: Int = 0

如果加上 lazy 的宣告,則 x 與 y 並不會在宣告時,就被初始化。

scala> lazy val x: Int = y; lazy val y = x
x: Int = <lazy>
y: Int = <lazy>

比較合理的使用方式,應該是在宣告 x 時,宣告為 lazy,但是讓 y 直接初始化,因為一開始可能不知道 y 的數值,後來知道了 y 時,再給予

scala> lazy val x: Int = y; val y=x; println("x="+x+", y="+y)
x=0, y=0
x: Int = <lazy>
y: Int = 0

另外因為 scala 規格中提到 "the value defined by an object definition is instantiated lazily",在 object 中定義的變數,scala 會自動以 lazy 的方式初始化。

結果不一定永遠是 2

因為題目只有運算過一次以下這個 statement

println(if (math.random > 0.5) XY.X.value else XY.Y.value)

如果我們多呼叫幾次,會發現結果也有可能會變成 1

scala> println(if (math.random > 0.5) XY.X.value else XY.Y.value)
2

scala> println(if (math.random > 0.5) XY.X.value else XY.Y.value)
1

scala> println(if (math.random > 0.5) XY.X.value else XY.Y.value)
1

分析題目

把原本的題目 math.random 的部份用變數紀錄起來,會比較清楚處理的過程。

object XY {
  object X {
    val value: Int = Y.value + 1
  }
  object Y {
    val value: Int = X.value + 1
  }
}

val randomnumber=math.random
println( if (randomnumber > 0.5) XY.X.value else XY.Y.value )

當我們在 REPL 執行這些 statement時,可查看到結果為 2,在以下這個情況下,XY.Y.value 為 2 XY.X.value 為1,因為在使用 XY.Y.value 的時候,發現參考到 X.value,但 X 也還沒初始化,發現參考到 Y.value,這時發現 recursive 的狀況,就直接將 Y.value 視為 Integer 的初始值 0,接下來 XY.X.value 就等於 1,而 XY.Y.value 則為 2。

scala>  object XY {
     |   object X {
     |     val value: Int = Y.value + 1
     |   }
     |   object Y {
     |     val value: Int = X.value + 1
     |   }
     | }
defined object XY

scala> val randomnumber=math.random
randomnumber: Double = 0.24469087654673705

scala> println( if (randomnumber > 0.5) XY.X.value else XY.Y.value )
2

我們必須在 REPL 先執行 :reset,然後再運算一次這些 statements,結果才會永遠是 2,在以下這個情況下,XY.X.value 為 2 XY.Y.value 為1。

scala> :reset
Resetting interpreter state.
Forgetting this session history:

scala> object XY {
     |   object X {
     |     val value: Int = Y.value + 1
     |   }
     |   object Y {
     |     val value: Int = X.value + 1
     |   }
     | }
defined object XY

scala> val randomnumber=math.random
randomnumber: Double = 0.7747791382247455

scala> println( if (randomnumber > 0.5) XY.X.value else XY.Y.value )

因為以上兩個狀況都有可能會發生,我們也可以知道,因為 XY.X.value 跟 XY.Y.value 兩個數值,其中一個是 1 另一個是 2,我們多呼叫幾次,就會發現結果也有可能會變成 1。

scala> println(if (math.random > 0.5) XY.X.value else XY.Y.value)
2

scala> println(if (math.random > 0.5) XY.X.value else XY.Y.value)
1

2015/9/14

Rest API documentation: Swagger, RAML, API Blueprint

以往在製作網路服務 web service 時,通常會率先想到 WSDL,但在 REST 以及輕量化網路傳輸的概念普及後,大家已經逐漸放棄 XML 這個冗長的描述文件格式,轉向使用 JSON,並用 HTTP REST 的方式提供網路服務 API。至於 API 文件規範,目前比較常見的有 Swagger, RAML, API Blueprint 三種,三種規範使用的技術背景不同,呈現出來的文件樣式差異也很大。

REST API

WSDL 一開始就是從規格開始做起,大家習慣 WSDL 的實作,必須要先定義 WSDL 描述檔,然後透過不同語言的 server 及 stub 的程式產生工具,產生對應的程式碼,在分別去實做 server 與 client side 的程式。

然而 REST 的概念是由技術概念開始推廣的,技術上強調我們平常都只有使用到 HTTP 規範中的 GET 與 POST method,但其實還有 PUT DELETE,這四個 http method 正好可以對應到一個資源的 CRUD operation,再加上 JSON 這個簡潔的資源表示方式的流行,這讓大家接受 REST API,而 WSDL 逐漸被淘汰。

REST 的規格,其實就是 HTTP,因此 REST API 就沒有什麼特別的規範,大家也都是直接撰寫 API,至於文件的部份,每一個人都有自己的文件規格與寫法,這跟 WSDL 的實做方式完全不同。

換句話說,想到 WSDL 就會想到要先定義 API 的規格,才能繼續往下工作,而想到 REST API,就會直覺想到 agile,反正程式先寫了再說。

Rest API Spec

API 是要給其他程式設計師使用的,因此就必須要有對應的文件,描述 API 的內容、用途,並提供範例。在沒有 WSDL Spec 的共通標準之下,後來才逐漸有了標準化 API 的想法,Swagger 是目前討論最多、也發展最久的 API Spec,對應可以使用的工具也很多。

Another API-Blueprint, RAML and Swagger Comparison 提供了Swagger, RAML, API Blueprint 三種 API Spec 的比較表,以下節錄一小部份的內容。

Specs API Blueprint RAML Swagger
Format Markdown YAML JSON
License MIT ASL 2.0 ASL 2.0
Version 1A8 0.8 1.2
Support Apiary Mulesoft Reverb
Initial Commit 2013/4 2013/9 2011/7
Web Site https://apiblueprint.org http://raml.org http://swagger.io/
API design approach top-down top-down bottom-up

Hello World Product API With Blueprint, RAML And Swagger 這篇文章以實際的例子告訴大家,這三種規格的差異在哪裡,API Blurprint 以 Markdown 語法撰寫主要是用來閱讀的,swagger 很明顯地是想要取代 WSDL,希望大家能夠先撰寫 swagger API 定義,然後用工具產生程式碼,而 RAML 比較想取得中庸的位置,既有閱讀性,又能夠讓程式閱讀,產生一些對應的工具。

API Blueprint

# Group Product
Resources for working with a single product.

## Product [/products/{id}]
Provides access to a single product.

+ Parameters
    + id (string) ... ID of the product

+ Model (application/json)

    JSON representation of products.

    + Body

            {
            "id": "1",
            "name": "Product One",
            "description": "This is the full description of the product.",
            "url": "http://example.com",
            "image": "http://example.com/image.jpg"
            }

RAML

#%RAML 0.8
---
#===============================================================
#  Products API - RAML example
#  References:
#    - RAML Specification - http://raml.org/spec.html
#    - RAML Projects - http://raml.org/projects.html
#    - RAML Tools  - http://www.apihub.com/raml-tools
#===============================================================
title: Products API
version: v0.1
baseUri: 
#List of media type to support
mediaType:  application/json
#List of protocols to support for baseUri
protocols: [ HTTP, HTTPS ]

#===============================================================
#  API documentation
#===============================================================
documentation:
  - title: Home
    content: | #This is a prototype product API.
  - title: Getting Started
    content: TODO   

#===============================================================
# API resource definitions
#===============================================================                        

/products:
  uriParameters:
  displayName: Products
  description: A collection of products
  post:
    description: Create a product
    #Post body media type support
    #text/xml: !!null  # media type text, xml support
    #application/json: !!null  #media type json support
    body:
      application/json:
        schema: |
          {
            "$schema": "http://json-schema.org/draft-03/schema",
            "product": {
                "name": {
                    "required": true,
                    "type": "string"
                },
                "description": {
                    "required": true,
                    "type": "string"
                },                
                "url": {
                    "required": true,
                    "type": "string"
                },                
                "image": {
                    "required": true,
                    "type": "string"
                }
            },
            "required": true,
            "type": "object"
          }        
        example: |
          {
            "product": {
              "id": "1",
              "name": "Product One",
              "description": "This is the full description of the product.",
              "url": "http://example.com",
              "image": "http://example.com/image.jpg"
            }
          }
  get:
    description: Get a list of products
    queryParameters:
      q:
        description: Search phrase to look for products
        type: string
        required: false
    responses:
      200:
        body:
          application/json: 
            #example: !include schema/product-list.json

  #---------------------------------------------------------------
  # Nested resource representing a  single product - name parameter as part of the path.
  #---------------------------------------------------------------
  /{productId}: 
    description: | # Retrieve a specific product using its ID.
    uriParameters:
     productId:
       displayName: Product ID
       type: integer    
    get:
      description: Get a single product
      queryParameters:
        productId:
          description: The ID of the product
          type: integer
          required: true
      responses:
        200:
          body:
            application/json: 
              #example: !include schema/product-list.json

swagger

{
    "apiVersion": "1.0",
    "swaggerVersion": "1.2",
    "basePath": "",
    "resourcePath": "/products",
    "produces": [
        "application/json"
    ],
    "apis": [
        {
            "path": "/products/",
            "operations": [
                {
                    "method": "GET",
                    "summary": "Pulls a listing of products",
                    "notes": "Returns a list of products, allowing you to filter by keyword query.",
                    "nickname": "getJobs",
                    "type": "products",
                    "parameters": [
                        {
                            "name": "query",
                            "description": "a text query to search across products",
                            "required": false,
                            "allowMultiple": false,
                            "dataType": "string",
                            "paramType": "query"
                        }
                    ],
                    "produces": [
                        "application/json"
                    ],
                    "responseMessages": [
                        {
                            "code": 404,
                            "message": "No Jobs To Return"
                        }
                    ]
                }
            ]
        },
        {
            "path": "/products/{id}",
            "operations": [
                {
                    "method": "GET",
                    "summary": "Retrieve an product using its ID",
                    "notes": "Returns a products detail",
                    "type": "people",
                    "nickname": "getJobs",
                    "produces": [
                        "application/json"
                    ],
                    "parameters": [
                        {
                            "name": "id",
                            "description": "id for the video, notice this is in the path, not a query variable",
                            "required": false,
                            "allowMultiple": false,
                            "dataType": "integer",
                            "paramType": "path"
                        }
                    ],
                    "responseMessages": [
                        {
                            "code": 400,
                            "message": "Invalid Application Information ID supplied"
                        },
                        {
                            "code": 404,
                            "message": "People not found"
                        }
                    ]
                }
            ]
        }
    ],
    "models": {
        "products": {
            "id": "products",
            "properties": {
                "id": {
                    "type": "integer"
                },              
                "name": {
                    "type": "string"
                },
                "description": {
                    "type": "string"
                },
                "url": {
                    "type": "string"
                },
                "video": {
                    "type": "string"
                },
                "thumbnailUrl": {
                    "type": "string"
                },
                "keywords": {
                    "type": "string"
                },
                "inLanguage": {
                    "type": "string"
                },
                "creator": {
                    "type": "string"
                }
            }
        }
    }
}

用途決定使用方法

不同的文件規範,加上支援的工具多寡,可以決定這份規格的影響範圍,也就等於告訴我們該選擇那一種規格。

swgger 是目前討論最多的,原因在於這是最早推出的規格,有 UI, editor, SDK generator 等等完整的工具可以使用,但是因為這是使用 JSON 的格式,脫離了工具的優勢,文件本身的可讀性就會差了一些,畢竟這是要給程式碼閱讀的一種規格。

另外 swagger 的 bottom-up 開發方式,也比較不那麼直覺,一般人在描述事情時,會習慣先從大維度的方向說起,然後再一步一步說明細節,而 swagger 為了減少文件 parsing 的次數,必須以 bottom-up 的方式描述規格的內容。

因此 RAML 與 API Blueprint 都是用 top-down 的方法,而且選擇了比較適合直接閱讀的文件格式。

不遵循規格也不會有問題

規格是為了互通以及共通的工具而定義出來的,REST API 並不像是 WSDL,缺少了 API 的定義文件,就沒辦法繼續進行程式開發,很多時候都是以先做出來為出發點,這時候也不會考慮什麼文件的規格,直接用文字檔案的方式,直接寫一寫 API 簡述,就可以馬上進入 coding。

在資料互動與專案成員之間的溝通方式中,如果已經有了既有的習慣跟方法,那麼沿用自己團隊的方法也沒關係,但如果我們需要對外發布 API Spec,或許就需要選擇一種規格與方法,讓團隊以外的人,能遵循該規格的處理方式,以最舒服且方便的方式,取得文件的說明,甚至是直接產生 API 的 stub code。

2015/9/7

The Reactive Manifesto 響應式宣言

作者 Matin Thompson 在 InfoQ 談到 為什麼要有 Reactive Manifesto 2.0 ,對於我們來說,透過這樣的宣言,讓我們意識到系統架構以及程式語言,必須因應時代的更迭,提出新的架構與設計,也可以說是一種 Reactive System/Architecture。

The Reactive Manifesto 響應式宣言

The Reactive Manifesto, September 16 2014 (v2.0)

響應式宣言 中文版

現在的系統以大量的 muticore 處理器處理,使用者預期的是數毫秒的反應時間,以及永不中斷的線上服務,資料量達到 PB 的規模。我們需要一個協調一致的 Reactive System,這樣的系統有 flexible 彈性、lossely-coupled 鬆耦合與 scalable 可擴展性的表現,並具有以下四個特性:

  1. Responsive 響應式
    系統在任何情況下,都能及時響應,在可靠的時間內提供訊息且有穩定品質的服務。

  2. Resillient 韌性、堅固
    系統在失敗時,仍然保有 Responsive 特性。這是由 replication 複製, containment 容忍, isolation 隔離以及 delegation 委託的方式達成的。系統的任何組件發生問題時,可以隔離此部份,並獨立恢復,過程中不會影響整個系統。

  3. Elastic 彈性
    系統能即時量測效能,可透過演算法增加或減少服務的資源分配,滿足不同工作負載量的系統要求。

  4. Message Driven 訊息驅動
    組件之間透過非同步訊息傳遞方式互相溝通,用以確保 loose coupling 鬆耦合, isolation 隔離, location transparency 與區域無關的特性。還能提供錯誤訊息的委託處理機制。



由圖片可得知,這四個特性是以 Message Driven 為基礎,並以 Responsive 為終極目標,Elastic 跟 Resilient 像是天平的兩端,需要架構師權衡架構,在提供更多彈性的系統要求下,還能讓系統保持穩定。

Enterprise Application Integration Patterns: Messaging Patterns

Messaging Patterns Overview

因為企業內部有很多樣化的資訊系統,但通常系統之間會缺乏資料傳遞與整合的溝通管道,就算有了傳遞的管道,每一個系統的效能瓶頸以及運算時間不同,也會影響到應用整體的表現。

EAI (Enterprise Application Intergartion) Patterns 專門討論在企業內部該用什麼方法來整合不同的資訊系統,而其中所有 Pattern 的核心就是使用 Message Queue 系統。

Message Queue 的用意在於協調兩端的處理速度,道理就像是健康檢查,檢查時會區分不同的專業檢查診間,每個診間的處理速度不同,因此會有不同長度的排隊序列,每一個參加健康檢查的人,最終的目的就是要到最後一關醫生問診的地方,結束整個健康檢查的流程。

Reactive System 跟 EAI 的背後的概念是相同的,就是要將整個 end-to-end 的需求,依照不同的應用特性切割成特定的應用模組,然後在模組之間,以 MQ 來協調並同步處理的結果,然後一次將結果輸出給前端使用者。

Message Queue 的應用已經不單只是以獨立的 MQ System 存在,現在的趨勢,也有內建在程式語言中的趨勢,過去熱門的程式語言都是以 Multithread 以及共享記憶體的方式,進行多工處理,現在的趨勢也轉換成 Actor Concurrency Model,以訊息佇列來區隔不同的內部模組,以因應不同模組的處理速度。

設計 -> 切割 + 分析 -> 實作

京東技術架構(一)構建億級前端讀服務

京東技術架構(二)構建需求響應式億級商品詳情頁

這兩篇文章,可看成 Reactive System Architecture 的一個實際例子,京東商城 是中國一家 B2C 的購物網站,就跟一般購物的網站一樣,它必須因應中國的節日產生的大量購物流量,不斷地更新自己的系統架構,達到 Reactive System 的基本要求:反應速度快,系統不斷線,客戶是不會等人的。

從文章中可以看到,他們的整個商品頁面先有設計之後,再將頁面的功能,進行分析並切割成多個部份,根據商業應用的要求,決定該怎麼實作。

系統實作的過程,歷經了三個版本的更新,一樣是以 MQ 為核心,將頁面的工作拆散後,丟給多個商業邏輯集群,在最後進行頁面整合,丟給前端的使用者查看頁面。

2015/9/1

生死谷 - 鄭丰

已經有一段時間,沒有再看到讓人欲罷不能的小說,「生死谷」這部武俠版的飢餓遊戲、大逃殺、蒼蠅王,巧妙地將一群為了求生存的孩子,勾心鬥角的過程,結合了刺客培訓的訓練過程,並在故事的後段,巧妙地將主角由武小虎(天猛星)轉換至具有智慧與領導能力的女性角色裴若然(天微星)的身上,沒有愛情的故事,讓整個作品更有特色。

武俠版、華人版的飢餓遊戲、大逃殺

飢餓遊戲設定了十二區衛星區域,為了維持中央政府的威信,設計讓十二區居民每年舉行一次互相殘殺的飢餓遊戲。日本的作品大逃殺,則是讓一個班級的同學,在一個島嶼上比賽,同樣也是互相殘殺後只留下最後一個。

生死谷可說是武俠版的飢餓遊戲、大逃殺,為了培養適當的刺客,每二十年會選擇一百個小孩集中到生死谷中,透過分組的競爭,每個人在表現自己時,同時會思考要怎麼得到最終的勝利,每一個人也因為個性不同選擇了不同的方法。

武小虎個性忠厚單純,希望用自己的實力帶著所有人都過關,裴若然則因為武功較弱,但能透過自己的觀察力,選擇最好的對抗方法,最有心機的她,想法最多,也有向天殺星那樣保存實力,只在最重要的時候展現自己。

石樓谷的刺客培養過程,是過三關的方式,比飢餓遊戲或是大逃殺更複雜一些,三個階段的訓練內容以及得勝方式不同,搭配了練功的不同階段,第一階段以體力的基礎訓練為主,第二階段進階到每一個人不同專長適合的武功本身,第三階段則是練心,成為一個刺客美一次下手都不能有遲疑,也要保護自己不陷入危險。

友情昇華為親情,但不是愛情,愛情停留在美好的兒時記憶中

裴若然(天微星)、武小虎(天猛星)、天殺星這三個夥伴,從小時候開始,為了生存而結盟,三個人當中就以天微星為核心,天猛星及天殺星都認定以天微星的意見為主,讓她成為領導者。

天微星在天殺星及天猛星之間,也了解到自己的定位,是這兩個夥伴之間的潤滑劑,如果沒有了她,這兩個人勢必會水火不容互相殘殺,沒有她也就沒有了這個團隊。

一般在看到這樣的故事發展時,讀者就會開始思考,究竟要讓天微星情歸小時的玩伴天猛星,還是要跟著最早開始合作的夥伴天殺星。可是一直往下閱讀下去,就會發現,這三個人之間的關係,永遠停留在團隊合作的友好關係中,永遠不會發生愛情。

而兩個男生的愛情,都給了外情酷似若然小時候的金鶯,這很明顯地告訴讀者,純真的三人,已經在石樓谷過三關的過程中,消失不見,他們期待的是,遺忘很久的兒時記憶中的愛情,而現實生活中,卻沒有給他們機會能再回到過去。

讓人無法預測的劇情

故事一開始是以武小虎以及裴若然為第一人稱描述事情發生的過程,正義凜然的武小虎應該是武俠故事中的主角才對,沒想到從故事的中間開始,裴若然就轉換成第一主角。

正式因為這是刺客的故事,如果還有個正派的主角,反而會覺得很奇怪,武小虎的單純並沒有隨著年紀長大而改變,反而讓他遇到事情更鑽牛角尖,不過如果故事到中途讓這幾個人的個性都改變了,應該也沒關係,畢竟經過了吃人的那段經歷,什麼事情都可能會發生,就連天微星、天猛星、天殺星在後來回想自己的那段經歷,也沒辦法確定自己是不是真的沒有吃人。

裴若然在第三關之後,開始慢慢被培養成為殺道的道主,並不是因為她的武功最好,而是她能用她過人的智慧及觀察力,掌握殺道這種偏門的生意。

不光是整個故事裡面,沒有愛情的成份,特別的部份還發生在第三部,裴若然跟武小虎兩人隱居的那段時間,發現了石樓谷的祕密,也才發現原來石樓谷的原名應該叫做生死谷,殺道也不是一開始就是在培養殺手,而是前幾任的主事者順應了晚唐的時代,以刺客作為謀生的工具。

裴若然的母親也是令人驚訝的一部分,原來她也是殺道的一份子,也是她主動將裴若然送進石樓谷接受訓練,她看著若然男孩子般的個性,就主動認定該將她送入石樓谷,而不等到她長大成人入宮。

裴若然的母親的個性跟裴若然真的一模一樣,兩個人都可以為了達到目的,選擇用各種可能的方法或手段。

References

《生死谷》:慈悲殘酷的青春殺戮悲歌

[武俠]生死谷

台灣最暢銷武俠女作家 鄭豐新作《生死谷》高潮迭起 如唐代刺客傳奇《聶隱娘》般精彩!